JP2008017259A

JP2008017259A - Image recognition camera

Info

Publication number: JP2008017259A
Application number: JP2006187590A
Authority: JP
Inventors: Ryoji Ogino; 亮司荻野; Kenji Tamura; 健二田村; Manabu Yada; 学矢田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-07-07
Filing date: 2006-07-07
Publication date: 2008-01-24

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image recognition camera which can improve a recognition performance of image recognition processing. <P>SOLUTION: An image recognition camera has a camera signal processor 102 which converts an original image into an image of a type which can be seen by humane eyes, an image recognition processor 104 which recognizes a subject from the image processed by the camera signal processor 102, and a camera signal processing controller 103 which feeds back a recognition result of the image recognition processor 104 and controls the camera signal processor 102. By controlling the camera signal processor 102 according to the result of the image recognition processing and by generating an image favorable for the recognition processing, performance can be improved in the image recognition processing as an image recognition camera. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、カメラが撮像した領域から、人物や文字などの対象物を認識する機能を有する画像認識カメラに関し、特に、認識性能を向上させる技術に関する。 The present invention relates to an image recognition camera having a function of recognizing an object such as a person or a character from an area captured by the camera, and more particularly to a technique for improving recognition performance.

画像処理技術の発達および半導体デバイスの小型化により、近年のカメラには撮影機能と画像認識の機能が一体化したものも見られるようになった。これにより、例えば、施設の門において、入門時に被写体である人物の顔を画像認識することで、認証機能などの付加価値をカメラに与えることが可能になった。画像認識機能を持ったカメラには、例えば、特許文献１および特許文献２に示すようなものがある。 Due to the development of image processing technology and the miniaturization of semiconductor devices, some cameras in recent years have integrated a photographing function and an image recognition function. As a result, for example, at the facility gate, it is possible to give an added value such as an authentication function to the camera by recognizing the face of the person who is the subject when entering the facility. Examples of cameras having an image recognition function include those shown in Patent Document 1 and Patent Document 2.

特許文献１に記載の画像認識カメラは、撮像画面中の青空を認識して、画面下部の黒つぶれを低減するように構成されている。このカメラは、撮像素子の出力信号を処理して画像信号として輝度、色差信号を生成するカメラ信号処理回路と、青空を認識する専用の画像認識回路を備えており、画像認識回路はカメラ信号処理回路により生成された画像信号を解析して、青空の有無を検出する。 The image recognition camera described in Patent Document 1 is configured to recognize a blue sky in an imaging screen and reduce blackening at the bottom of the screen. This camera is equipped with a camera signal processing circuit that processes the output signal of the image sensor to generate luminance and color difference signals as image signals, and a dedicated image recognition circuit that recognizes the blue sky. The image signal generated by the circuit is analyzed to detect the presence of a blue sky.

特許文献２の画像認識カメラは、撮像画面中の人物の顔を認識するように構成されており、検出した「顔」の画像データは通信用モジュールにより遠隔地の保存用サーバに送信される。この従来例の画像認識カメラは、画像を生成するビデオデジタルプロセスと、生成された画像から顔認識を実行する専用ソフトウェアライブラリーを設けている。
特開平１１−１４６２６４号公報実用新案登録第３１１２６５２号公報 The image recognition camera of Patent Document 2 is configured to recognize the face of a person on the imaging screen, and the detected “face” image data is transmitted to a remote storage server by a communication module. This conventional image recognition camera is provided with a video digital process for generating an image and a dedicated software library for performing face recognition from the generated image.
JP-A-11-146264 Utility Model Registration No. 3112652

しかしながら、特許文献１および特許文献２などの従来の画像認識カメラは、下記のように、画像認識の性能向上に関しては改良の余地があると考えられる。 However, it is considered that conventional image recognition cameras such as Patent Document 1 and Patent Document 2 have room for improvement in terms of improving the performance of image recognition as described below.

ここでは、画像認識の成否が入力画像に大きく影響を受けることに着目する。例えば、撮影時の光源により、同じ被写体であってもカメラ信号処理された画像には陰影の違いや、色の違いが生じたりする。また、カメラのフォーカスや露光などの設定によって、被写体の形状が異なって記録されることもある。このようなことから、屋外に設置した認識カメラなどは、時間および天候によって同じ被写体に対する認識結果が異なってしまうという問題点がある。例えば被写体が“Ａ”という人物や物体である可能性をパーセントで表す信頼度を用いて、信頼度がある閾値を越えるかどうかで“Ａ”の検出を行う認識システムの場合、信頼度が０％や１００％に近く結果が歴然としていれば問題はないが、信頼度がどちらとも判定しにくい閾値前後の値の場合には所望とする被写体“Ａ”の検出を漏らしてしまう恐れがある。 Here, attention is paid to the fact that the success or failure of image recognition is greatly influenced by the input image. For example, depending on the light source at the time of shooting, a difference in shadow or a difference in color may occur in images subjected to camera signal processing even for the same subject. Further, the shape of the subject may be recorded differently depending on settings such as camera focus and exposure. For this reason, a recognition camera or the like installed outdoors has a problem that recognition results for the same subject differ depending on time and weather. For example, in the case of a recognition system that detects “A” based on whether or not the reliability exceeds a certain threshold by using the reliability indicating the possibility that the subject is a person or object “A” as a percentage, the reliability is 0. If the result is obvious near% or 100%, there is no problem. However, if the reliability is a value around a threshold value that is difficult to determine, there is a possibility that detection of the desired subject “A” may be leaked.

このように、画像認識の成否は入力画像に大きく影響を受ける。しかし、従来の画像認識カメラでは、画像認識の前プロセスであるカメラ信号処理回路（ビデオデジタルプロセス）と画像認識回路が、別個の回路として独立に動作しており、画像認識結果の良否に関係なく同じカメラ信号処理が行われる。そのために、画像認識に適した入力画像が得られず、画像認識に失敗することがあった。 Thus, the success or failure of image recognition is greatly affected by the input image. However, in the conventional image recognition camera, the camera signal processing circuit (video digital process) and the image recognition circuit, which are the processes prior to image recognition, operate independently as separate circuits, regardless of whether the image recognition result is good or bad. The same camera signal processing is performed. Therefore, an input image suitable for image recognition cannot be obtained, and image recognition sometimes fails.

この点に関し、従来よりも高度な認識アルゴリズムや回路を搭載すれば、画像認識性能を向上することは可能と考えられる。しかし、この場合、処理の複雑化や処理時間の増加、回路規模の増大等の弊害が生じ得る。 In this regard, it is considered possible to improve the image recognition performance if a higher-level recognition algorithm or circuit than the conventional one is installed. However, in this case, problems such as complicated processing, increased processing time, and increased circuit scale may occur.

本発明は上記課題を解決するためになされたものであり、その目的は、従来よりも高度な認識アルゴリズムおよび回路を必要とすることなく、より良好な認識結果を出力できる画像認識カメラを提供することにある。 The present invention has been made to solve the above problems, and an object of the present invention is to provide an image recognition camera capable of outputting a better recognition result without requiring a higher-level recognition algorithm and circuit than conventional ones. There is.

本発明の画像認識カメラは、被写体の原画像の信号を生成する撮像素子と、原画像を人間の目に見える形式の画像に変換するカメラ信号処理部と、前記カメラ信号処理部で処理された画像から被写体を認識する画像認識処理部と、前記画像認識処理部の認識結果をフィードバックして前記カメラ信号処理部を制御するカメラ信号処理制御部と、前記カメラ信号処理部で処理された画像と前記画像認識処理部の認識結果を出力する結果出力部とを備えている。 An image recognition camera according to the present invention is processed by an imaging device that generates a signal of an original image of a subject, a camera signal processing unit that converts the original image into an image that is visible to human eyes, and the camera signal processing unit. An image recognition processing unit for recognizing a subject from an image, a camera signal processing control unit for controlling the camera signal processing unit by feeding back a recognition result of the image recognition processing unit, and an image processed by the camera signal processing unit, A result output unit that outputs a recognition result of the image recognition processing unit.

この構成により、画像認識処理部の認識結果をフィードバックしてカメラ信号処理部を制御するカメラ信号処理制御部を設けたので、画像認識を行った結果をカメラの制御に対してフィードバックすることができ、撮影条件が変化しても画像認識処理が成功しやすい画像を出力することが可能となり、画像認識が成功しやすくなる。しかも、画像認識結果をフィードバックしてカメラ信号処理の側を制御する構成を設ければよいので、認識のアルゴリズム自体を特に高度化する必要はない。こうして、従来よりも高度な認識アルゴリズムおよび回路を必要とすることなく、画像認識カメラの認識性能の向上を図ることができる。 With this configuration, the camera signal processing control unit that feeds back the recognition result of the image recognition processing unit and controls the camera signal processing unit is provided, so that the result of image recognition can be fed back to the control of the camera. Even if the shooting conditions change, it is possible to output an image in which image recognition processing is likely to be successful, and image recognition is likely to succeed. In addition, it is only necessary to provide a configuration for controlling the camera signal processing side by feeding back the image recognition result, so that the recognition algorithm itself does not need to be particularly sophisticated. In this way, it is possible to improve the recognition performance of the image recognition camera without requiring an advanced recognition algorithm and circuit than before.

また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記画像認識処理部の認識処理の実行結果に応じて、前記カメラ信号処理部のパラメータを変更し、前記画像認識処理部は、変更されたパラメータでカメラ信号処理した画像を再度、画像認識処理することを１回以上繰り返し、得られた２つ以上の結果から、最終的な認識結果を判断する。 In the image recognition camera of the present invention, the camera signal processing control unit changes a parameter of the camera signal processing unit according to a result of execution of the recognition process of the image recognition processing unit, and the image recognition processing unit Then, the image recognition processing of the image subjected to the camera signal processing with the changed parameter is repeated once or more, and the final recognition result is determined from the two or more obtained results.

この構成により、画像認識処理部の認識処理の実行結果に応じて、カメラ信号処理部のパラメータが変更される。そして、異なるパラメータ設定で得られる複数の認識実行結果から最終的な認識結果を判断することで、認識性能を向上できる。 With this configuration, the parameter of the camera signal processing unit is changed according to the execution result of the recognition processing of the image recognition processing unit. And recognition performance can be improved by judging a final recognition result from a plurality of recognition execution results obtained by different parameter settings.

また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとしてＡＧＣゲイン値を変更する。この構成により、パラメータとしてＡＧＣゲイン値を認識結果に応じて変更することによって、認識性能を向上できる。 In the image recognition camera of the present invention, the camera signal processing control unit changes an AGC gain value as a parameter of the camera signal processing unit. With this configuration, the recognition performance can be improved by changing the AGC gain value as a parameter according to the recognition result.

また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとしてホワイトバランスを変更する。この構成により、パラメータとしてホワイトバランスを認識結果に応じて変更することによって、認識性能を向上できる。 In the image recognition camera of the present invention, the camera signal processing control unit changes white balance as a parameter of the camera signal processing unit. With this configuration, the recognition performance can be improved by changing the white balance as a parameter according to the recognition result.

また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとして露光設定を変更する。この構成により、パラメータとして露光設定を認識結果に応じて変更することによって、認識性能を向上できる。 In the image recognition camera of the present invention, the camera signal processing control unit changes the exposure setting as a parameter of the camera signal processing unit. With this configuration, the recognition performance can be improved by changing the exposure setting as a parameter according to the recognition result.

また、本発明の画像認識カメラにおいて、前記画像認識処理部は、認識処理の実行結果が２つ以上ある場合に、それら複数の実行結果から最も信頼度が高い実行結果を選んで、最終的な認識結果を判断する。この構成により、認識処理の複数の実行結果から最も信頼度が高い実行結果を選ぶことにより、認識性能を向上できる。 In the image recognition camera of the present invention, when there are two or more recognition processing execution results, the image recognition processing unit selects an execution result with the highest reliability from the plurality of execution results, and finally Determine the recognition result. With this configuration, recognition performance can be improved by selecting an execution result with the highest reliability from a plurality of execution results of recognition processing.

また、本発明の画像認識カメラにおいて、前記画像認識処理部は、認識処理の実行結果が２つ以上ある場合に、それら複数の実行結果を平均化して、最終的な認識結果を判断する。この構成により、認識処理の複数の実行結果を平均化することにより、認識性能を向上できる。 In the image recognition camera of the present invention, when there are two or more recognition processing execution results, the image recognition processing unit averages the plurality of execution results and determines a final recognition result. With this configuration, the recognition performance can be improved by averaging a plurality of execution results of the recognition process.

また、本発明の画像認識カメラにおいて、前記画像認識処理部は、画像認識処理に失敗した場合に、失敗した原因を解析する処理を行い、前記カメラ信号処理制御部は、解析結果に基づいて前記画像認識処理部が認識しやすい画像を生成するように前記カメラ信号処理部を制御し、前記画像認識処理部が再度画像認識処理を実行する。この構成により、認識処理の失敗原因の解析結果に基づいてカメラ信号処理部を制御することで、失敗原因を解消できる画像をカメラ信号処理で生成でき、認識性能を向上できる。 Further, in the image recognition camera of the present invention, when the image recognition processing unit fails, the image recognition processing unit performs a process of analyzing the cause of the failure, and the camera signal processing control unit performs the process based on the analysis result. The camera signal processing unit is controlled to generate an image that can be easily recognized by the image recognition processing unit, and the image recognition processing unit executes the image recognition processing again. With this configuration, by controlling the camera signal processing unit based on the analysis result of the cause of failure in recognition processing, an image that can eliminate the cause of failure can be generated by camera signal processing, and recognition performance can be improved.

また、本発明の画像認識カメラにおいて、前記画像認識処理部は、認識に失敗した原因が撮影した画像のぼけであると判断した場合に、前記カメラ信号処理制御部が、前記カメラ信号処理部の輪郭強調処理を強める。この構成により、認識処理の失敗原因がぼけであるときに、輪郭強調処理を強めてぼけを減らし、これにより認識処理を成功させることができ、認識性能を向上できる。 In the image recognition camera of the present invention, when the image recognition processing unit determines that the cause of the recognition failure is blurring of the captured image, the camera signal processing control unit Enhance edge enhancement processing. With this configuration, when the cause of failure in the recognition process is blur, the edge enhancement process is strengthened to reduce blur, thereby enabling the recognition process to be successful and improving the recognition performance.

また、本発明の画像認識カメラにおいて、前記画像認識処理部は、画像認識処理の実行途中で認識に失敗すると判断した場合は、画像認識処理を中断し、前記カメラ信号処理制御部は、画像認識処理が中断された場合に、前記画像認識処理部が認識しやすい画像を生成するように前記カメラ信号処理部を制御し、前記画像認識処理部が再度画像認識処理を実行する。この構成により、画像認識処理の実行途中で認識に失敗すると判断した場合は、速やかに画像認識処理を中断し、カメラ信号処理部を制御することで、認識処理時間を短縮できる。 In the image recognition camera of the present invention, when the image recognition processing unit determines that the recognition fails during the image recognition process, the image recognition process is interrupted, and the camera signal processing control unit When the processing is interrupted, the camera signal processing unit is controlled so as to generate an image that can be easily recognized by the image recognition processing unit, and the image recognition processing unit executes the image recognition processing again. With this configuration, when it is determined that the recognition has failed during the execution of the image recognition process, the recognition process time can be shortened by quickly interrupting the image recognition process and controlling the camera signal processing unit.

また、本発明の画像認識カメラは、前記原画像を処理して画像に変換するカメラ信号処理プログラムと画像から認識対象物を検出する画像認識処理プログラムと前記画像認識処理プログラムの結果と連動して前記カメラ信号処理プログラムのパラメータを制御するカメラ信号処理制御プログラムの３つの処理プログラムを実行する演算部と、前記カメラ信号処理プログラムと前記画像認識処理プログラムと前記カメラ信号処理制御プログラムを格納するプログラムメモリとを備え、前記演算部が、前記カメラ信号処理プログラム、前記画像認識処理プログラムおよび前記カメラ信号処理制御プログラムを実行して、前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部として機能する。この態様によっても上述した本発明の利点が得られる。 The image recognition camera of the present invention is linked to the camera signal processing program that processes the original image and converts it into an image, the image recognition processing program that detects a recognition object from the image, and the results of the image recognition processing program. An arithmetic unit that executes three processing programs of a camera signal processing control program that controls parameters of the camera signal processing program, a program memory that stores the camera signal processing program, the image recognition processing program, and the camera signal processing control program The arithmetic unit executes the camera signal processing program, the image recognition processing program, and the camera signal processing control program, and the camera signal processing unit, the image recognition processing unit, and the camera signal processing control unit Function as. This aspect also provides the above-described advantages of the present invention.

本発明の別の態様は、上述の前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部の処理を前記画像認識カメラの演算装置に実行させるプログラムである。この態様によっても上述した本発明の利点が得られる。 Another aspect of the present invention is a program that causes the arithmetic device of the image recognition camera to execute the processes of the camera signal processing unit, the image recognition processing unit, and the camera signal processing control unit. This aspect also provides the above-described advantages of the present invention.

本発明の別の態様は、上述の前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部の処理を前記画像認識カメラの演算装置に実行させるプログラムをデータとして記録した記録媒体である。この態様によっても上述した本発明の利点が得られる。 Another aspect of the present invention is a recording medium that records, as data, a program that causes the arithmetic device of the image recognition camera to execute the processes of the camera signal processing unit, the image recognition processing unit, and the camera signal processing control unit. is there. This aspect also provides the above-described advantages of the present invention.

本発明の別の態様は、撮影した画像から被写体を解析によって認識し、画像と認識結果のメタデータを出力する画像認識カメラであって、レンズから受光した光を電気信号に変換し、入力原画像とする撮像素子と、画像データおよびメタデータを記録するデータメモリと、原画像を処理して画像に変換するカメラ信号処理プログラムと画像から認識対象物を検出する画像認識処理プログラムと前記画像認識処理プログラムの結果と連動して前記カメラ信号処理プログラムのパラメータを制御するカメラ信号処理制御プログラムの３つの処理プログラムを実行する演算部と、前記カメラ信号処理プログラムと前記画像認識処理プログラムと前記カメラ信号処理制御プログラムをそれぞれ１種類以上格納するプログラムメモリと、画像と認識結果のメタデータを出力できる出力部とを備える。この態様によっても上述した本発明の利点が得られる。 Another aspect of the present invention is an image recognition camera that recognizes a subject from a captured image by analysis and outputs metadata of the image and a recognition result, converts light received from a lens into an electrical signal, and outputs an input source. Image sensor for image, data memory for recording image data and metadata, camera signal processing program for processing original image and converting to image, image recognition processing program for detecting recognition object from image, and image recognition An arithmetic unit that executes three processing programs of a camera signal processing control program that controls parameters of the camera signal processing program in conjunction with a result of the processing program, the camera signal processing program, the image recognition processing program, and the camera signal Program memory for storing one or more processing control programs, images and recognition results And an output unit capable of outputting the metadata. This aspect also provides the above-described advantages of the present invention.

また、本発明の画像認識カメラでは、前記演算部が、前記画像認識処理プログラムの実行結果に応じて、前記カメラ信号処理制御プログラムにより前記カメラ信号処理プログラムのパラメータを変更し、変更されたパラメータでカメラ信号処理した画像を再度、前記画像認識処理プログラムで画像認識処理することを１回以上繰り返し、得られた２つ以上の結果から、最終的な認識結果を判断する。この態様によっても上述した本発明の利点が得られる。 Further, in the image recognition camera of the present invention, the arithmetic unit changes the parameter of the camera signal processing program by the camera signal processing control program according to the execution result of the image recognition processing program, and uses the changed parameter. The image recognition processing of the image subjected to the camera signal processing is repeated once or more by the image recognition processing program, and the final recognition result is determined from two or more obtained results. This aspect also provides the above-described advantages of the present invention.

また、本発明の画像認識カメラでは、前記パラメータが、ＡＧＣゲイン値、ホワイトバランスおよび露光設定値のうちの少なくとも１つである。この態様によっても上述した本発明の利点が得られる。 In the image recognition camera of the present invention, the parameter is at least one of an AGC gain value, a white balance, and an exposure setting value. This aspect also provides the above-described advantages of the present invention.

また、本発明の画像認識カメラでは、前記演算部が、前記画像認識処理プログラムの実行結果が２つ以上ある場合に、複数の実行結果から最も信頼度が高いものをひとつ選んで、最終的な認識結果を判断する。この態様によっても上述した本発明の利点が得られる。 In the image recognition camera of the present invention, when there are two or more execution results of the image recognition processing program, the arithmetic unit selects one of the plurality of execution results with the highest reliability, and finally Determine the recognition result. This aspect also provides the above-described advantages of the present invention.

また、本発明の画像認識カメラにおいては、演算部が、画像認識処理プログラムの実行結果が２つ以上ある場合に、複数の実行結果を平均化して、最終的な認識結果を判断する。この態様によっても上述した本発明の利点が得られる。 In the image recognition camera of the present invention, when there are two or more execution results of the image recognition processing program, the arithmetic unit averages a plurality of execution results and determines a final recognition result. This aspect also provides the above-described advantages of the present invention.

また、本発明の画像認識カメラにおいて、前記演算部は、前記画像認識処理プログラムが認識に失敗した場合に、失敗した原因を前記画像認識処理プログラム内で解析し、解析結果に基づいて前記カメラ信号処理プログラムが認識しやすい画像を生成するように前記カメラ信号処理制御プログラムでパラメータ制御を行う。この態様によっても上述した本発明の利点が得られる。 Further, in the image recognition camera of the present invention, when the image recognition processing program fails to recognize, the arithmetic unit analyzes the cause of the failure in the image recognition processing program, and based on the analysis result, the camera signal The camera signal processing control program performs parameter control so as to generate an image that can be easily recognized by the processing program. This aspect also provides the above-described advantages of the present invention.

また、本発明の画像認識カメラにおいて、前記演算部は、前記画像認識処理プログラムが認識に失敗した原因が、撮影した画像のぼけであると判断した場合に、前記カメラ信号処理プログラムの輪郭強調処理を強めて、再度、前記画像認識処理プログラムを実行する。この態様によっても上述した本発明の利点が得られる。 In the image recognition camera of the present invention, when the calculation unit determines that the cause of the recognition failure of the image recognition processing program is blurring of the captured image, the contour enhancement processing of the camera signal processing program And the image recognition processing program is executed again. This aspect also provides the above-described advantages of the present invention.

また、本発明の画像認識カメラにおいて、前記演算部は、前記画像認識処理プログラムを実行途中で、認識に失敗すると判断した場合は、前記画像認識処理プログラムを中断し、前記カメラ信号処理プログラムが認識しやすい画像を生成するように前記カメラ信号処理制御プログラムでパラメータ制御を行い、再度、前記画像認識処理プログラムを実行する。この態様によっても上述した本発明の利点が得られる。 In the image recognition camera of the present invention, when the calculation unit determines that the recognition has failed during the execution of the image recognition processing program, the calculation unit interrupts the image recognition processing program and the camera signal processing program recognizes the image recognition camera. The camera signal processing control program performs parameter control so as to generate an easy-to-use image, and the image recognition processing program is executed again. This aspect also provides the above-described advantages of the present invention.

以上のように、本発明は、画像認識処理の結果をカメラ信号処理の制御にフィードバックする構成を設け、画像認識処理部が認識に成功しやすい画像の生成を行うことで、高度な画像認識処理回路を必要とすることなく、画像認識カメラの認識性能を向上できるという効果を有する画像認識カメラを提供することができる。 As described above, the present invention provides a configuration that feeds back the result of image recognition processing to the control of camera signal processing, and generates an image that can be easily recognized by the image recognition processing unit. It is possible to provide an image recognition camera having an effect that the recognition performance of the image recognition camera can be improved without requiring a circuit.

以下に、本発明の実施の形態に係る画像認識カメラについて、図面を参照しながら説明する。 Hereinafter, an image recognition camera according to an embodiment of the present invention will be described with reference to the drawings.

画像認識カメラとは、撮影した画像から被写体が何であるかを解析し、判断結果のメタデータを出力するものである。概略的には、本発明は画像認識の結果をカメラ信号処理の制御にフィードバックすることで、画像認識の性能向上を図るものである。本実施の形態では、カメラが撮影中の画像を解析し、その被写体が所望とする“Ａ（人物・物等）”であるかを認識し、信頼度を結果として出力する画像認識カメラを取り上げる。信頼度の閾値をＴｈ％として、認識結果がそれ以上なら被写体が“Ａ”であると判断し、そうでなければ“Ａ”でないと判断する例において、本実施の形態の画像認識カメラは、信頼度の結果が閾値付近の場合にカメラ信号処理のパラメータ設定を変更するように構成される。 The image recognition camera analyzes what a subject is from a captured image and outputs metadata of a determination result. Schematically, the present invention aims to improve the performance of image recognition by feeding back the result of image recognition to the control of camera signal processing. In the present embodiment, an image recognition camera that analyzes an image being photographed by the camera, recognizes whether the subject is a desired “A (person, object, etc.)”, and outputs the reliability as a result is taken up. . In the example in which the threshold value of the reliability is set to Th% and the recognition result is more than that, it is determined that the subject is “A”. Otherwise, the image recognition camera of the present embodiment is determined not to be “A”. The camera signal processing parameter setting is changed when the reliability result is near the threshold.

図１は、本実施の形態における画像認識カメラの構成を示すブロック図である。図１において、画像認識カメラは、被写体の原画像の信号を生成する撮像素子１０１と、原画像を人間の目に見える形式の画像に変換するカメラ信号処理部１０２と、カメラ信号処理部１０２で処理された画像から被写体を認識する画像認識処理部１０４と、画像認識処理部１０４の認識結果をフィードバックしてカメラ信号処理部１０２を制御するカメラ信号処理制御部１０３と、カメラ信号処理部１０２で処理された画像と画像認識処理部１０４の認識結果を出力する結果出力部１０５とを備えている。 FIG. 1 is a block diagram showing a configuration of an image recognition camera in the present embodiment. In FIG. 1, an image recognition camera includes an image sensor 101 that generates a signal of an original image of a subject, a camera signal processing unit 102 that converts the original image into an image that can be seen by human eyes, and a camera signal processing unit 102. An image recognition processing unit 104 that recognizes a subject from the processed image, a camera signal processing control unit 103 that feeds back a recognition result of the image recognition processing unit 104 and controls the camera signal processing unit 102, and a camera signal processing unit 102 A result output unit 105 that outputs the processed image and the recognition result of the image recognition processing unit 104 is provided.

図２は、本実施の形態の画像認識カメラのハードウエア的な観点で示す図である。図２において、画像認識カメラは、レンズ２０１、撮像素子２０２、演算部２０３、データメモリ２０４、プログラムメモリ２０５、制御ＩＦ部２０６および出力部２０７を備えている。このうち、撮像素子２０２および出力部２０７は、図１の撮像素子１０１および結果出力部１０５に相当する。制御ＩＦ部２０６は、ユーザからの指示を演算部２０３に伝達する構成である。演算部２０３は、プログラムメモリ２０５のプログラムを実行する構成であり、演算部２０３の処理過程でデータメモリ２０４にデータが読み書きされる。演算部２０３は、プログラムメモリ２０５のプログラムを実行することにより、図１のカメラ信号処理部１０２、画像認識処理部１０４およびカメラ信号処理制御部１０３として機能する。 FIG. 2 is a diagram showing the hardware of the image recognition camera according to the present embodiment. In FIG. 2, the image recognition camera includes a lens 201, an image sensor 202, a calculation unit 203, a data memory 204, a program memory 205, a control IF unit 206, and an output unit 207. Among these, the image sensor 202 and the output unit 207 correspond to the image sensor 101 and the result output unit 105 in FIG. 1. The control IF unit 206 is configured to transmit an instruction from the user to the calculation unit 203. The arithmetic unit 203 is configured to execute a program in the program memory 205, and data is read from and written to the data memory 204 in the process of the arithmetic unit 203. The calculation unit 203 functions as the camera signal processing unit 102, the image recognition processing unit 104, and the camera signal processing control unit 103 in FIG. 1 by executing the program in the program memory 205.

図２において、レンズ２０１を通して得られる認識対象物２０８のイメージは、単板式の撮像素子２０２によって電気信号である入力原画像２１１に変換され、入力原画像２１１がデータメモリ２０４に記録される。単板式カメラでは、入力原画像２１１は、図３のようにＲＧＢベイヤー配列のフォーマット３０１のデータであり、人間の目に見えるイメージとは異なっているため、カメラ信号処理によって人間が知覚できる形式に変換する必要がある。カメラ信号処理を実現する構成として、本画像認識カメラでは、カメラ信号処理プログラム２１４がソフトウェアにより実装され、プログラムメモリ２０５に格納され、プログラマブルＤＳＰで構成される演算部２０３により実行される。 In FIG. 2, the image of the recognition object 208 obtained through the lens 201 is converted into an input original image 211 that is an electrical signal by the single-plate image sensor 202, and the input original image 211 is recorded in the data memory 204. In the single-plate camera, the input original image 211 is data in an RGB Bayer array format 301 as shown in FIG. 3 and is different from an image that can be seen by human eyes. Need to convert. As a configuration for realizing camera signal processing, in this image recognition camera, the camera signal processing program 214 is implemented by software, stored in the program memory 205, and executed by the arithmetic unit 203 configured by a programmable DSP.

画像認識処理プログラム２１５は、カメラ信号処理により生成されたカメラ信号処理済画像２１２（ＹＵＶ形式）に対して画像認識を施すプログラムである。この画像認識プログラム２１５により算出された認識結果２１３に基づいて、カメラ信号処理制御プログラム２１６は、カメラ信号処理プログラム２１４のパラメータを制御し、ＡＧＣゲイン・ホワイトバランスなどのパラメータを変更・調整する。これら画像認識処理プログラム２１５およびカメラ信号処理制御プログラム２１６も、カメラ信号処理プログラム２１４と同様に、ソフトウェアにより実装され、プログラムメモリ２０５に格納され、プログラマブルＤＳＰで構成される演算部２０３により実行される。 The image recognition processing program 215 is a program that performs image recognition on the camera signal processed image 212 (YUV format) generated by the camera signal processing. Based on the recognition result 213 calculated by the image recognition program 215, the camera signal processing control program 216 controls parameters of the camera signal processing program 214 to change / adjust parameters such as AGC gain / white balance. Similar to the camera signal processing program 214, the image recognition processing program 215 and the camera signal processing control program 216 are also implemented by software, stored in the program memory 205, and executed by the arithmetic unit 203 configured by a programmable DSP.

カメラ信号処理済画像２１２と認識結果２１３は、演算部２０３によりデータメモリ２０４に書き込まれる。認識結果２１３はメタデータである。そして、これらカメラ信号処理済画像２１２と認識結果２１３は、演算部２０３により読み出され、共に出力部２０７から出力される。カメラ信号処理を含むカメラ機能および画像認識の動作に関するユーザからの指示は、制御部ＩＦ２０６から入力される。 The camera signal processed image 212 and the recognition result 213 are written into the data memory 204 by the calculation unit 203. The recognition result 213 is metadata. The camera signal processed image 212 and the recognition result 213 are read out by the arithmetic unit 203 and output from the output unit 207 together. Instructions from the user regarding camera functions including camera signal processing and image recognition operations are input from the control unit IF206.

上記構成においては、演算部２０３が、プログラムメモリ２０５のカメラ信号処理プログラム２１４、画像認識処理プログラム２１５およびカメラ信号処理制御プログラム２１６を実行することにより、図１のカメラ信号処理部１０２、画像認識処理部１０４およびカメラ信号処理制御部１０３として機能する。このように、本実施の形態の画像認識カメラは、ソフトウエア処理によって画像信号を処理するソフトウエア処理カメラであり、そして、演算部２０３が、１チッププログラマブルＤＳＰなどにより構成されており、上記３つのプログラムの処理を連携するように動作し、これにより、図１のカメラ信号処理部１０２、画像認識処理部１０４およびカメラ信号処理制御部１０３が連携して機能する。 In the above configuration, the arithmetic unit 203 executes the camera signal processing program 214, the image recognition processing program 215, and the camera signal processing control program 216 in the program memory 205, so that the camera signal processing unit 102, the image recognition process in FIG. Functions as the unit 104 and the camera signal processing control unit 103. As described above, the image recognition camera according to the present embodiment is a software processing camera that processes an image signal by software processing, and the arithmetic unit 203 is configured by a one-chip programmable DSP or the like. The operations of the two programs operate in cooperation with each other, whereby the camera signal processing unit 102, the image recognition processing unit 104, and the camera signal processing control unit 103 in FIG. 1 function in cooperation.

次に、図１に基づき、本実施の形態に係る画像認識カメラの動作概要を説明する。撮像素子１０１から入力されたＲＧＢベイヤー配列の原画像がカメラ信号処理部１０２で処理されて、ＹＵＶフォーマットの画像信号に変換される。そして、変換後の画像信号に対して画像認識処理部１０４で画像認識が行われ、画像信号と認識結果が結果出力１０５から出力される。 Next, an outline of the operation of the image recognition camera according to the present embodiment will be described with reference to FIG. An RGB Bayer array original image input from the image sensor 101 is processed by the camera signal processing unit 102 and converted into an image signal in YUV format. Then, the image recognition processing unit 104 performs image recognition on the converted image signal, and the image signal and the recognition result are output from the result output 105.

ここで、画像認識処理部１０４は、認識の判定結果を信頼度という指標で出力するものとする。この信頼度が高くも低くもなく、認識対象物２０８が“Ａ”であるか、そうでないのかが断定できない場合に、カメラ信号処理制御部１０３が、カメラ信号処理部１０２の制御パラメータ（実行パラメータ）を変化させる。具体的には、信頼度が後述するように所定の閾値付近の場合にパラメータ制御が行われる。これにより、カメラ信号処理部１０２は複数のパラメータ設定にて画像信号を生成する。そして、画像認識処理部１０４は、複数のパラメータ設定での複数の画像信号の各々に対して画像認識を行い、複数のパラメータ設定での信頼度を得て、それら複数のパラメータ設定に対する信頼度を比較・検討する。これにより、本実施の形態では、信頼性の高い認識の判断を行うことができる。 Here, it is assumed that the image recognition processing unit 104 outputs a recognition determination result with an index of reliability. When the reliability is neither high nor low, and it cannot be determined whether the recognition target 208 is “A” or not, the camera signal processing control unit 103 controls the control parameters (execution parameters) of the camera signal processing unit 102. ). Specifically, parameter control is performed when the reliability is near a predetermined threshold as will be described later. Accordingly, the camera signal processing unit 102 generates an image signal with a plurality of parameter settings. Then, the image recognition processing unit 104 performs image recognition for each of the plurality of image signals with the plurality of parameter settings, obtains reliability with the plurality of parameter settings, and increases the reliability with respect to the plurality of parameter settings. Compare and review. Thereby, in this Embodiment, determination of recognition with high reliability can be performed.

次に、上記動作において画像認識処理部１０３が算出する信頼度について説明する。ここでは、まず、複数のパラメータ設定から求められた複数の信頼度から最終的な認識結果を算出する処理について概略的に説明する。それから、複数のパラメータ設定を実現するための動作として、算出された信頼度に基づいてカメラ信号処理制御部１０３が複数のカメラ信号処理１０２のパラメータ設定を切り替えるフィードバックの動作について説明する。 Next, the reliability calculated by the image recognition processing unit 103 in the above operation will be described. Here, first, a process for calculating a final recognition result from a plurality of reliability levels obtained from a plurality of parameter settings will be schematically described. Then, as an operation for realizing a plurality of parameter settings, a feedback operation in which the camera signal processing control unit 103 switches the parameter settings of the plurality of camera signal processes 102 based on the calculated reliability will be described.

前述のとおり画像認識処理部１０４では、画像認識処理を行って得られた信頼度を閾値と比較し、その大小で認識対象物２０８が“Ａ”であることを判断する。例えば、“Ａ”が人物であり、画像認識処理部１０４は、予め記憶された人物画像を撮影画像と比較する処理を行ったり、予め記憶された人物特徴情報を用いた画像処理（例えば記憶された人物特徴情報と撮影画像から抽出された特徴情報を比較する処理）を行って、認識対象物２０８が“Ａ”であることの信頼度を求める。本実施の形態においては、カメラ信号処理部１０２のパラメータ設定を変えて得られた複数の信頼度の中から、最も信頼度が高いものを採用して認識の判断を行う。ここで高い値を使うのは、検出の漏れを最小限にするためである。例えば認識をセキュリティーに用いている場合などで、誤検出があっても、ユーザによる確認で誤りを判断できるが、検出漏れの場合はユーザの目に触れないので、検出漏れを発見するのは困難である。したがって、本実施の形態による検出漏れの防止が有用である。 As described above, the image recognition processing unit 104 compares the reliability obtained by performing the image recognition processing with a threshold value, and determines that the recognition object 208 is “A” depending on the magnitude. For example, “A” is a person, and the image recognition processing unit 104 performs a process of comparing a pre-stored person image with a photographed image, or an image process using pre-stored person feature information (for example, stored The person feature information and the feature information extracted from the photographed image are compared) to obtain the reliability that the recognition object 208 is “A”. In the present embodiment, the recognition is determined by adopting the one with the highest reliability among a plurality of reliability obtained by changing the parameter setting of the camera signal processing unit 102. The high value is used here in order to minimize detection leakage. For example, when recognition is used for security, even if there is a false detection, it can be determined by confirmation by the user. However, in the case of a detection failure, it is difficult to find the detection failure because the user's eyes are not touched. It is. Therefore, prevention of detection omission by this embodiment is useful.

次に、カメラ信号処理制御部１０３のパラメータ変更動作について説明する。カメラ信号処理制御部１０３は、画像認識処理部１０４より信頼度の値を受け取り、その値が閾値に近いか否かを以下の式で判定する。 Next, the parameter changing operation of the camera signal processing control unit 103 will be described. The camera signal processing control unit 103 receives the reliability value from the image recognition processing unit 104, and determines whether or not the value is close to the threshold by the following equation.

Ｔｈ − ａ＜Ｒ＜Ｔｈ＋ｂ・・・（式１）
Ｒ：信頼度Ｔｈ：閾値ａ：下限幅ｂ：上限幅 Th−a <R <Th + b (Formula 1)
R: Reliability Th: Threshold a: Lower limit b: Upper limit

上記の式１では、信頼度Ｒが閾値Ｔｈ前後の所定の幅に入るか否かが判定される。信頼度が上記式１の条件を満たしている場合は、判定がグレーであったとして、カメラ信号処理制御部１０３がカメラ信号処理部１０２の制御パラメータを変更して、カメラ信号処理部１０２が再度認識対象の画像を生成し、画像認識処理部１０４が再度認識処理を実行する。 In the above formula 1, it is determined whether or not the reliability R falls within a predetermined range around the threshold Th. If the reliability satisfies the condition of Equation 1, the camera signal processing control unit 103 changes the control parameter of the camera signal processing unit 102 and the camera signal processing unit 102 again determines that the determination is gray. An image to be recognized is generated, and the image recognition processing unit 104 executes the recognition process again.

カメラ信号処理部のパラメータは下記のようにして変更される。ここでは、ＡＧＣゲインとホワイトバランスを変更する例について説明する。 The parameters of the camera signal processing unit are changed as follows. Here, an example of changing the AGC gain and the white balance will be described.

ＡＧＣゲインによって、全体的に暗い画像の信号レベルを上げることで、認識対象物２０８がはっきりと現れるようになることがある（反面ノイズがのってしまう場合もある）。このＡＧＣゲイン値を複数回変化させながら再度画像認識処理を行うことで、認識対象物２０８を正しく認識できる可能性を上げることができる。 By increasing the signal level of the overall dark image by the AGC gain, the recognition object 208 may appear clearly (on the other hand, noise may be added). By performing the image recognition process again while changing the AGC gain value a plurality of times, the possibility of correctly recognizing the recognition object 208 can be increased.

次に、ホワイトバランスについてであるが、カメラでは撮影場所の光源によって被写体の色の見え方が異なってしまうことがある。そのため、画像認識処理において色を認識処理のアルゴリズムで使っている場合には、色の違いが認識結果２１３を誤らせてしまうことがある。そこで、ホワイトバランスもＡＧＣゲインと同様に変化させながら再度画像認識処理を行うことで、光源の条件が変わっても認識対象物２０８を正しく認識できる可能性を上げることができる。 Next, with regard to white balance, the appearance of the color of the subject may differ depending on the light source at the shooting location. For this reason, when colors are used in the recognition processing algorithm in the image recognition processing, the color difference may cause the recognition result 213 to be erroneous. Therefore, by performing the image recognition process again while changing the white balance in the same manner as the AGC gain, it is possible to increase the possibility that the recognition object 208 can be correctly recognized even if the light source condition changes.

図４に、ＡＧＣゲインおよびホワイトバランスを共に変化させる場合のマトリックスの表を示す。ここではＡＧＣゲインに関して、パラメータ４１１〜４１３の３つのパターンを用意し、ホワイトバランスについても、パラメータ４２１〜４２３の３つのパターンを用意してある。したがって、ＡＧＣゲインとホワイトバランスの組み合わせでは、表のように、パラメータセット４３１〜４３９の９パターンが発生する。これら９パターンのパラメータが記憶されており、カメラ信号処理制御部１０３によりパラメータ制御に使用される。画像認識カメラは、これら９パターンのパラメータのすべてで認識処理を実行し、９通りの信頼度を得る。ここで、複数の信頼度をもとに最終的な認識の判断を行う手法としては、複数の手法が考えられるが、本実施の形態の例では、前述のように、信頼度の値が最も大きいものを判定に用いることとする。 FIG. 4 shows a matrix table when both the AGC gain and the white balance are changed. Here, three patterns of parameters 411 to 413 are prepared for the AGC gain, and three patterns of parameters 421 to 423 are prepared for the white balance. Therefore, in the combination of AGC gain and white balance, nine patterns of parameter sets 431 to 439 are generated as shown in the table. These nine patterns of parameters are stored and used by the camera signal processing control unit 103 for parameter control. The image recognition camera executes recognition processing with all these nine patterns of parameters, and obtains nine types of reliability. Here, a plurality of methods can be considered as a method for determining the final recognition based on a plurality of reliability levels. However, in the example of the present embodiment, the reliability value is the highest as described above. The larger one is used for judgment.

以上の説明により、本実施の形態においては、信頼度が閾値付近のときに、パラメータ設定を上記の複数のパラメータパターンに変えてカメラ信号処理を行って画像認識処理を再実行することで、より撮影条件に適したカメラ信号処理による認識用画像を生成する可能性が増し、画像認識処理の検出漏れを低減することができる。 As described above, in the present embodiment, when the reliability is near the threshold value, the parameter setting is changed to the plurality of parameter patterns described above, the camera signal processing is performed, and the image recognition processing is performed again. The possibility of generating an image for recognition by camera signal processing suitable for the shooting conditions increases, and omission of detection in the image recognition processing can be reduced.

次に、本実施の形態の応用例および変形例について説明する。 Next, application examples and modification examples of the present embodiment will be described.

本実施の形態ではＡＧＣゲインとホワイトバランスのパラメータをそれぞれ３パターン用意した。しかし、パターン数は上記に限定されず、任意のパターン数に増減してもよい。 In the present embodiment, three patterns of AGC gain and white balance parameters are prepared. However, the number of patterns is not limited to the above, and may be increased or decreased to an arbitrary number of patterns.

本実施の形態では、ＡＧＣゲインとホワイトバランスを、変更するパラメータとして選定したが、他のパラメータが変更されてよい。例えば、露光時間などの露光設定のパラメータが変更されてもよい。パラメータを露光時間にした場合は、露光時間が長い場合と短い場合で画像の取れ方が変わってくる。一般的には露光時間が短いほうがブレの少ないはっきりした画像を取得できる。しかし、暗所で被写体が静止している場合は露光時間が長いほうが鮮明な画像を取れることもある。したがって、露光時間を変えた画像で再度画像認識処理を行うことで、被写体を正しく認識できる可能性が出てくる。 In the present embodiment, the AGC gain and the white balance are selected as parameters to be changed, but other parameters may be changed. For example, exposure setting parameters such as exposure time may be changed. When the parameter is the exposure time, the way the image is taken varies depending on whether the exposure time is long or short. In general, a clear image with less blur can be obtained when the exposure time is shorter. However, when the subject is stationary in a dark place, a clearer image may be obtained with a longer exposure time. Therefore, there is a possibility that the subject can be correctly recognized by performing the image recognition process again on the image with the changed exposure time.

また、図２のプログラムメモリ２０５は、２種類以上のカメラ信号処理プログラム２１４を記憶していてもよい。同様に、図２のプログラムメモリ２０５は、２種類以上の画像認識処理プログラム２１５および２種類以上のカメラ信号処理制御プログラム２１６を記憶していてもよい。２種類以上のプログラムは、演算部２０３により、認識対象物等の条件に応じて切り替えながら実行されてよい。 The program memory 205 in FIG. 2 may store two or more types of camera signal processing programs 214. Similarly, the program memory 205 in FIG. 2 may store two or more types of image recognition processing programs 215 and two or more types of camera signal processing control programs 216. Two or more types of programs may be executed by the calculation unit 203 while switching according to conditions such as a recognition target.

また、本実施の形態では複数ある信頼度から最終判断を行う際に、信頼度の最大値を用いた。しかし、最終判断の処理はこれに限定されず、信頼度の種類に応じて変更されてよい。例えば、逆に、信頼度が最小値になる認識結果が、最終的な認識結果として採用されてよい。また、複数の信頼度の平均値が、認識結果として用いられてよい。例えば、複数の信頼度のどれが正確かが不明な場合に、平均化により誤差低減を図れる。 In this embodiment, the maximum value of reliability is used when making a final determination from a plurality of reliability levels. However, the final determination process is not limited to this, and may be changed according to the type of reliability. For example, conversely, a recognition result with a minimum reliability may be adopted as the final recognition result. An average value of a plurality of reliability levels may be used as a recognition result. For example, when it is not clear which of a plurality of reliability levels is accurate, the error can be reduced by averaging.

また、本実施の形態では複数のパラメータでカメラ信号処理を実行して、結果である複数の信頼度を利用して認識結果を判断している。別の構成例では、画像認識処理部１０４が、画像認識処理に失敗した場合に、失敗した原因（理由）を解析し、失敗の原因を解析結果としてカメラ信号処理制御部１０３に伝達する。例えば、信頼度が所定の閾値以下の場合に認識処理が失敗する。失敗原因の例は後述する。カメラ信号処理制御部１０３は、失敗原因に応じて、画像認識が成功しやすいカメラ信号処理のパラメータを選択し、カメラ信号処理部１０２のパラメータを変更する。カメラ信号処理部１０２は、変更後のパラメータで画像を生成し、画像認識処理部１０４は、変更後のパラメータ設定で生成された画像を用いて再度画像認識処理を実行する。 In the present embodiment, camera signal processing is executed with a plurality of parameters, and a recognition result is determined using a plurality of reliability as a result. In another configuration example, when the image recognition processing unit 104 fails in the image recognition processing, the cause (reason) of the failure is analyzed, and the cause of the failure is transmitted to the camera signal processing control unit 103 as an analysis result. For example, the recognition process fails when the reliability is below a predetermined threshold. An example of the cause of failure will be described later. The camera signal processing control unit 103 selects a parameter of camera signal processing that facilitates image recognition according to the cause of the failure, and changes the parameter of the camera signal processing unit 102. The camera signal processing unit 102 generates an image with the changed parameter, and the image recognition processing unit 104 executes the image recognition process again using the image generated with the changed parameter setting.

上記の構成において、認識処理の失敗原因は例えば画像のぼけである。この場合、画像認識処理部１０４は、例えば画像の周波数等から画像のぼけの程度を求め、ぼけが所定レベル以上であれば、失敗原因が画像のぼけであると判定し、失敗原因をカメラ信号処理制御部１０３に伝達する。カメラ信号処理制御部１０３は、カメラ信号処理部１０２の輪郭強調処理を強めるパラメータ制御を行う。これにより、ぼけが低減された画像が生成され、再度認識処理が行われる。 In the above configuration, the cause of the recognition processing failure is, for example, image blur. In this case, the image recognition processing unit 104 obtains the degree of blur of the image from, for example, the frequency of the image, and if the blur is equal to or greater than a predetermined level, determines that the cause of failure is blur of the image and determines the cause of failure as a camera signal. This is transmitted to the processing control unit 103. The camera signal processing control unit 103 performs parameter control that enhances the contour enhancement processing of the camera signal processing unit 102. Thereby, an image with reduced blur is generated, and recognition processing is performed again.

さらに別の構成例では、画像認識処理部１０４は、画像認識処理の実行途中で認識に失敗するか否かを判断する。画像認識処理部１０４は、認識に失敗すると判断した場合は、画像認識処理を中断し、認識処理中断をカメラ信号処理制御部１０３に伝達する。カメラ信号処理制御部１０３は、画像認識処理が中断された場合に、画像認識処理部１０４が認識しやすい画像を生成するようにカメラ信号処理部１０２を制御する。そして、カメラ信号処理が再度行われ、画像認識処理部１０４が再度画像認識処理を実行する。 In still another configuration example, the image recognition processing unit 104 determines whether or not recognition fails during the execution of the image recognition process. If the image recognition processing unit 104 determines that the recognition has failed, the image recognition processing unit 104 interrupts the image recognition processing and transmits the recognition processing interruption to the camera signal processing control unit 103. The camera signal processing control unit 103 controls the camera signal processing unit 102 so as to generate an image that can be easily recognized by the image recognition processing unit 104 when the image recognition processing is interrupted. Then, the camera signal processing is performed again, and the image recognition processing unit 104 executes the image recognition processing again.

上記構成においては、画像認識処理部１０４は、画像認識処理の実行途中で、認識に失敗するか否かの予測を行う。ここでも、認識失敗理由の例は、画像のぼけである。画像認識処理部１０４は画像のぼけの程度を求め、ぼけが所定レベル以上であれば、認識失敗が発生すると予測し、画像認識処理を中断する。そして、画像認識処理が中断されると、カメラ信号処理制御部１０３は、カメラ信号処理部１０２の輪郭強調処理を強めるパラメータ制御を行う。これにより、ぼけが低減された画像が生成され、再度認識処理が行われる。 In the above configuration, the image recognition processing unit 104 predicts whether or not the recognition fails during the execution of the image recognition process. Again, an example of a recognition failure reason is image blur. The image recognition processing unit 104 obtains the degree of blur of the image, and if the blur is greater than or equal to a predetermined level, predicts that a recognition failure will occur and interrupts the image recognition process. When the image recognition processing is interrupted, the camera signal processing control unit 103 performs parameter control that enhances the contour enhancement processing of the camera signal processing unit 102. Thereby, an image with reduced blur is generated, and recognition processing is performed again.

以上、本発明の実施の形態に係る画像認識カメラについて説明した。上述のように、本実施の形態によれば、画像認識処理部１０４の認識結果をフィードバックしてカメラ信号処理部１０２を制御するカメラ信号処理制御部１０３を設けたので、画像認識を行った結果をカメラの制御に対してフィードバックすることができ、カメラは撮影条件が変化しても画像認識処理が成功しやすい画像を出力することが可能となり、画像認識が成功しやすくなる。しかも、画像認識結果をフィードバックしてカメラ信号処理の側を制御する構成を設ければよいので、認識のアルゴリズム自体を特に高度化する必要はない。こうして、従来よりも高度な認識アルゴリズムおよび回路を必要とすることなく、画像認識カメラの認識性能の向上を図ることができる。 The image recognition camera according to the embodiment of the present invention has been described above. As described above, according to the present embodiment, the camera signal processing control unit 103 that controls the camera signal processing unit 102 by feeding back the recognition result of the image recognition processing unit 104 is provided. Can be fed back to the control of the camera, and the camera can output an image for which the image recognition process is likely to be successful even if the photographing condition is changed, and the image recognition is likely to be successful. In addition, it is only necessary to provide a configuration for controlling the camera signal processing side by feeding back the image recognition result, so that the recognition algorithm itself does not need to be particularly sophisticated. In this way, it is possible to improve the recognition performance of the image recognition camera without requiring an advanced recognition algorithm and circuit than before.

本実施の形態によれば、例えば、カメラ信号処理、画像認識処理、カメラ信号処理制御といった処理を１チッププログラマブルＤＳＰなどにソフトウェアで連携するように実装して、カメラシステムの部品数を減らしてコストダウンを図るなどの応用も可能であり、これにより、安価で高性能な画像認識カメラを提供できる。 According to the present embodiment, for example, processing such as camera signal processing, image recognition processing, and camera signal processing control is implemented in a one-chip programmable DSP or the like so as to cooperate with software, thereby reducing the number of parts of the camera system and reducing the cost. Application such as downing is also possible, thereby providing an inexpensive and high-performance image recognition camera.

また、本実施の形態によれば、認識処理の実行結果に応じてパラメータが変更される。本実施の形態の場合、認識結果の信頼度が所定のレベルの場合、より詳細には、認識結果が曖昧になる所定の信頼度レベルの場合に、パラメータが変更される。そして、変更されたパラメータでカメラ信号処理した画像を再度、画像認識処理することが１回以上繰り返され、得られた２つ以上の結果から、最終的な認識結果が判断される。このように、異なるパラメータ設定で得られる複数の認識実行結果から最終的な認識結果を判断することで、認識性能を向上できる。 Moreover, according to this Embodiment, a parameter is changed according to the execution result of recognition processing. In the case of the present embodiment, the parameter is changed when the reliability of the recognition result is a predetermined level, more specifically, when the reliability is a predetermined reliability level where the recognition result is ambiguous. Then, the image recognition processing of the image subjected to the camera signal processing with the changed parameter is repeated once or more, and the final recognition result is determined from the obtained two or more results. Thus, the recognition performance can be improved by determining the final recognition result from a plurality of recognition execution results obtained with different parameter settings.

また、本実施の形態によれば、カメラ信号処理のパラメータとしてＡＧＣゲイン値が変更され、これにより、認識しやすい画像が得られ、認識性能を向上できる。 Further, according to the present embodiment, the AGC gain value is changed as a camera signal processing parameter, whereby an easily recognizable image can be obtained and the recognition performance can be improved.

また、本実施の形態によれば、カメラ信号処理部のパラメータとしてホワイトバランスが変更され、これにより、認識しやすい画像が得られ、認識性能を向上できる。 Further, according to the present embodiment, the white balance is changed as a parameter of the camera signal processing unit, whereby an easily recognizable image can be obtained and the recognition performance can be improved.

また、本実施の形態によれば、カメラ信号処理のパラメータとして露光設定が変更され、これにより、認識しやすい画像が得られ、認識性能を向上できる。 Further, according to the present embodiment, the exposure setting is changed as a camera signal processing parameter, whereby an image that is easy to recognize can be obtained, and the recognition performance can be improved.

また、本実施の形態によれば、認識処理の実行結果が２つ以上ある場合に、それら複数の実行結果から最も信頼度が高い実行結果が選ばれて、最終的な認識結果が判断される。こうして、カメラ信号処理のパラメータを変更しながら認識処理を繰り返し、信頼度の高い認識結果を選択することで、認識性能を向上できる。 Further, according to this embodiment, when there are two or more recognition process execution results, the execution result with the highest reliability is selected from the plurality of execution results, and the final recognition result is determined. . Thus, the recognition performance can be improved by repeating the recognition processing while changing the parameters of the camera signal processing and selecting a recognition result with high reliability.

また、本実施の形態によれば、認識処理の実行結果が２つ以上ある場合に、それら複数の実行結果を平均化して、最終的な認識結果が判断される。これにより、カメラ信号処理のパラメータを変更しながら認識処理を繰り返すことで得られる複数の認識結果を平均化することで、認識精度を向上し、認識性能を向上できる。 Further, according to the present embodiment, when there are two or more recognition process execution results, the plurality of execution results are averaged to determine the final recognition result. Accordingly, by averaging a plurality of recognition results obtained by repeating the recognition processing while changing the parameters of the camera signal processing, the recognition accuracy can be improved and the recognition performance can be improved.

また、本実施の形態によれば、画像認識処理に失敗した場合に、失敗した原因を解析する処理が行われ、解析結果に基づいて認識しやすい画像を生成するようにカメラ信号処理が制御され、再度画像認識処理が実行される。これにより、失敗原因を解消できる画像をカメラ信号処理で生成でき、認識性能を向上できる。 Further, according to the present embodiment, when image recognition processing fails, processing for analyzing the cause of the failure is performed, and camera signal processing is controlled so as to generate an image that is easy to recognize based on the analysis result. The image recognition process is executed again. Thereby, the image which can eliminate a failure cause can be produced | generated by camera signal processing, and recognition performance can be improved.

また、本実施の形態によれば、認識に失敗した原因が撮影した画像のぼけであると判断した場合に、カメラ信号処理の輪郭強調処理が強められる。これにより、画像のぼけを低減して認識処理を成功させることができ、認識性能を向上できる。 Further, according to the present embodiment, when it is determined that the cause of the recognition failure is blurring of the captured image, the contour enhancement processing of the camera signal processing is strengthened. Thereby, blurring of an image can be reduced and a recognition process can be made successful, and recognition performance can be improved.

また、本実施の形態によれば、画像認識処理の実行途中で認識に失敗すると判断した場合は、画像認識処理が中断され、認識しやすい画像を生成するようにカメラ信号処理が制御され、再度画像認識処理が実行される。これにより、速やかに画像認識処理を中断し、カメラ信号処理部を制御することで、認識処理時間を短縮できる。 In addition, according to the present embodiment, when it is determined that the recognition fails during the execution of the image recognition process, the image recognition process is interrupted, and the camera signal process is controlled so as to generate an easy-to-recognize image. Image recognition processing is executed. Accordingly, the recognition processing time can be shortened by promptly interrupting the image recognition processing and controlling the camera signal processing unit.

また、本実施の形態の画像認識カメラは、図２に示したハードウエア的な観点では、レンズから受光した光を電気信号に変換し、入力原画像とする撮像素子２０１と、画像データおよびメタデータ（認識結果２１３）を記録するデータメモリ２０４と、原画像を処理して画像に変換するカメラ信号処理プログラム２１４と画像から認識対象物を検出する画像認識処理プログラム２１５と画像認識処理プログラム２１５の結果と連動してカメラ信号処理プログラム２１４のパラメータを制御するカメラ信号処理制御プログラム２１６の３つの処理プログラムを実行する演算部２０３と、カメラ信号処理プログラム２１４と画像認識処理プログラム２１５とカメラ信号処理制御プログラム２１６をそれぞれ１種類以上格納するプログラムメモリ２０５と、画像と認識結果のメタデータを出力できる出力部２０７とを備える。この観点でも上述した本発明の利点が得られる。 In addition, the image recognition camera according to the present embodiment, from the hardware viewpoint shown in FIG. 2, converts the light received from the lens into an electrical signal and uses it as an input original image, image data, and meta data. A data memory 204 for recording data (recognition result 213), a camera signal processing program 214 for processing an original image and converting it into an image, an image recognition processing program 215 for detecting a recognition object from the image, and an image recognition processing program 215. An arithmetic unit 203 that executes three processing programs of a camera signal processing control program 216 that controls parameters of the camera signal processing program 214 in conjunction with the result, a camera signal processing program 214, an image recognition processing program 215, and camera signal processing control. Program memory 2 for storing at least one type of program 216 Provided with 5, and an output unit 207 can output the metadata of the image and the recognition result. From this viewpoint, the above-described advantages of the present invention can be obtained.

さらに、本発明は、上述のカメラ信号処理部１０２、画像認識処理部１０４およびカメラ信号処理制御部１０３の処理を画像認識カメラの演算装置に実行させるプログラムといかたち表現されてよく、すなわち、本発明の一態様は、図２のカメラ信号処理プログラム２１４、画像認識処理プログラム２１５およびカメラ信号処理制御プログラム２１６であってよく、この観点でも上述した本発明の利点が得られる。 Furthermore, the present invention may be expressed as a program that causes the arithmetic unit of the image recognition camera to execute the processes of the camera signal processing unit 102, the image recognition processing unit 104, and the camera signal processing control unit 103 described above. One embodiment may be the camera signal processing program 214, the image recognition processing program 215, and the camera signal processing control program 216 of FIG. 2, and the above-described advantages of the present invention can be obtained from this viewpoint.

さらには、本発明の一態様は、上記の本発明のプログラムを格納した記録媒体であってよく、この観点でも上述した本発明の利点が得られる。 Furthermore, one aspect of the present invention may be a recording medium storing the above-described program of the present invention, and the above-described advantages of the present invention can be obtained from this viewpoint.

以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments, and it goes without saying that those skilled in the art can modify the above-described embodiments within the scope of the present invention.

以上のように、本発明にかかる画像認識カメラは、画像認識性能を向上できるという効果を有し、例えば認証用の画像認識カメラ等として有用である。 As described above, the image recognition camera according to the present invention has an effect that the image recognition performance can be improved, and is useful as an image recognition camera for authentication, for example.

本発明の実施の形態における画像認識カメラのブロック図Block diagram of an image recognition camera in an embodiment of the present invention 本発明の実施の形態における画像認識カメラをハードウエア的な観点で示すブロック図The block diagram which shows the image recognition camera in embodiment of this invention from a hardware viewpoint 入力原画像のＲＧＢベイヤー配列を説明する図The figure explaining the RGB Bayer arrangement of the input original image ＡＧＣゲインとホワイトバランスのパラメータマトリックス表を示す図The figure which shows the parameter matrix table of AGC gain and white balance

Explanation of symbols

１０１撮像素子
１０２カメラ信号処理部
１０３カメラ信号処理制御部
１０４画像認識処理部
１０５出力部
２０１レンズ
２０２撮像素子
２０３演算部
２０４データメモリ
２０５プログラムメモリ
２０６制御ＩＦ部
２０７出力部
２０８認識対象物
２１１入力原画像
２１２カメラ信号処理済画像
２１３認識結果
２１４カメラ信号処理プログラム
２１５画像認識処理プログラム
２１６カメラ信号処理制御プログラム DESCRIPTION OF SYMBOLS 101 Image pick-up element 102 Camera signal processing part 103 Camera signal processing control part 104 Image recognition processing part 105 Output part 201 Lens 202 Image pick-up element 203 Operation part 204 Data memory 205 Program memory 206 Control IF part 207 Output part 208 Recognition target object 211 Input original Image 212 Camera signal processed image 213 Recognition result 214 Camera signal processing program 215 Image recognition processing program 216 Camera signal processing control program

Claims

An image sensor for generating a signal of an original image of a subject;
A camera signal processing unit that converts the original image into a human-visible image,
An image recognition processing unit for recognizing a subject from an image processed by the camera signal processing unit;
A camera signal processing control unit that feeds back a recognition result of the image recognition processing unit to control the camera signal processing unit;
A result output unit that outputs an image processed by the camera signal processing unit and a recognition result of the image recognition processing unit;
An image recognition camera comprising:

The camera signal processing control unit changes the parameters of the camera signal processing unit according to the execution result of the recognition processing of the image recognition processing unit, and the image recognition processing unit performs camera signal processing with the changed parameters. 2. The image recognition camera according to claim 1, wherein the image recognition process is repeated once or more again, and a final recognition result is determined from two or more obtained results.

The image recognition camera according to claim 2, wherein the camera signal processing control unit changes an AGC gain value as a parameter of the camera signal processing unit.

The image recognition camera according to claim 2, wherein the camera signal processing control unit changes white balance as a parameter of the camera signal processing unit.

5. The image recognition camera according to claim 2, wherein the camera signal processing control unit changes an exposure setting as a parameter of the camera signal processing unit.

When there are two or more recognition processing execution results, the image recognition processing unit selects an execution result with the highest reliability from the plurality of execution results and determines a final recognition result. The image recognition camera according to claim 1.

6. The image recognition processing unit according to claim 1, wherein when there are two or more recognition processing execution results, the plurality of execution results are averaged to determine a final recognition result. The image recognition camera described in Crab.

When the image recognition processing unit fails, the image recognition processing unit performs a process of analyzing the cause of the failure, and the camera signal processing control unit generates an image that the image recognition processing unit can easily recognize based on the analysis result. The image recognition camera according to claim 1, wherein the camera signal processing unit is controlled to generate the image recognition processing unit, and the image recognition processing unit executes the image recognition processing again.

When the image recognition processing unit determines that the cause of the recognition failure is blurring of the captured image, the camera signal processing control unit enhances the edge enhancement processing of the camera signal processing unit. The image recognition camera according to claim 8.

The image recognition processing unit interrupts the image recognition process when it is determined that the recognition has failed during the image recognition process, and the camera signal processing control unit cancels the image recognition process when the image recognition process is interrupted. 8. The camera signal processing unit is controlled so as to generate an image that can be easily recognized by a recognition processing unit, and the image recognition processing unit executes image recognition processing again. Image recognition camera.

A camera signal processing program for processing the original image and converting it into an image, an image recognition processing program for detecting a recognition object from the image, and controlling the parameters of the camera signal processing program in conjunction with the result of the image recognition processing program An arithmetic unit that executes three processing programs of the camera signal processing control program;
A program memory for storing the camera signal processing program, the image recognition processing program, and the camera signal processing control program;
The arithmetic unit executes the camera signal processing program, the image recognition processing program, and the camera signal processing control program, and serves as the camera signal processing unit, the image recognition processing unit, and the camera signal processing control unit. The image recognition camera according to claim 1, which functions.

The processing unit of the image recognition camera is caused to execute processing of the camera signal processing unit, the image recognition processing unit, and the camera signal processing control unit in the image recognition camera according to claim 1. Program to do.

The program which makes the arithmetic unit of the said image recognition camera perform the process of the said camera signal processing part in the image recognition camera in any one of Claim 1 to 11, the said image recognition processing part, and the said camera signal processing control part as data A recording medium characterized by recording.

An image recognition camera that recognizes a subject from analysis of a captured image and outputs metadata of the image and a recognition result,
An image sensor that converts light received from the lens into an electrical signal and uses it as an input original image;
A data memory for recording image data and metadata;
A camera signal processing program for processing an original image and converting it to an image, an image recognition processing program for detecting a recognition object from the image, and a camera for controlling parameters of the camera signal processing program in conjunction with the result of the image recognition processing program An arithmetic unit that executes the three processing programs of the signal processing control program;
A program memory for storing at least one type of the camera signal processing program, the image recognition processing program, and the camera signal processing control program;
An output unit that can output metadata of images and recognition results;
An image recognition camera comprising:

The arithmetic unit changes the parameters of the camera signal processing program by the camera signal processing control program according to the execution result of the image recognition processing program, and the image obtained by performing camera signal processing with the changed parameters is again the image 15. The image recognition camera according to claim 14, wherein the image recognition processing by the recognition processing program is repeated one or more times, and a final recognition result is determined from two or more obtained results.

The image recognition camera according to claim 15, wherein the parameter is at least one of an AGC gain value, a white balance, and an exposure setting value.

The arithmetic unit, when there are two or more execution results of the image recognition processing program, selects one of the plurality of execution results having the highest reliability and determines a final recognition result. The image recognition camera according to claim 14.

17. The calculation unit according to claim 14, wherein when there are two or more execution results of the image recognition processing program, the arithmetic unit averages a plurality of execution results and determines a final recognition result. The image recognition camera described in 1.

When the image recognition processing program fails to recognize, the arithmetic unit analyzes the cause of the failure in the image recognition processing program, and generates an image that the camera signal processing program can easily recognize based on the analysis result. 19. The image recognition camera according to claim 14, wherein parameter control is performed by the camera signal processing control program.

When the calculation unit determines that the cause of the recognition failure of the image recognition processing program is blurring of the photographed image, the image enhancement processing is strengthened again and the image recognition processing is performed again. The image recognition camera according to claim 19, wherein the program is executed.

If the arithmetic unit determines that the recognition fails during the execution of the image recognition processing program, the arithmetic unit interrupts the image recognition processing program and generates an image that the camera signal processing program can easily recognize. 19. The image recognition camera according to claim 14, wherein parameter control is performed by a signal processing control program, and the image recognition processing program is executed again.