JP2008017259A - Image recognition camera - Google Patents
Image recognition camera Download PDFInfo
- Publication number
- JP2008017259A JP2008017259A JP2006187590A JP2006187590A JP2008017259A JP 2008017259 A JP2008017259 A JP 2008017259A JP 2006187590 A JP2006187590 A JP 2006187590A JP 2006187590 A JP2006187590 A JP 2006187590A JP 2008017259 A JP2008017259 A JP 2008017259A
- Authority
- JP
- Japan
- Prior art keywords
- image recognition
- image
- signal processing
- camera
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 293
- 238000000034 method Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Character Discrimination (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、カメラが撮像した領域から、人物や文字などの対象物を認識する機能を有する画像認識カメラに関し、特に、認識性能を向上させる技術に関する。 The present invention relates to an image recognition camera having a function of recognizing an object such as a person or a character from an area captured by the camera, and more particularly to a technique for improving recognition performance.
画像処理技術の発達および半導体デバイスの小型化により、近年のカメラには撮影機能と画像認識の機能が一体化したものも見られるようになった。これにより、例えば、施設の門において、入門時に被写体である人物の顔を画像認識することで、認証機能などの付加価値をカメラに与えることが可能になった。画像認識機能を持ったカメラには、例えば、特許文献1および特許文献2に示すようなものがある。 Due to the development of image processing technology and the miniaturization of semiconductor devices, some cameras in recent years have integrated a photographing function and an image recognition function. As a result, for example, at the facility gate, it is possible to give an added value such as an authentication function to the camera by recognizing the face of the person who is the subject when entering the facility. Examples of cameras having an image recognition function include those shown in Patent Document 1 and Patent Document 2.
特許文献1に記載の画像認識カメラは、撮像画面中の青空を認識して、画面下部の黒つぶれを低減するように構成されている。このカメラは、撮像素子の出力信号を処理して画像信号として輝度、色差信号を生成するカメラ信号処理回路と、青空を認識する専用の画像認識回路を備えており、画像認識回路はカメラ信号処理回路により生成された画像信号を解析して、青空の有無を検出する。 The image recognition camera described in Patent Document 1 is configured to recognize a blue sky in an imaging screen and reduce blackening at the bottom of the screen. This camera is equipped with a camera signal processing circuit that processes the output signal of the image sensor to generate luminance and color difference signals as image signals, and a dedicated image recognition circuit that recognizes the blue sky. The image signal generated by the circuit is analyzed to detect the presence of a blue sky.
特許文献2の画像認識カメラは、撮像画面中の人物の顔を認識するように構成されており、検出した「顔」の画像データは通信用モジュールにより遠隔地の保存用サーバに送信される。この従来例の画像認識カメラは、画像を生成するビデオデジタルプロセスと、生成された画像から顔認識を実行する専用ソフトウェアライブラリーを設けている。
しかしながら、特許文献1および特許文献2などの従来の画像認識カメラは、下記のように、画像認識の性能向上に関しては改良の余地があると考えられる。 However, it is considered that conventional image recognition cameras such as Patent Document 1 and Patent Document 2 have room for improvement in terms of improving the performance of image recognition as described below.
ここでは、画像認識の成否が入力画像に大きく影響を受けることに着目する。例えば、撮影時の光源により、同じ被写体であってもカメラ信号処理された画像には陰影の違いや、色の違いが生じたりする。また、カメラのフォーカスや露光などの設定によって、被写体の形状が異なって記録されることもある。このようなことから、屋外に設置した認識カメラなどは、時間および天候によって同じ被写体に対する認識結果が異なってしまうという問題点がある。例えば被写体が“A”という人物や物体である可能性をパーセントで表す信頼度を用いて、信頼度がある閾値を越えるかどうかで“A”の検出を行う認識システムの場合、信頼度が0%や100%に近く結果が歴然としていれば問題はないが、信頼度がどちらとも判定しにくい閾値前後の値の場合には所望とする被写体“A”の検出を漏らしてしまう恐れがある。 Here, attention is paid to the fact that the success or failure of image recognition is greatly influenced by the input image. For example, depending on the light source at the time of shooting, a difference in shadow or a difference in color may occur in images subjected to camera signal processing even for the same subject. Further, the shape of the subject may be recorded differently depending on settings such as camera focus and exposure. For this reason, a recognition camera or the like installed outdoors has a problem that recognition results for the same subject differ depending on time and weather. For example, in the case of a recognition system that detects “A” based on whether or not the reliability exceeds a certain threshold by using the reliability indicating the possibility that the subject is a person or object “A” as a percentage, the reliability is 0. If the result is obvious near% or 100%, there is no problem. However, if the reliability is a value around a threshold value that is difficult to determine, there is a possibility that detection of the desired subject “A” may be leaked.
このように、画像認識の成否は入力画像に大きく影響を受ける。しかし、従来の画像認識カメラでは、画像認識の前プロセスであるカメラ信号処理回路(ビデオデジタルプロセス)と画像認識回路が、別個の回路として独立に動作しており、画像認識結果の良否に関係なく同じカメラ信号処理が行われる。そのために、画像認識に適した入力画像が得られず、画像認識に失敗することがあった。 Thus, the success or failure of image recognition is greatly affected by the input image. However, in the conventional image recognition camera, the camera signal processing circuit (video digital process) and the image recognition circuit, which are the processes prior to image recognition, operate independently as separate circuits, regardless of whether the image recognition result is good or bad. The same camera signal processing is performed. Therefore, an input image suitable for image recognition cannot be obtained, and image recognition sometimes fails.
この点に関し、従来よりも高度な認識アルゴリズムや回路を搭載すれば、画像認識性能を向上することは可能と考えられる。しかし、この場合、処理の複雑化や処理時間の増加、回路規模の増大等の弊害が生じ得る。 In this regard, it is considered possible to improve the image recognition performance if a higher-level recognition algorithm or circuit than the conventional one is installed. However, in this case, problems such as complicated processing, increased processing time, and increased circuit scale may occur.
本発明は上記課題を解決するためになされたものであり、その目的は、従来よりも高度な認識アルゴリズムおよび回路を必要とすることなく、より良好な認識結果を出力できる画像認識カメラを提供することにある。 The present invention has been made to solve the above problems, and an object of the present invention is to provide an image recognition camera capable of outputting a better recognition result without requiring a higher-level recognition algorithm and circuit than conventional ones. There is.
本発明の画像認識カメラは、被写体の原画像の信号を生成する撮像素子と、原画像を人間の目に見える形式の画像に変換するカメラ信号処理部と、前記カメラ信号処理部で処理された画像から被写体を認識する画像認識処理部と、前記画像認識処理部の認識結果をフィードバックして前記カメラ信号処理部を制御するカメラ信号処理制御部と、前記カメラ信号処理部で処理された画像と前記画像認識処理部の認識結果を出力する結果出力部とを備えている。 An image recognition camera according to the present invention is processed by an imaging device that generates a signal of an original image of a subject, a camera signal processing unit that converts the original image into an image that is visible to human eyes, and the camera signal processing unit. An image recognition processing unit for recognizing a subject from an image, a camera signal processing control unit for controlling the camera signal processing unit by feeding back a recognition result of the image recognition processing unit, and an image processed by the camera signal processing unit, A result output unit that outputs a recognition result of the image recognition processing unit.
この構成により、画像認識処理部の認識結果をフィードバックしてカメラ信号処理部を制御するカメラ信号処理制御部を設けたので、画像認識を行った結果をカメラの制御に対してフィードバックすることができ、撮影条件が変化しても画像認識処理が成功しやすい画像を出力することが可能となり、画像認識が成功しやすくなる。しかも、画像認識結果をフィードバックしてカメラ信号処理の側を制御する構成を設ければよいので、認識のアルゴリズム自体を特に高度化する必要はない。こうして、従来よりも高度な認識アルゴリズムおよび回路を必要とすることなく、画像認識カメラの認識性能の向上を図ることができる。 With this configuration, the camera signal processing control unit that feeds back the recognition result of the image recognition processing unit and controls the camera signal processing unit is provided, so that the result of image recognition can be fed back to the control of the camera. Even if the shooting conditions change, it is possible to output an image in which image recognition processing is likely to be successful, and image recognition is likely to succeed. In addition, it is only necessary to provide a configuration for controlling the camera signal processing side by feeding back the image recognition result, so that the recognition algorithm itself does not need to be particularly sophisticated. In this way, it is possible to improve the recognition performance of the image recognition camera without requiring an advanced recognition algorithm and circuit than before.
また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記画像認識処理部の認識処理の実行結果に応じて、前記カメラ信号処理部のパラメータを変更し、前記画像認識処理部は、変更されたパラメータでカメラ信号処理した画像を再度、画像認識処理することを1回以上繰り返し、得られた2つ以上の結果から、最終的な認識結果を判断する。 In the image recognition camera of the present invention, the camera signal processing control unit changes a parameter of the camera signal processing unit according to a result of execution of the recognition process of the image recognition processing unit, and the image recognition processing unit Then, the image recognition processing of the image subjected to the camera signal processing with the changed parameter is repeated once or more, and the final recognition result is determined from the two or more obtained results.
この構成により、画像認識処理部の認識処理の実行結果に応じて、カメラ信号処理部のパラメータが変更される。そして、異なるパラメータ設定で得られる複数の認識実行結果から最終的な認識結果を判断することで、認識性能を向上できる。 With this configuration, the parameter of the camera signal processing unit is changed according to the execution result of the recognition processing of the image recognition processing unit. And recognition performance can be improved by judging a final recognition result from a plurality of recognition execution results obtained by different parameter settings.
また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとしてAGCゲイン値を変更する。この構成により、パラメータとしてAGCゲイン値を認識結果に応じて変更することによって、認識性能を向上できる。 In the image recognition camera of the present invention, the camera signal processing control unit changes an AGC gain value as a parameter of the camera signal processing unit. With this configuration, the recognition performance can be improved by changing the AGC gain value as a parameter according to the recognition result.
また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとしてホワイトバランスを変更する。この構成により、パラメータとしてホワイトバランスを認識結果に応じて変更することによって、認識性能を向上できる。 In the image recognition camera of the present invention, the camera signal processing control unit changes white balance as a parameter of the camera signal processing unit. With this configuration, the recognition performance can be improved by changing the white balance as a parameter according to the recognition result.
また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとして露光設定を変更する。この構成により、パラメータとして露光設定を認識結果に応じて変更することによって、認識性能を向上できる。 In the image recognition camera of the present invention, the camera signal processing control unit changes the exposure setting as a parameter of the camera signal processing unit. With this configuration, the recognition performance can be improved by changing the exposure setting as a parameter according to the recognition result.
また、本発明の画像認識カメラにおいて、前記画像認識処理部は、認識処理の実行結果が2つ以上ある場合に、それら複数の実行結果から最も信頼度が高い実行結果を選んで、最終的な認識結果を判断する。この構成により、認識処理の複数の実行結果から最も信頼度が高い実行結果を選ぶことにより、認識性能を向上できる。 In the image recognition camera of the present invention, when there are two or more recognition processing execution results, the image recognition processing unit selects an execution result with the highest reliability from the plurality of execution results, and finally Determine the recognition result. With this configuration, recognition performance can be improved by selecting an execution result with the highest reliability from a plurality of execution results of recognition processing.
また、本発明の画像認識カメラにおいて、前記画像認識処理部は、認識処理の実行結果が2つ以上ある場合に、それら複数の実行結果を平均化して、最終的な認識結果を判断する。この構成により、認識処理の複数の実行結果を平均化することにより、認識性能を向上できる。 In the image recognition camera of the present invention, when there are two or more recognition processing execution results, the image recognition processing unit averages the plurality of execution results and determines a final recognition result. With this configuration, the recognition performance can be improved by averaging a plurality of execution results of the recognition process.
また、本発明の画像認識カメラにおいて、前記画像認識処理部は、画像認識処理に失敗した場合に、失敗した原因を解析する処理を行い、前記カメラ信号処理制御部は、解析結果に基づいて前記画像認識処理部が認識しやすい画像を生成するように前記カメラ信号処理部を制御し、前記画像認識処理部が再度画像認識処理を実行する。この構成により、認識処理の失敗原因の解析結果に基づいてカメラ信号処理部を制御することで、失敗原因を解消できる画像をカメラ信号処理で生成でき、認識性能を向上できる。 Further, in the image recognition camera of the present invention, when the image recognition processing unit fails, the image recognition processing unit performs a process of analyzing the cause of the failure, and the camera signal processing control unit performs the process based on the analysis result. The camera signal processing unit is controlled to generate an image that can be easily recognized by the image recognition processing unit, and the image recognition processing unit executes the image recognition processing again. With this configuration, by controlling the camera signal processing unit based on the analysis result of the cause of failure in recognition processing, an image that can eliminate the cause of failure can be generated by camera signal processing, and recognition performance can be improved.
また、本発明の画像認識カメラにおいて、前記画像認識処理部は、認識に失敗した原因が撮影した画像のぼけであると判断した場合に、前記カメラ信号処理制御部が、前記カメラ信号処理部の輪郭強調処理を強める。この構成により、認識処理の失敗原因がぼけであるときに、輪郭強調処理を強めてぼけを減らし、これにより認識処理を成功させることができ、認識性能を向上できる。 In the image recognition camera of the present invention, when the image recognition processing unit determines that the cause of the recognition failure is blurring of the captured image, the camera signal processing control unit Enhance edge enhancement processing. With this configuration, when the cause of failure in the recognition process is blur, the edge enhancement process is strengthened to reduce blur, thereby enabling the recognition process to be successful and improving the recognition performance.
また、本発明の画像認識カメラにおいて、前記画像認識処理部は、画像認識処理の実行途中で認識に失敗すると判断した場合は、画像認識処理を中断し、前記カメラ信号処理制御部は、画像認識処理が中断された場合に、前記画像認識処理部が認識しやすい画像を生成するように前記カメラ信号処理部を制御し、前記画像認識処理部が再度画像認識処理を実行する。この構成により、画像認識処理の実行途中で認識に失敗すると判断した場合は、速やかに画像認識処理を中断し、カメラ信号処理部を制御することで、認識処理時間を短縮できる。 In the image recognition camera of the present invention, when the image recognition processing unit determines that the recognition fails during the image recognition process, the image recognition process is interrupted, and the camera signal processing control unit When the processing is interrupted, the camera signal processing unit is controlled so as to generate an image that can be easily recognized by the image recognition processing unit, and the image recognition processing unit executes the image recognition processing again. With this configuration, when it is determined that the recognition has failed during the execution of the image recognition process, the recognition process time can be shortened by quickly interrupting the image recognition process and controlling the camera signal processing unit.
また、本発明の画像認識カメラは、前記原画像を処理して画像に変換するカメラ信号処理プログラムと画像から認識対象物を検出する画像認識処理プログラムと前記画像認識処理プログラムの結果と連動して前記カメラ信号処理プログラムのパラメータを制御するカメラ信号処理制御プログラムの3つの処理プログラムを実行する演算部と、前記カメラ信号処理プログラムと前記画像認識処理プログラムと前記カメラ信号処理制御プログラムを格納するプログラムメモリとを備え、前記演算部が、前記カメラ信号処理プログラム、前記画像認識処理プログラムおよび前記カメラ信号処理制御プログラムを実行して、前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部として機能する。この態様によっても上述した本発明の利点が得られる。 The image recognition camera of the present invention is linked to the camera signal processing program that processes the original image and converts it into an image, the image recognition processing program that detects a recognition object from the image, and the results of the image recognition processing program. An arithmetic unit that executes three processing programs of a camera signal processing control program that controls parameters of the camera signal processing program, a program memory that stores the camera signal processing program, the image recognition processing program, and the camera signal processing control program The arithmetic unit executes the camera signal processing program, the image recognition processing program, and the camera signal processing control program, and the camera signal processing unit, the image recognition processing unit, and the camera signal processing control unit Function as. This aspect also provides the above-described advantages of the present invention.
本発明の別の態様は、上述の前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部の処理を前記画像認識カメラの演算装置に実行させるプログラムである。この態様によっても上述した本発明の利点が得られる。 Another aspect of the present invention is a program that causes the arithmetic device of the image recognition camera to execute the processes of the camera signal processing unit, the image recognition processing unit, and the camera signal processing control unit. This aspect also provides the above-described advantages of the present invention.
本発明の別の態様は、上述の前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部の処理を前記画像認識カメラの演算装置に実行させるプログラムをデータとして記録した記録媒体である。この態様によっても上述した本発明の利点が得られる。 Another aspect of the present invention is a recording medium that records, as data, a program that causes the arithmetic device of the image recognition camera to execute the processes of the camera signal processing unit, the image recognition processing unit, and the camera signal processing control unit. is there. This aspect also provides the above-described advantages of the present invention.
本発明の別の態様は、撮影した画像から被写体を解析によって認識し、画像と認識結果のメタデータを出力する画像認識カメラであって、レンズから受光した光を電気信号に変換し、入力原画像とする撮像素子と、画像データおよびメタデータを記録するデータメモリと、原画像を処理して画像に変換するカメラ信号処理プログラムと画像から認識対象物を検出する画像認識処理プログラムと前記画像認識処理プログラムの結果と連動して前記カメラ信号処理プログラムのパラメータを制御するカメラ信号処理制御プログラムの3つの処理プログラムを実行する演算部と、前記カメラ信号処理プログラムと前記画像認識処理プログラムと前記カメラ信号処理制御プログラムをそれぞれ1種類以上格納するプログラムメモリと、画像と認識結果のメタデータを出力できる出力部とを備える。この態様によっても上述した本発明の利点が得られる。 Another aspect of the present invention is an image recognition camera that recognizes a subject from a captured image by analysis and outputs metadata of the image and a recognition result, converts light received from a lens into an electrical signal, and outputs an input source. Image sensor for image, data memory for recording image data and metadata, camera signal processing program for processing original image and converting to image, image recognition processing program for detecting recognition object from image, and image recognition An arithmetic unit that executes three processing programs of a camera signal processing control program that controls parameters of the camera signal processing program in conjunction with a result of the processing program, the camera signal processing program, the image recognition processing program, and the camera signal Program memory for storing one or more processing control programs, images and recognition results And an output unit capable of outputting the metadata. This aspect also provides the above-described advantages of the present invention.
また、本発明の画像認識カメラでは、前記演算部が、前記画像認識処理プログラムの実行結果に応じて、前記カメラ信号処理制御プログラムにより前記カメラ信号処理プログラムのパラメータを変更し、変更されたパラメータでカメラ信号処理した画像を再度、前記画像認識処理プログラムで画像認識処理することを1回以上繰り返し、得られた2つ以上の結果から、最終的な認識結果を判断する。この態様によっても上述した本発明の利点が得られる。 Further, in the image recognition camera of the present invention, the arithmetic unit changes the parameter of the camera signal processing program by the camera signal processing control program according to the execution result of the image recognition processing program, and uses the changed parameter. The image recognition processing of the image subjected to the camera signal processing is repeated once or more by the image recognition processing program, and the final recognition result is determined from two or more obtained results. This aspect also provides the above-described advantages of the present invention.
また、本発明の画像認識カメラでは、前記パラメータが、AGCゲイン値、ホワイトバランスおよび露光設定値のうちの少なくとも1つである。この態様によっても上述した本発明の利点が得られる。 In the image recognition camera of the present invention, the parameter is at least one of an AGC gain value, a white balance, and an exposure setting value. This aspect also provides the above-described advantages of the present invention.
また、本発明の画像認識カメラでは、前記演算部が、前記画像認識処理プログラムの実行結果が2つ以上ある場合に、複数の実行結果から最も信頼度が高いものをひとつ選んで、最終的な認識結果を判断する。この態様によっても上述した本発明の利点が得られる。 In the image recognition camera of the present invention, when there are two or more execution results of the image recognition processing program, the arithmetic unit selects one of the plurality of execution results with the highest reliability, and finally Determine the recognition result. This aspect also provides the above-described advantages of the present invention.
また、本発明の画像認識カメラにおいては、演算部が、画像認識処理プログラムの実行結果が2つ以上ある場合に、複数の実行結果を平均化して、最終的な認識結果を判断する。この態様によっても上述した本発明の利点が得られる。 In the image recognition camera of the present invention, when there are two or more execution results of the image recognition processing program, the arithmetic unit averages a plurality of execution results and determines a final recognition result. This aspect also provides the above-described advantages of the present invention.
また、本発明の画像認識カメラにおいて、前記演算部は、前記画像認識処理プログラムが認識に失敗した場合に、失敗した原因を前記画像認識処理プログラム内で解析し、解析結果に基づいて前記カメラ信号処理プログラムが認識しやすい画像を生成するように前記カメラ信号処理制御プログラムでパラメータ制御を行う。この態様によっても上述した本発明の利点が得られる。 Further, in the image recognition camera of the present invention, when the image recognition processing program fails to recognize, the arithmetic unit analyzes the cause of the failure in the image recognition processing program, and based on the analysis result, the camera signal The camera signal processing control program performs parameter control so as to generate an image that can be easily recognized by the processing program. This aspect also provides the above-described advantages of the present invention.
また、本発明の画像認識カメラにおいて、前記演算部は、前記画像認識処理プログラムが認識に失敗した原因が、撮影した画像のぼけであると判断した場合に、前記カメラ信号処理プログラムの輪郭強調処理を強めて、再度、前記画像認識処理プログラムを実行する。この態様によっても上述した本発明の利点が得られる。 In the image recognition camera of the present invention, when the calculation unit determines that the cause of the recognition failure of the image recognition processing program is blurring of the captured image, the contour enhancement processing of the camera signal processing program And the image recognition processing program is executed again. This aspect also provides the above-described advantages of the present invention.
また、本発明の画像認識カメラにおいて、前記演算部は、前記画像認識処理プログラムを実行途中で、認識に失敗すると判断した場合は、前記画像認識処理プログラムを中断し、前記カメラ信号処理プログラムが認識しやすい画像を生成するように前記カメラ信号処理制御プログラムでパラメータ制御を行い、再度、前記画像認識処理プログラムを実行する。この態様によっても上述した本発明の利点が得られる。 In the image recognition camera of the present invention, when the calculation unit determines that the recognition has failed during the execution of the image recognition processing program, the calculation unit interrupts the image recognition processing program and the camera signal processing program recognizes the image recognition camera. The camera signal processing control program performs parameter control so as to generate an easy-to-use image, and the image recognition processing program is executed again. This aspect also provides the above-described advantages of the present invention.
以上のように、本発明は、画像認識処理の結果をカメラ信号処理の制御にフィードバックする構成を設け、画像認識処理部が認識に成功しやすい画像の生成を行うことで、高度な画像認識処理回路を必要とすることなく、画像認識カメラの認識性能を向上できるという効果を有する画像認識カメラを提供することができる。 As described above, the present invention provides a configuration that feeds back the result of image recognition processing to the control of camera signal processing, and generates an image that can be easily recognized by the image recognition processing unit. It is possible to provide an image recognition camera having an effect that the recognition performance of the image recognition camera can be improved without requiring a circuit.
以下に、本発明の実施の形態に係る画像認識カメラについて、図面を参照しながら説明する。 Hereinafter, an image recognition camera according to an embodiment of the present invention will be described with reference to the drawings.
画像認識カメラとは、撮影した画像から被写体が何であるかを解析し、判断結果のメタデータを出力するものである。概略的には、本発明は画像認識の結果をカメラ信号処理の制御にフィードバックすることで、画像認識の性能向上を図るものである。本実施の形態では、カメラが撮影中の画像を解析し、その被写体が所望とする“A(人物・物等)”であるかを認識し、信頼度を結果として出力する画像認識カメラを取り上げる。信頼度の閾値をTh%として、認識結果がそれ以上なら被写体が“A”であると判断し、そうでなければ“A”でないと判断する例において、本実施の形態の画像認識カメラは、信頼度の結果が閾値付近の場合にカメラ信号処理のパラメータ設定を変更するように構成される。 The image recognition camera analyzes what a subject is from a captured image and outputs metadata of a determination result. Schematically, the present invention aims to improve the performance of image recognition by feeding back the result of image recognition to the control of camera signal processing. In the present embodiment, an image recognition camera that analyzes an image being photographed by the camera, recognizes whether the subject is a desired “A (person, object, etc.)”, and outputs the reliability as a result is taken up. . In the example in which the threshold value of the reliability is set to Th% and the recognition result is more than that, it is determined that the subject is “A”. Otherwise, the image recognition camera of the present embodiment is determined not to be “A”. The camera signal processing parameter setting is changed when the reliability result is near the threshold.
図1は、本実施の形態における画像認識カメラの構成を示すブロック図である。図1において、画像認識カメラは、被写体の原画像の信号を生成する撮像素子101と、原画像を人間の目に見える形式の画像に変換するカメラ信号処理部102と、カメラ信号処理部102で処理された画像から被写体を認識する画像認識処理部104と、画像認識処理部104の認識結果をフィードバックしてカメラ信号処理部102を制御するカメラ信号処理制御部103と、カメラ信号処理部102で処理された画像と画像認識処理部104の認識結果を出力する結果出力部105とを備えている。
FIG. 1 is a block diagram showing a configuration of an image recognition camera in the present embodiment. In FIG. 1, an image recognition camera includes an
図2は、本実施の形態の画像認識カメラのハードウエア的な観点で示す図である。図2において、画像認識カメラは、レンズ201、撮像素子202、演算部203、データメモリ204、プログラムメモリ205、制御IF部206および出力部207を備えている。このうち、撮像素子202および出力部207は、図1の撮像素子101および結果出力部105に相当する。制御IF部206は、ユーザからの指示を演算部203に伝達する構成である。演算部203は、プログラムメモリ205のプログラムを実行する構成であり、演算部203の処理過程でデータメモリ204にデータが読み書きされる。演算部203は、プログラムメモリ205のプログラムを実行することにより、図1のカメラ信号処理部102、画像認識処理部104およびカメラ信号処理制御部103として機能する。
FIG. 2 is a diagram showing the hardware of the image recognition camera according to the present embodiment. In FIG. 2, the image recognition camera includes a
図2において、レンズ201を通して得られる認識対象物208のイメージは、単板式の撮像素子202によって電気信号である入力原画像211に変換され、入力原画像211がデータメモリ204に記録される。単板式カメラでは、入力原画像211は、図3のようにRGBベイヤー配列のフォーマット301のデータであり、人間の目に見えるイメージとは異なっているため、カメラ信号処理によって人間が知覚できる形式に変換する必要がある。カメラ信号処理を実現する構成として、本画像認識カメラでは、カメラ信号処理プログラム214がソフトウェアにより実装され、プログラムメモリ205に格納され、プログラマブルDSPで構成される演算部203により実行される。
In FIG. 2, the image of the
画像認識処理プログラム215は、カメラ信号処理により生成されたカメラ信号処理済画像212(YUV形式)に対して画像認識を施すプログラムである。この画像認識プログラム215により算出された認識結果213に基づいて、カメラ信号処理制御プログラム216は、カメラ信号処理プログラム214のパラメータを制御し、AGCゲイン・ホワイトバランスなどのパラメータを変更・調整する。これら画像認識処理プログラム215およびカメラ信号処理制御プログラム216も、カメラ信号処理プログラム214と同様に、ソフトウェアにより実装され、プログラムメモリ205に格納され、プログラマブルDSPで構成される演算部203により実行される。
The image recognition processing program 215 is a program that performs image recognition on the camera signal processed image 212 (YUV format) generated by the camera signal processing. Based on the
カメラ信号処理済画像212と認識結果213は、演算部203によりデータメモリ204に書き込まれる。認識結果213はメタデータである。そして、これらカメラ信号処理済画像212と認識結果213は、演算部203により読み出され、共に出力部207から出力される。カメラ信号処理を含むカメラ機能および画像認識の動作に関するユーザからの指示は、制御部IF206から入力される。
The camera signal processed
上記構成においては、演算部203が、プログラムメモリ205のカメラ信号処理プログラム214、画像認識処理プログラム215およびカメラ信号処理制御プログラム216を実行することにより、図1のカメラ信号処理部102、画像認識処理部104およびカメラ信号処理制御部103として機能する。このように、本実施の形態の画像認識カメラは、ソフトウエア処理によって画像信号を処理するソフトウエア処理カメラであり、そして、演算部203が、1チッププログラマブルDSPなどにより構成されており、上記3つのプログラムの処理を連携するように動作し、これにより、図1のカメラ信号処理部102、画像認識処理部104およびカメラ信号処理制御部103が連携して機能する。
In the above configuration, the
次に、図1に基づき、本実施の形態に係る画像認識カメラの動作概要を説明する。撮像素子101から入力されたRGBベイヤー配列の原画像がカメラ信号処理部102で処理されて、YUVフォーマットの画像信号に変換される。そして、変換後の画像信号に対して画像認識処理部104で画像認識が行われ、画像信号と認識結果が結果出力105から出力される。
Next, an outline of the operation of the image recognition camera according to the present embodiment will be described with reference to FIG. An RGB Bayer array original image input from the
ここで、画像認識処理部104は、認識の判定結果を信頼度という指標で出力するものとする。この信頼度が高くも低くもなく、認識対象物208が“A”であるか、そうでないのかが断定できない場合に、カメラ信号処理制御部103が、カメラ信号処理部102の制御パラメータ(実行パラメータ)を変化させる。具体的には、信頼度が後述するように所定の閾値付近の場合にパラメータ制御が行われる。これにより、カメラ信号処理部102は複数のパラメータ設定にて画像信号を生成する。そして、画像認識処理部104は、複数のパラメータ設定での複数の画像信号の各々に対して画像認識を行い、複数のパラメータ設定での信頼度を得て、それら複数のパラメータ設定に対する信頼度を比較・検討する。これにより、本実施の形態では、信頼性の高い認識の判断を行うことができる。
Here, it is assumed that the image
次に、上記動作において画像認識処理部103が算出する信頼度について説明する。ここでは、まず、複数のパラメータ設定から求められた複数の信頼度から最終的な認識結果を算出する処理について概略的に説明する。それから、複数のパラメータ設定を実現するための動作として、算出された信頼度に基づいてカメラ信号処理制御部103が複数のカメラ信号処理102のパラメータ設定を切り替えるフィードバックの動作について説明する。
Next, the reliability calculated by the image
前述のとおり画像認識処理部104では、画像認識処理を行って得られた信頼度を閾値と比較し、その大小で認識対象物208が“A”であることを判断する。例えば、“A”が人物であり、画像認識処理部104は、予め記憶された人物画像を撮影画像と比較する処理を行ったり、予め記憶された人物特徴情報を用いた画像処理(例えば記憶された人物特徴情報と撮影画像から抽出された特徴情報を比較する処理)を行って、認識対象物208が“A”であることの信頼度を求める。本実施の形態においては、カメラ信号処理部102のパラメータ設定を変えて得られた複数の信頼度の中から、最も信頼度が高いものを採用して認識の判断を行う。ここで高い値を使うのは、検出の漏れを最小限にするためである。例えば認識をセキュリティーに用いている場合などで、誤検出があっても、ユーザによる確認で誤りを判断できるが、検出漏れの場合はユーザの目に触れないので、検出漏れを発見するのは困難である。したがって、本実施の形態による検出漏れの防止が有用である。
As described above, the image
次に、カメラ信号処理制御部103のパラメータ変更動作について説明する。カメラ信号処理制御部103は、画像認識処理部104より信頼度の値を受け取り、その値が閾値に近いか否かを以下の式で判定する。
Next, the parameter changing operation of the camera signal
Th − a < R < Th + b ・・・(式1)
R:信頼度 Th:閾値 a:下限幅 b:上限幅
Th−a <R <Th + b (Formula 1)
R: Reliability Th: Threshold a: Lower limit b: Upper limit
上記の式1では、信頼度Rが閾値Th前後の所定の幅に入るか否かが判定される。信頼度が上記式1の条件を満たしている場合は、判定がグレーであったとして、カメラ信号処理制御部103がカメラ信号処理部102の制御パラメータを変更して、カメラ信号処理部102が再度認識対象の画像を生成し、画像認識処理部104が再度認識処理を実行する。
In the above formula 1, it is determined whether or not the reliability R falls within a predetermined range around the threshold Th. If the reliability satisfies the condition of Equation 1, the camera signal
カメラ信号処理部のパラメータは下記のようにして変更される。ここでは、AGCゲインとホワイトバランスを変更する例について説明する。 The parameters of the camera signal processing unit are changed as follows. Here, an example of changing the AGC gain and the white balance will be described.
AGCゲインによって、全体的に暗い画像の信号レベルを上げることで、認識対象物208がはっきりと現れるようになることがある(反面ノイズがのってしまう場合もある)。このAGCゲイン値を複数回変化させながら再度画像認識処理を行うことで、認識対象物208を正しく認識できる可能性を上げることができる。
By increasing the signal level of the overall dark image by the AGC gain, the
次に、ホワイトバランスについてであるが、カメラでは撮影場所の光源によって被写体の色の見え方が異なってしまうことがある。そのため、画像認識処理において色を認識処理のアルゴリズムで使っている場合には、色の違いが認識結果213を誤らせてしまうことがある。そこで、ホワイトバランスもAGCゲインと同様に変化させながら再度画像認識処理を行うことで、光源の条件が変わっても認識対象物208を正しく認識できる可能性を上げることができる。
Next, with regard to white balance, the appearance of the color of the subject may differ depending on the light source at the shooting location. For this reason, when colors are used in the recognition processing algorithm in the image recognition processing, the color difference may cause the
図4に、AGCゲインおよびホワイトバランスを共に変化させる場合のマトリックスの表を示す。ここではAGCゲインに関して、パラメータ411〜413の3つのパターンを用意し、ホワイトバランスについても、パラメータ421〜423の3つのパターンを用意してある。したがって、AGCゲインとホワイトバランスの組み合わせでは、表のように、パラメータセット431〜439の9パターンが発生する。これら9パターンのパラメータが記憶されており、カメラ信号処理制御部103によりパラメータ制御に使用される。画像認識カメラは、これら9パターンのパラメータのすべてで認識処理を実行し、9通りの信頼度を得る。ここで、複数の信頼度をもとに最終的な認識の判断を行う手法としては、複数の手法が考えられるが、本実施の形態の例では、前述のように、信頼度の値が最も大きいものを判定に用いることとする。
FIG. 4 shows a matrix table when both the AGC gain and the white balance are changed. Here, three patterns of parameters 411 to 413 are prepared for the AGC gain, and three patterns of parameters 421 to 423 are prepared for the white balance. Therefore, in the combination of AGC gain and white balance, nine patterns of parameter sets 431 to 439 are generated as shown in the table. These nine patterns of parameters are stored and used by the camera signal
以上の説明により、本実施の形態においては、信頼度が閾値付近のときに、パラメータ設定を上記の複数のパラメータパターンに変えてカメラ信号処理を行って画像認識処理を再実行することで、より撮影条件に適したカメラ信号処理による認識用画像を生成する可能性が増し、画像認識処理の検出漏れを低減することができる。 As described above, in the present embodiment, when the reliability is near the threshold value, the parameter setting is changed to the plurality of parameter patterns described above, the camera signal processing is performed, and the image recognition processing is performed again. The possibility of generating an image for recognition by camera signal processing suitable for the shooting conditions increases, and omission of detection in the image recognition processing can be reduced.
次に、本実施の形態の応用例および変形例について説明する。 Next, application examples and modification examples of the present embodiment will be described.
本実施の形態ではAGCゲインとホワイトバランスのパラメータをそれぞれ3パターン用意した。しかし、パターン数は上記に限定されず、任意のパターン数に増減してもよい。 In the present embodiment, three patterns of AGC gain and white balance parameters are prepared. However, the number of patterns is not limited to the above, and may be increased or decreased to an arbitrary number of patterns.
本実施の形態では、AGCゲインとホワイトバランスを、変更するパラメータとして選定したが、他のパラメータが変更されてよい。例えば、露光時間などの露光設定のパラメータが変更されてもよい。パラメータを露光時間にした場合は、露光時間が長い場合と短い場合で画像の取れ方が変わってくる。一般的には露光時間が短いほうがブレの少ないはっきりした画像を取得できる。しかし、暗所で被写体が静止している場合は露光時間が長いほうが鮮明な画像を取れることもある。したがって、露光時間を変えた画像で再度画像認識処理を行うことで、被写体を正しく認識できる可能性が出てくる。 In the present embodiment, the AGC gain and the white balance are selected as parameters to be changed, but other parameters may be changed. For example, exposure setting parameters such as exposure time may be changed. When the parameter is the exposure time, the way the image is taken varies depending on whether the exposure time is long or short. In general, a clear image with less blur can be obtained when the exposure time is shorter. However, when the subject is stationary in a dark place, a clearer image may be obtained with a longer exposure time. Therefore, there is a possibility that the subject can be correctly recognized by performing the image recognition process again on the image with the changed exposure time.
また、図2のプログラムメモリ205は、2種類以上のカメラ信号処理プログラム214を記憶していてもよい。同様に、図2のプログラムメモリ205は、2種類以上の画像認識処理プログラム215および2種類以上のカメラ信号処理制御プログラム216を記憶していてもよい。2種類以上のプログラムは、演算部203により、認識対象物等の条件に応じて切り替えながら実行されてよい。
The
また、本実施の形態では複数ある信頼度から最終判断を行う際に、信頼度の最大値を用いた。しかし、最終判断の処理はこれに限定されず、信頼度の種類に応じて変更されてよい。例えば、逆に、信頼度が最小値になる認識結果が、最終的な認識結果として採用されてよい。また、複数の信頼度の平均値が、認識結果として用いられてよい。例えば、複数の信頼度のどれが正確かが不明な場合に、平均化により誤差低減を図れる。 In this embodiment, the maximum value of reliability is used when making a final determination from a plurality of reliability levels. However, the final determination process is not limited to this, and may be changed according to the type of reliability. For example, conversely, a recognition result with a minimum reliability may be adopted as the final recognition result. An average value of a plurality of reliability levels may be used as a recognition result. For example, when it is not clear which of a plurality of reliability levels is accurate, the error can be reduced by averaging.
また、本実施の形態では複数のパラメータでカメラ信号処理を実行して、結果である複数の信頼度を利用して認識結果を判断している。別の構成例では、画像認識処理部104が、画像認識処理に失敗した場合に、失敗した原因(理由)を解析し、失敗の原因を解析結果としてカメラ信号処理制御部103に伝達する。例えば、信頼度が所定の閾値以下の場合に認識処理が失敗する。失敗原因の例は後述する。カメラ信号処理制御部103は、失敗原因に応じて、画像認識が成功しやすいカメラ信号処理のパラメータを選択し、カメラ信号処理部102のパラメータを変更する。カメラ信号処理部102は、変更後のパラメータで画像を生成し、画像認識処理部104は、変更後のパラメータ設定で生成された画像を用いて再度画像認識処理を実行する。
In the present embodiment, camera signal processing is executed with a plurality of parameters, and a recognition result is determined using a plurality of reliability as a result. In another configuration example, when the image
上記の構成において、認識処理の失敗原因は例えば画像のぼけである。この場合、画像認識処理部104は、例えば画像の周波数等から画像のぼけの程度を求め、ぼけが所定レベル以上であれば、失敗原因が画像のぼけであると判定し、失敗原因をカメラ信号処理制御部103に伝達する。カメラ信号処理制御部103は、カメラ信号処理部102の輪郭強調処理を強めるパラメータ制御を行う。これにより、ぼけが低減された画像が生成され、再度認識処理が行われる。
In the above configuration, the cause of the recognition processing failure is, for example, image blur. In this case, the image
さらに別の構成例では、画像認識処理部104は、画像認識処理の実行途中で認識に失敗するか否かを判断する。画像認識処理部104は、認識に失敗すると判断した場合は、画像認識処理を中断し、認識処理中断をカメラ信号処理制御部103に伝達する。カメラ信号処理制御部103は、画像認識処理が中断された場合に、画像認識処理部104が認識しやすい画像を生成するようにカメラ信号処理部102を制御する。そして、カメラ信号処理が再度行われ、画像認識処理部104が再度画像認識処理を実行する。
In still another configuration example, the image
上記構成においては、画像認識処理部104は、画像認識処理の実行途中で、認識に失敗するか否かの予測を行う。ここでも、認識失敗理由の例は、画像のぼけである。画像認識処理部104は画像のぼけの程度を求め、ぼけが所定レベル以上であれば、認識失敗が発生すると予測し、画像認識処理を中断する。そして、画像認識処理が中断されると、カメラ信号処理制御部103は、カメラ信号処理部102の輪郭強調処理を強めるパラメータ制御を行う。これにより、ぼけが低減された画像が生成され、再度認識処理が行われる。
In the above configuration, the image
以上、本発明の実施の形態に係る画像認識カメラについて説明した。上述のように、本実施の形態によれば、画像認識処理部104の認識結果をフィードバックしてカメラ信号処理部102を制御するカメラ信号処理制御部103を設けたので、画像認識を行った結果をカメラの制御に対してフィードバックすることができ、カメラは撮影条件が変化しても画像認識処理が成功しやすい画像を出力することが可能となり、画像認識が成功しやすくなる。しかも、画像認識結果をフィードバックしてカメラ信号処理の側を制御する構成を設ければよいので、認識のアルゴリズム自体を特に高度化する必要はない。こうして、従来よりも高度な認識アルゴリズムおよび回路を必要とすることなく、画像認識カメラの認識性能の向上を図ることができる。
The image recognition camera according to the embodiment of the present invention has been described above. As described above, according to the present embodiment, the camera signal
本実施の形態によれば、例えば、カメラ信号処理、画像認識処理、カメラ信号処理制御といった処理を1チッププログラマブルDSPなどにソフトウェアで連携するように実装して、カメラシステムの部品数を減らしてコストダウンを図るなどの応用も可能であり、これにより、安価で高性能な画像認識カメラを提供できる。 According to the present embodiment, for example, processing such as camera signal processing, image recognition processing, and camera signal processing control is implemented in a one-chip programmable DSP or the like so as to cooperate with software, thereby reducing the number of parts of the camera system and reducing the cost. Application such as downing is also possible, thereby providing an inexpensive and high-performance image recognition camera.
また、本実施の形態によれば、認識処理の実行結果に応じてパラメータが変更される。本実施の形態の場合、認識結果の信頼度が所定のレベルの場合、より詳細には、認識結果が曖昧になる所定の信頼度レベルの場合に、パラメータが変更される。そして、変更されたパラメータでカメラ信号処理した画像を再度、画像認識処理することが1回以上繰り返され、得られた2つ以上の結果から、最終的な認識結果が判断される。このように、異なるパラメータ設定で得られる複数の認識実行結果から最終的な認識結果を判断することで、認識性能を向上できる。 Moreover, according to this Embodiment, a parameter is changed according to the execution result of recognition processing. In the case of the present embodiment, the parameter is changed when the reliability of the recognition result is a predetermined level, more specifically, when the reliability is a predetermined reliability level where the recognition result is ambiguous. Then, the image recognition processing of the image subjected to the camera signal processing with the changed parameter is repeated once or more, and the final recognition result is determined from the obtained two or more results. Thus, the recognition performance can be improved by determining the final recognition result from a plurality of recognition execution results obtained with different parameter settings.
また、本実施の形態によれば、カメラ信号処理のパラメータとしてAGCゲイン値が変更され、これにより、認識しやすい画像が得られ、認識性能を向上できる。 Further, according to the present embodiment, the AGC gain value is changed as a camera signal processing parameter, whereby an easily recognizable image can be obtained and the recognition performance can be improved.
また、本実施の形態によれば、カメラ信号処理部のパラメータとしてホワイトバランスが変更され、これにより、認識しやすい画像が得られ、認識性能を向上できる。 Further, according to the present embodiment, the white balance is changed as a parameter of the camera signal processing unit, whereby an easily recognizable image can be obtained and the recognition performance can be improved.
また、本実施の形態によれば、カメラ信号処理のパラメータとして露光設定が変更され、これにより、認識しやすい画像が得られ、認識性能を向上できる。 Further, according to the present embodiment, the exposure setting is changed as a camera signal processing parameter, whereby an image that is easy to recognize can be obtained, and the recognition performance can be improved.
また、本実施の形態によれば、認識処理の実行結果が2つ以上ある場合に、それら複数の実行結果から最も信頼度が高い実行結果が選ばれて、最終的な認識結果が判断される。こうして、カメラ信号処理のパラメータを変更しながら認識処理を繰り返し、信頼度の高い認識結果を選択することで、認識性能を向上できる。 Further, according to this embodiment, when there are two or more recognition process execution results, the execution result with the highest reliability is selected from the plurality of execution results, and the final recognition result is determined. . Thus, the recognition performance can be improved by repeating the recognition processing while changing the parameters of the camera signal processing and selecting a recognition result with high reliability.
また、本実施の形態によれば、認識処理の実行結果が2つ以上ある場合に、それら複数の実行結果を平均化して、最終的な認識結果が判断される。これにより、カメラ信号処理のパラメータを変更しながら認識処理を繰り返すことで得られる複数の認識結果を平均化することで、認識精度を向上し、認識性能を向上できる。 Further, according to the present embodiment, when there are two or more recognition process execution results, the plurality of execution results are averaged to determine the final recognition result. Accordingly, by averaging a plurality of recognition results obtained by repeating the recognition processing while changing the parameters of the camera signal processing, the recognition accuracy can be improved and the recognition performance can be improved.
また、本実施の形態によれば、画像認識処理に失敗した場合に、失敗した原因を解析する処理が行われ、解析結果に基づいて認識しやすい画像を生成するようにカメラ信号処理が制御され、再度画像認識処理が実行される。これにより、失敗原因を解消できる画像をカメラ信号処理で生成でき、認識性能を向上できる。 Further, according to the present embodiment, when image recognition processing fails, processing for analyzing the cause of the failure is performed, and camera signal processing is controlled so as to generate an image that is easy to recognize based on the analysis result. The image recognition process is executed again. Thereby, the image which can eliminate a failure cause can be produced | generated by camera signal processing, and recognition performance can be improved.
また、本実施の形態によれば、認識に失敗した原因が撮影した画像のぼけであると判断した場合に、カメラ信号処理の輪郭強調処理が強められる。これにより、画像のぼけを低減して認識処理を成功させることができ、認識性能を向上できる。 Further, according to the present embodiment, when it is determined that the cause of the recognition failure is blurring of the captured image, the contour enhancement processing of the camera signal processing is strengthened. Thereby, blurring of an image can be reduced and a recognition process can be made successful, and recognition performance can be improved.
また、本実施の形態によれば、画像認識処理の実行途中で認識に失敗すると判断した場合は、画像認識処理が中断され、認識しやすい画像を生成するようにカメラ信号処理が制御され、再度画像認識処理が実行される。これにより、速やかに画像認識処理を中断し、カメラ信号処理部を制御することで、認識処理時間を短縮できる。 In addition, according to the present embodiment, when it is determined that the recognition fails during the execution of the image recognition process, the image recognition process is interrupted, and the camera signal process is controlled so as to generate an easy-to-recognize image. Image recognition processing is executed. Accordingly, the recognition processing time can be shortened by promptly interrupting the image recognition processing and controlling the camera signal processing unit.
また、本実施の形態の画像認識カメラは、図2に示したハードウエア的な観点では、レンズから受光した光を電気信号に変換し、入力原画像とする撮像素子201と、画像データおよびメタデータ(認識結果213)を記録するデータメモリ204と、原画像を処理して画像に変換するカメラ信号処理プログラム214と画像から認識対象物を検出する画像認識処理プログラム215と画像認識処理プログラム215の結果と連動してカメラ信号処理プログラム214のパラメータを制御するカメラ信号処理制御プログラム216の3つの処理プログラムを実行する演算部203と、カメラ信号処理プログラム214と画像認識処理プログラム215とカメラ信号処理制御プログラム216をそれぞれ1種類以上格納するプログラムメモリ205と、画像と認識結果のメタデータを出力できる出力部207とを備える。この観点でも上述した本発明の利点が得られる。
In addition, the image recognition camera according to the present embodiment, from the hardware viewpoint shown in FIG. 2, converts the light received from the lens into an electrical signal and uses it as an input original image, image data, and meta data. A
さらに、本発明は、上述のカメラ信号処理部102、画像認識処理部104およびカメラ信号処理制御部103の処理を画像認識カメラの演算装置に実行させるプログラムといかたち表現されてよく、すなわち、本発明の一態様は、図2のカメラ信号処理プログラム214、画像認識処理プログラム215およびカメラ信号処理制御プログラム216であってよく、この観点でも上述した本発明の利点が得られる。
Furthermore, the present invention may be expressed as a program that causes the arithmetic unit of the image recognition camera to execute the processes of the camera
さらには、本発明の一態様は、上記の本発明のプログラムを格納した記録媒体であってよく、この観点でも上述した本発明の利点が得られる。 Furthermore, one aspect of the present invention may be a recording medium storing the above-described program of the present invention, and the above-described advantages of the present invention can be obtained from this viewpoint.
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments, and it goes without saying that those skilled in the art can modify the above-described embodiments within the scope of the present invention.
以上のように、本発明にかかる画像認識カメラは、画像認識性能を向上できるという効果を有し、例えば認証用の画像認識カメラ等として有用である。 As described above, the image recognition camera according to the present invention has an effect that the image recognition performance can be improved, and is useful as an image recognition camera for authentication, for example.
101 撮像素子
102 カメラ信号処理部
103 カメラ信号処理制御部
104 画像認識処理部
105 出力部
201 レンズ
202 撮像素子
203 演算部
204 データメモリ
205 プログラムメモリ
206 制御IF部
207 出力部
208 認識対象物
211 入力原画像
212 カメラ信号処理済画像
213 認識結果
214 カメラ信号処理プログラム
215 画像認識処理プログラム
216 カメラ信号処理制御プログラム
DESCRIPTION OF
Claims (21)
原画像を人間の目に見える形式の画像に変換するカメラ信号処理部と、
前記カメラ信号処理部で処理された画像から被写体を認識する画像認識処理部と、
前記画像認識処理部の認識結果をフィードバックして前記カメラ信号処理部を制御するカメラ信号処理制御部と、
前記カメラ信号処理部で処理された画像と前記画像認識処理部の認識結果を出力する結果出力部と、
を備えたことを特徴とする画像認識カメラ。 An image sensor for generating a signal of an original image of a subject;
A camera signal processing unit that converts the original image into a human-visible image,
An image recognition processing unit for recognizing a subject from an image processed by the camera signal processing unit;
A camera signal processing control unit that feeds back a recognition result of the image recognition processing unit to control the camera signal processing unit;
A result output unit that outputs an image processed by the camera signal processing unit and a recognition result of the image recognition processing unit;
An image recognition camera comprising:
前記カメラ信号処理プログラムと前記画像認識処理プログラムと前記カメラ信号処理制御プログラムを格納するプログラムメモリと、
を備え、前記演算部が、前記カメラ信号処理プログラム、前記画像認識処理プログラムおよび前記カメラ信号処理制御プログラムを実行して、前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部として機能することを特徴とする請求項1ないし10のいずれかに記載の画像認識カメラ。 A camera signal processing program for processing the original image and converting it into an image, an image recognition processing program for detecting a recognition object from the image, and controlling the parameters of the camera signal processing program in conjunction with the result of the image recognition processing program An arithmetic unit that executes three processing programs of the camera signal processing control program;
A program memory for storing the camera signal processing program, the image recognition processing program, and the camera signal processing control program;
The arithmetic unit executes the camera signal processing program, the image recognition processing program, and the camera signal processing control program, and serves as the camera signal processing unit, the image recognition processing unit, and the camera signal processing control unit. The image recognition camera according to claim 1, which functions.
レンズから受光した光を電気信号に変換し、入力原画像とする撮像素子と、
画像データおよびメタデータを記録するデータメモリと、
原画像を処理して画像に変換するカメラ信号処理プログラムと画像から認識対象物を検出する画像認識処理プログラムと前記画像認識処理プログラムの結果と連動して前記カメラ信号処理プログラムのパラメータを制御するカメラ信号処理制御プログラムの3つの処理プログラムを実行する演算部と、
前記カメラ信号処理プログラムと前記画像認識処理プログラムと前記カメラ信号処理制御プログラムをそれぞれ1種類以上格納するプログラムメモリと、
画像と認識結果のメタデータを出力できる出力部と、
を備えることを特徴とした画像認識カメラ。 An image recognition camera that recognizes a subject from analysis of a captured image and outputs metadata of the image and a recognition result,
An image sensor that converts light received from the lens into an electrical signal and uses it as an input original image;
A data memory for recording image data and metadata;
A camera signal processing program for processing an original image and converting it to an image, an image recognition processing program for detecting a recognition object from the image, and a camera for controlling parameters of the camera signal processing program in conjunction with the result of the image recognition processing program An arithmetic unit that executes the three processing programs of the signal processing control program;
A program memory for storing at least one type of the camera signal processing program, the image recognition processing program, and the camera signal processing control program;
An output unit that can output metadata of images and recognition results;
An image recognition camera comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006187590A JP2008017259A (en) | 2006-07-07 | 2006-07-07 | Image recognition camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006187590A JP2008017259A (en) | 2006-07-07 | 2006-07-07 | Image recognition camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008017259A true JP2008017259A (en) | 2008-01-24 |
Family
ID=39073863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006187590A Pending JP2008017259A (en) | 2006-07-07 | 2006-07-07 | Image recognition camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008017259A (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2085873A2 (en) | 2008-01-29 | 2009-08-05 | Brother Kogyo Kabushiki Kaisha | Printing system |
JP2009225150A (en) * | 2008-03-17 | 2009-10-01 | Canon Inc | Imaging device and its white balance control method |
JP2009246803A (en) * | 2008-03-31 | 2009-10-22 | Aisin Seiki Co Ltd | Image recognizing apparatus, and computer program |
JP2011188094A (en) * | 2010-03-05 | 2011-09-22 | Toyota Central R&D Labs Inc | Object recognition device and program |
JP2013077306A (en) * | 2012-11-28 | 2013-04-25 | Toshiba Corp | Targeted object recognition device and targeted object recognition method |
JP2014086909A (en) * | 2012-10-24 | 2014-05-12 | Denso Corp | Control table generation method, recording medium and imaging control device |
JP2014233304A (en) * | 2013-05-30 | 2014-12-15 | オリンパス株式会社 | Endoscope device |
US10650268B2 (en) | 2015-11-17 | 2020-05-12 | Sony Semiconductor Solutions Corporation | Image processing apparatus and image processing method |
US11188047B2 (en) | 2016-06-08 | 2021-11-30 | Exxonmobil Research And Engineering Company | Automatic visual and acoustic analytics for event detection |
-
2006
- 2006-07-07 JP JP2006187590A patent/JP2008017259A/en active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2085873A2 (en) | 2008-01-29 | 2009-08-05 | Brother Kogyo Kabushiki Kaisha | Printing system |
JP2009225150A (en) * | 2008-03-17 | 2009-10-01 | Canon Inc | Imaging device and its white balance control method |
US9083929B2 (en) | 2008-03-17 | 2015-07-14 | Canon Kabushiki Kaisha | Image-pickup apparatus and white-balance control method provided therefor |
JP2009246803A (en) * | 2008-03-31 | 2009-10-22 | Aisin Seiki Co Ltd | Image recognizing apparatus, and computer program |
JP2011188094A (en) * | 2010-03-05 | 2011-09-22 | Toyota Central R&D Labs Inc | Object recognition device and program |
JP2014086909A (en) * | 2012-10-24 | 2014-05-12 | Denso Corp | Control table generation method, recording medium and imaging control device |
JP2013077306A (en) * | 2012-11-28 | 2013-04-25 | Toshiba Corp | Targeted object recognition device and targeted object recognition method |
JP2014233304A (en) * | 2013-05-30 | 2014-12-15 | オリンパス株式会社 | Endoscope device |
US10650268B2 (en) | 2015-11-17 | 2020-05-12 | Sony Semiconductor Solutions Corporation | Image processing apparatus and image processing method |
US11188047B2 (en) | 2016-06-08 | 2021-11-30 | Exxonmobil Research And Engineering Company | Automatic visual and acoustic analytics for event detection |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008017259A (en) | Image recognition camera | |
JP2008015860A (en) | Image recognition camera | |
US7450756B2 (en) | Method and apparatus for incorporating iris color in red-eye correction | |
US8948452B2 (en) | Image processing apparatus and control method thereof | |
JP2009159496A (en) | White balance control device, imaging apparatus using the same, and white balance control method | |
US20120019678A1 (en) | Image processing apparatus and control method therefor | |
US11637960B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US20180205879A1 (en) | Image processing apparatus, image processing method, and recording medium | |
US20110129149A1 (en) | Method and apparatus for processing digital image signal, recording medium having recorded thereon the method, and apparatus for processing digital image signal | |
US20170201665A1 (en) | Image capturing apparatus and image capturing method | |
US9258483B2 (en) | Multi-purpose camera system supporting normal camera functionality and additional user input functionality | |
JP5395650B2 (en) | Subject area extraction device and control method thereof, subject tracking device, and program | |
JP4971785B2 (en) | Image processing apparatus and method, and imaging apparatus | |
US11716541B2 (en) | Image capturing apparatus, method of controlling image capturing apparatus, system, and non-transitory computer-readable storage medium | |
US10489895B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5215775B2 (en) | White balance control device, imaging device using the same, and white balance control method | |
JP5956844B2 (en) | Image processing apparatus and control method thereof | |
JP5441669B2 (en) | Image processing apparatus and control method thereof | |
US10021314B2 (en) | Image processing apparatus, image capturing apparatus, method of controlling the same, and storage medium for changing shading using a virtual light source | |
JP2005341463A (en) | Solid-state imaging device and defect-correcting method | |
US20190215453A1 (en) | Image capturing device | |
JP2010239600A (en) | Brightness correction program, brightness correction method, and brightness correction device | |
JP2007150945A (en) | Image processing apparatus, method, recording medium, and program | |
JP5677485B2 (en) | White balance control device, imaging device using the same, and white balance control method | |
JP2002330354A (en) | Device, method and program for detecting and correcting defective pixel, and video signal processor |