JP2011239006A - Compound-eye imaging digital camera and operation control method thereof - Google Patents
Compound-eye imaging digital camera and operation control method thereof Download PDFInfo
- Publication number
- JP2011239006A JP2011239006A JP2010106135A JP2010106135A JP2011239006A JP 2011239006 A JP2011239006 A JP 2011239006A JP 2010106135 A JP2010106135 A JP 2010106135A JP 2010106135 A JP2010106135 A JP 2010106135A JP 2011239006 A JP2011239006 A JP 2011239006A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target image
- eye
- detected
- zoom magnification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Cameras In General (AREA)
- Studio Devices (AREA)
Abstract
Description
この発明は，複眼撮像ディジタル・カメラおよびその動作制御方法に関する。 The present invention relates to a compound-eye imaging digital camera and an operation control method thereof.
ディジタル・カメラでは顔画像などの対象画像を検出するものがある。検出された顔画像が枠で囲まれる。複数の撮像装置を備えたディジタル・カメラでも顔画像を検出することもできる。複数の撮像装置のうちの一の撮像装置で撮像した画像から顔画像が検出され，他の撮像装置で撮像した画像から顔画像が検出されない場合には，検出された結果を他の撮像装置で撮像した画像に反映するもの（特許文献１），一方の撮像装置で撮像された画像における顔画像の検出結果を利用して他方の撮像装置で撮像された画像における顔画像検出に利用するもの（特許文献２），侵入者を検出すると映像を記録し，顔を検出したカメラを拡大用として選択し，その他のカメラを広域用として監視領域全体を撮像するものもある（特許文献３）。 Some digital cameras detect a target image such as a face image. The detected face image is surrounded by a frame. A face image can also be detected by a digital camera provided with a plurality of imaging devices. When a face image is detected from an image captured by one of a plurality of image capturing devices and a face image is not detected from an image captured by another image capturing device, the detected result is displayed by another image capturing device. What is reflected in the captured image (Patent Document 1), which is used to detect the face image in the image captured by the other imaging device using the detection result of the face image in the image captured by one imaging device ( Patent Document 2) records an image when an intruder is detected, selects a camera that detects a face for enlargement, and captures the entire monitoring area using another camera for a wide area (Patent Document 3).
しかしながら，顔画像などの対象画像の検出率を向上させることは依然として難しい。 However, it is still difficult to improve the detection rate of target images such as face images.
この発明は，顔画像などの対象画像の検出率を向上させることを目的とする。 An object of the present invention is to improve the detection rate of a target image such as a face image.
この発明による複眼撮像ディジタル・カメラは，立体画像を構成する第１の画像を撮像する第１の画像撮像装置，上記第１の画像撮像装置の前方に設けられた第１のズーム・レンズ，第２の画像を撮像する第２の画像撮像装置，上記第２の画像撮像装置の前方に設けられた第２のズーム・レンズ，上記第１の画像撮像装置によって撮像される第１の画像から対象画像を検出する第１の対象画像検出手段，上記第１の対称画像検出手段によって第１の画像から対象画像が検出されなかったことに応じて，上記第２のズーム・レンズを上記第１のズーム・レンズのズーム倍率での撮像により得られる第１の画像よりも拡大するズーム倍率に変更するズーム倍率変更手段，および上記ズーム倍率変更手段によって変更されたズーム倍率で第２の画像撮像装置において撮像された第２の画像から対象画像を検出する第２の対象画像検出手段を備えていることを特徴とする。 A compound-eye imaging digital camera according to the present invention includes a first image capturing device that captures a first image constituting a stereoscopic image, a first zoom lens provided in front of the first image capturing device, A second image capturing device that captures two images, a second zoom lens provided in front of the second image capturing device, and a first image captured by the first image capturing device. In response to the fact that the target image is not detected from the first image by the first target image detecting means for detecting an image and the first symmetric image detecting means, the second zoom lens is connected to the first zoom lens. Zoom magnification changing means for changing to a zoom magnification that is larger than the first image obtained by imaging at the zoom magnification of the zoom lens, and the second image with the zoom magnification changed by the zoom magnification changing means Characterized in that it comprises a second object image detection means for detecting a target image from the second image captured at the image device.
この発明は，上記複眼撮像ディジタル・カメラに適した動作制御方法も提供している。すなわち，この方法は，第１の画像を撮像する第１の画像撮像装置，上記第１の画像撮像装置の前方に設けられた第１のズーム・レンズ，第２の画像を撮像する第２の画像撮像装置，および上記第２の画像撮像装置の前方に設けられた第２のズーム・レンズを備えた複眼撮像ディジタル・カメラの動作制御方法において，第１の対象画像検出手段が，上記第１の画像撮像装置によって撮像される第１の画像から対象画像を検出し，ズーム倍率変更手段が，上記第１の対称画像検出手段によって第１の画像から対象画像が検出されなかったことに応じて，上記第２のズーム・レンズを上記第１のズーム・レンズのズーム倍率での撮像により得られる第１の画像よりも拡大するズーム倍率に変更し，第２の対象画像検出手段が，上記ズーム倍率変更手段によって変更されたズーム倍率で第２の画像撮像装置において撮像された第２の画像から対象画像を検出するものである。 The present invention also provides an operation control method suitable for the compound-eye imaging digital camera. That is, in this method, a first image capturing device that captures a first image, a first zoom lens provided in front of the first image capturing device, and a second image that captures a second image. In the operation control method of the image pickup apparatus and the compound-eye image pickup digital camera provided with the second zoom lens provided in front of the second image pickup apparatus, the first target image detection means includes the first target image detection means. A target image is detected from the first image picked up by the image pickup apparatus, and the zoom magnification changing means responds to the fact that the target image is not detected from the first image by the first symmetric image detecting means. , The second zoom lens is changed to a zoom magnification that is larger than the first image obtained by imaging at the zoom magnification of the first zoom lens, and the second target image detection means is adapted to Magnification change And it detects the target image from the second image captured in the second imaging apparatus in a zoom magnification that is changed by the means.
この発明によると，第１の画像撮像装置において撮像された第１の画像において対象画像検出処理が行われ，対象画像が検出されないと，第２のズーム・レンズが，第１のズーム・レンズのズーム倍率での撮像により得られる第１の画像よりも拡大するズーム倍率に変更される。ズーム倍率が変更された第２のズーム・レンズを用いて第２の画像撮像装置によって撮像されることにより得られる第２の画像から対象画像の検出処理が得られる。検出する対象画像が小さい場合には，対象画像を検出することは難しいが，この発明においては第２の画像は第１の画像よりも拡大されているので，対象画像が検出しやすくなる。複眼撮像ディジタル・カメラは，必ずしも立体画像を撮像できるカメラでなくともよいが，立体画像を撮像する立体撮像ディジタル・カメラでもよい。複眼撮像ディジタル・カメラが立体撮像ディジタル・カメラの場合には，第１の画像撮像装置は立体画像を構成する第１の画像を撮像し，第２の画像撮像装置は立体画像を構成する第２の画像を撮像するものとなろう。 According to the present invention, when the target image detection process is performed on the first image captured by the first image capturing device and no target image is detected, the second zoom lens is connected to the first zoom lens. The zoom magnification is changed to be larger than that of the first image obtained by imaging at the zoom magnification. The target image detection process is obtained from the second image obtained by the second image pickup device using the second zoom lens whose zoom magnification has been changed. When the target image to be detected is small, it is difficult to detect the target image. However, in the present invention, the second image is larger than the first image, so that the target image is easy to detect. The compound-eye imaging digital camera may not necessarily be a camera that can capture a stereoscopic image, but may be a stereoscopic imaging digital camera that captures a stereoscopic image. When the compound-eye imaging digital camera is a stereoscopic imaging digital camera, the first image capturing device captures a first image constituting a stereoscopic image, and the second image capturing device configures a second image forming a stereoscopic image. It will be to take a picture of.
上記第１の画像を表示し，かつ上記第２の対象画像検出手段によって検出された対象画像を特定する枠を，上記第１の画像の対応する位置に表示するように表示装置を制御する表示制御手段をさらに備えてもよい。 Display for controlling the display device to display the first image and to display a frame for specifying the target image detected by the second target image detecting means at a corresponding position of the first image. Control means may be further provided.
上記第１の対象画像検出手段によって第１の画像から対象画像が検出されたことに応じて，検出された対象画像の位置が以前に検出された対象画像の位置よりも一定以上離れているかどうかを判定する判定手段をさらに備えてもよい。この場合，上記ズーム倍率変更手段は，上記判定手段により一定以上離れていると判定されたことによって，上記第２のズーム・レンズを上記第１のズーム・レンズのズーム倍率での撮像により得られる第１の画像よりも拡大するズーム倍率に変更し，上記表示制御手段は，第１の画像を表示し，かつ第１の画像において上記第２の対象画像検出手段によって検出された対象画像に対応する位置と上記第１の対象画像検出手段によって検出された対象画像の位置との平均的な位置に枠を表示するように表示装置を制御するものとなろう。この場合，上記第１の画像撮像装置による第１の画像の撮像，上記第２の画像撮像装置による第２の画像の撮像，上記第１の対象画像検出手段による対象画像の検出，上記ズーム倍率変更手段によるズーム倍率の変更，上記第２の対象画像検出手段による対象画像の検出，および上記表示制御手段による表示制御を繰り返すように制御する第１の制御手段をさらに備えることが好ましい。 Whether the position of the detected target image is more than a certain distance from the position of the previously detected target image in response to the detection of the target image from the first image by the first target image detection means A determination means for determining In this case, the zoom magnification changing means can obtain the second zoom lens by imaging at the zoom magnification of the first zoom lens when the determination means determines that the distance is a certain distance or more. The display control unit displays the first image and corresponds to the target image detected by the second target image detection unit in the first image. The display device will be controlled so that the frame is displayed at an average position between the position to be detected and the position of the target image detected by the first target image detection means. In this case, the first image is picked up by the first image pickup device, the second image is picked up by the second image pickup device, the target image is detected by the first target image detection means, and the zoom magnification is set. It is preferable to further include first control means for controlling to repeat the zoom magnification change by the changing means, the detection of the target image by the second target image detection means, and the display control by the display control means.
上記第１の対象画像検出手段によって対象画像が検出されなかった，あるいは上記判定手段によって一定以上離れていると判定されたことにより，第２の画像撮像装置の電源をオンにして撮像処理を行わせ，かつ上記第２の画像から対象画像を検出するように上記第２の画像撮像装置および上記第２の対象画像検出手段を制御する第２の制御手段，および上記第２の制御手段の制御のもとに第２の画像の撮像が終了したことに応じて上記第２の画像撮像装置の電源をオフする電源制御手段をさらに備えてもよい。 When the target image is not detected by the first target image detection unit or is determined to be more than a certain distance by the determination unit, the power of the second image pickup device is turned on to perform the imaging process. And second control means for controlling the second image pickup device and the second target image detection means so as to detect the target image from the second image, and control of the second control means In addition, power supply control means for turning off the power supply of the second image pickup device may be further provided in response to the completion of the second image pickup.
上記第２の対象画像検出手段によって対象画像が検出されなかったことにより，対象画像によって表される対象物までの距離を測定する距離測定手段，上記距離測定手段によって測定された距離にもとづいて，対象画像の大きさを算出する大きさ算出手段，および上記第２の画像において，前回の対象画像の位置近傍から，上記大きさ算出手段によって算出された大きさをもつ対象画像部分を検出する第３の対象画像検出手段をさらに備えてもよい。 Based on the distance measured by the distance measuring means, the distance measuring means for measuring the distance to the object represented by the target image because the target image was not detected by the second target image detecting means, A size calculating means for calculating the size of the target image, and a second image for detecting a target image portion having a size calculated by the size calculating means from the vicinity of the position of the previous target image in the second image. Three target image detection means may be further provided.
図１は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。 FIG. 1 is a block diagram showing an electrical configuration of a stereoscopic imaging digital camera.
立体撮像ディジタル・カメラの全体の動作は，ＣＰＵ１によって統括される。立体撮像ディジタル・カメラには，シャッタ・レリーズ・ボタン２が設けられており，シャッタ・レリーズ・ボタン２の押し下げを示す信号は，ＣＰＵ１に入力する。また，立体撮像ディジタル・カメラには，所定のデータを記憶するメモリ37も含まれている。
The overall operation of the stereoscopic imaging digital camera is controlled by the CPU 1. The stereoscopic imaging digital camera is provided with a shutter release button 2, and a signal indicating that the shutter release button 2 is pressed is input to the CPU 1. The stereoscopic imaging digital camera also includes a
立体撮像ディジタル・カメラには，ほぼ共通の撮像範囲を有する左目用画像撮像装置10と右目用画像撮像装置20とが含まれている。これらの左目用画像撮像装置10と右目用画像撮像装置20とによって被写体が撮像される。
The stereoscopic imaging digital camera includes a left-
左目用画像撮像装置10は，被写体を撮像することにより，立体画像を構成する左目用画像を表す画像データを出力するものである。左目用画像撮像装置10には，第１のＣＣＤ13が含まれている。第１のＣＣＤ13の前方には，左目用ズーム・レンズ11およびフォーカス・レンズ12が設けられている。これらの左目用ズーム・レンズ11およびフォーカス・レンズ12は，それぞれモータ・ドライバ14および15によって位置決めされる。撮像モードとなり，第１のＣＣＤ13の受光面に左目用画像が結像すると，左目用画像を表す左目用映像信号が第１のＣＣＤ13から出力される。
The left-eye
第１のＣＣＤ13から出力された左目用映像信号は，アナログ／ディジタル変換装置16においてディジタルの左目用画像データに変換される。左目用画像データは，画像入力コントローラ17から画像信号処理回路33に入力する。画像信号処理回路33において，左目用画像データに対して所定の信号処理が行われる。
The left-eye video signal output from the
右目用画像撮像装置30は，被写体を撮像することにより，立体画像を構成する右目用画像を表す画像データを出力するものである。右目用画像撮像装置30には，第２のＣＣＤ23が含まれている。第２のＣＣＤ23の前方には，右目用ズーム・レンズ21およびフォーカス・レンズ22が設けられている。これらの右目用ズーム・レンズ21およびフォーカス・レンズ22は，それぞれモータ・ドライバ24および25によって位置決めされる。撮像モードとなり，第２のＣＣＤ23の受光面に右目用画像が結像すると，右目用画像を表す右目用映像信号が第２のＣＣＤ23から出力される。
The right-eye
第２のＣＣＤ23から出力された右目用映像信号は，アナログ／ディジタル変換装置26においてディジタルの右目用画像データに変換される。右目用画像データは，画像入力コントローラ27から画像信号処理回路35に入力する。画像信号処理回路35において，左目用画像データと同様に右目用画像データに対して所定の信号処理が行われる。
The right-eye video signal output from the
上述のようにして得られた左目用画像データおよび右目用画像データは，顔検出回路31にも入力する。顔検出回路31において，左目用画像および右目用画像のそれぞれの画像から顔画像が検出される。
The left-eye image data and right-eye image data obtained as described above are also input to the
画像信号処理回路33から出力される左目用画像データおよび右目用画像データは，表示制御装置35に与えられる。表示制御装置35において表示装置36が制御されることにより，表示装置36の表示画面に撮像により得られた画像が表示される。表示画面に表示される画像は，左目用画像または右目用画像でもよいし，左目用画像と右目用画像とがずれた立体画像でもよい。
The left-eye image data and the right-eye image data output from the image
立体撮像ディジタル・カメラが撮像モードに設定されると，左目用画像撮像装置10および右目用画像撮像装置30それぞれにおいて周期的に（連続的に）被写体が撮像され，表示装置36の表示画面にはいわゆるスルー画（動画）が表示されることとなる。
When the stereoscopic imaging digital camera is set to the imaging mode, the subject is imaged periodically (continuously) in each of the left-eye
撮像モードとなっている場合に，シャッタ・レリーズ・ボタン２が押されると，上述のようにして得られた左目用画像データおよび右目用画像データは圧縮処理装置34において圧縮される。圧縮された左目用画像データおよび右目用画像データがメディア・コントローラ38の制御のもとにメモリ・カード39に記録される。
When the shutter release button 2 is pressed in the imaging mode, the left-eye image data and right-eye image data obtained as described above are compressed by the
さらに，この実施例においては詳しくは後述するように，顔座標算出装置40，顔位置推定装置41および電源制御装置42も立体撮像ディジタル・カメラに含まれている。
Further, in this embodiment, as will be described in detail later, a face coordinate
この実施例においては，ユーザによって設定された左目用ズーム・レンズ11のズーム倍率で左目用画像撮像装置10において被写体が撮像されて左目用画像が得られる。得られた左目用画像から顔画像が検出された場合には，その検出された顔画像が囲まれた左目用画像が表示装置36の表示画面に表示される。左目用画像から顔画像が検出されなかった場合には，左目用画像撮像装置10の左目用ズーム・レンズ11のズーム倍率よりも望遠側に右目用画像撮像装置30の右目用ズーム・レンズ21が設定されて被写体が撮像される。右目用画像は左目用画像よりも拡大されており，その拡大された右目用画像から顔画像が検出される。右目用画像は拡大されているので，顔画像が比較的容易に検出できる。
In this embodiment, a subject is imaged by the left-eye
左目用画像撮像装置10と右目用画像撮像装置20とは，左目用画像と右目用画像とが立体画像を構成できるように，画角が同じではない。このために，左目用画像と右目用画像との間に視差ずれがある。右目用画像において検出された顔画像の位置と同じ左目用画像における位置に顔画像を特定するための顔枠を表示しても，視差ずれのために左目用画像では顔画像を囲むことにはならないことがある。そのために，この実施例では右目用画像で検出された右目用画像の座標系での顔画像の位置を左目用画像の座標系に直される。このような座標変換を行うものが顔座標算出装置40である。
The left-eye
図２は，顔座標算出装置40の電気的構成を示すブロック図である。
FIG. 2 is a block diagram showing an electrical configuration of the face coordinate
この顔座標算出装置40は，上述のように座標変換ができるとともに，左目用画像および右目用画像の両方の画像から顔画像が検出された場合にそれらの平均的な位置を算出することもできるものである。
The face coordinate
左目用画像から検出された顔画像を，左目用画像の座標系の位置で表す左目用画像での位置データが平均化処理装置44に入力する。
Position data in the left-eye image representing the face image detected from the left-eye image in the coordinate system position of the left-eye image is input to the averaging
また，右目用画像から検出された顔画像を，右目用画像の座標系の位置で表す右目用画像での位置データ，ズーム・レンズ11およびフォーカス・レンズ12の左目用画像撮像装置10の光学系の焦点距離のデータ，ズーム・レンズ21およびフォーカス・レンズ22の右目用画像撮像装置30の光学系の焦点距離のデータならびに左目用画像撮像装置10と右目用画像撮像装置30との距離（レンズ間距離）のデータが座標変換装置43に入力する。座標変換装置43において，右目用画像から検出された顔画像の右目用画像の座標系での位置が，左目用画像の座標系での位置に変換される。変換された位置を示すデータが平均化処理装置44に入力する。
Further, the position data in the right-eye image representing the face image detected from the right-eye image as the position of the coordinate system of the right-eye image, the optical system of the left-eye
平均化処理装置44において，左目用画像から検出された顔画像の位置と右目用画像から検出され，かつ左目用画像の座標系での位置に変換された位置との平均位置が算出される。算出された平均位置に顔画像を囲む顔枠が表示される。左目用画像から顔画像が検出されずに右目用画像からのみ顔画像が検出された場合には，右目用画像から検出された顔画像の右目用画像の座標系での位置が，左目用画像の座標系での位置に変換された位置を示すデータが平均化処理装置44の出力となる。過去の履歴を記憶しておき，過去の情報を利用して平均化処理を行うようにしてもよい。
In the averaging
図３および図４は，立体撮像ディジタル・カメラの処理手順を示すフローチャートである。 3 and 4 are flowcharts showing the processing procedure of the stereoscopic imaging digital camera.
左目用画像撮像装置10に含まれている左目用ズーム・レンズ11のズーム倍率が設定され（ステップ51），その設定されたズーム倍率で左目用画像撮像装置10によって左目用画像が撮像される（ステップ52）。つづいて，右目用画像撮像装置30に含まれている右目用ズーム・レンズ21が左目用ズーム・レンズ11に設定されたズーム倍率よりも望遠側のズーム倍率とされて，右目用画像撮像装置30によって右目用画像が撮像される（ステップ53）。
The zoom magnification of the left-eye zoom lens 11 included in the left-eye
撮像により得られた左目用画像から顔画像検出処理が行われる（ステップ54）。顔画像が検出されると（ステップ55でＹＥＳ），その検出された顔画像を囲む枠が左目用画像上に表示される（ステップ56）。 Face image detection processing is performed from the left-eye image obtained by imaging (step 54). When a face image is detected (YES in step 55), a frame surrounding the detected face image is displayed on the left eye image (step 56).
図５は，撮像により得られた左目用画像の一例である。 FIG. 5 is an example of a left-eye image obtained by imaging.
左目用画像70Ｌには，人物の被写体像71Ｌが含まれている。顔検出処理により顔画像72Ｌが検出されることにより，顔画像72Ｌを囲む顔枠73Ｌが表示される。
The left-
図３に戻って，左目用画像から顔画像が検出されないと（ステップ55でＮＯ），撮像により得られた右目用画像において顔画像の検出処理が行われる（ステップ58）。右目用画像から顔画像が検出されると（ステップ59でＹＥＳ），検出された顔画像の位置の座標変換が行われる（ステップ60）。座標変換された左目用画像での位置に顔枠が表示される（ステップ56）。 Returning to FIG. 3, if a face image is not detected from the left-eye image (NO in step 55), face image detection processing is performed on the right-eye image obtained by imaging (step 58). When a face image is detected from the right-eye image (YES in step 59), coordinate conversion of the position of the detected face image is performed (step 60). A face frame is displayed at a position in the left-eye image that has been subjected to coordinate conversion (step 56).
右目用画像から顔画像が検出されないと（ステップ59でＮＯ），表示画面に表示されている顔枠があれば，その顔枠が消去される（ステップ61）。 If no face image is detected from the right-eye image (NO in step 59), if there is a face frame displayed on the display screen, the face frame is deleted (step 61).
終了指令が無ければ（ステップ57でＮＯ），再びステップ52からの処理が繰り返される。左目用画像撮像装置10での撮像と右目用画像撮像装置30での撮像とが繰り返され，上述の処理が繰り返されることとなる。
If there is no end command (NO in step 57), the processing from
図６（Ａ）は左目用画像の一例であり，図６（Ｂ）は右目用画像の一例である。 FIG. 6A is an example of a left-eye image, and FIG. 6B is an example of a right-eye image.
図６（Ａ）を参照して，左目用画像70Ｌには被写体像71Ｌが含まれている。左目用画像70Ｌにおいて顔画像72Ｌの検出処理をしても顔画像72Ｌが検出できなかったものとする。すると，図６（Ｂ）に示す右目用画像70Ｒから顔画像の検出処理が実行される。
Referring to FIG. 6A, the
図６（Ｂ）を参照して，右目用画像70Ｒにも人物の被写体像71Ｒが含まれている。図６（Ａ）に示す左目用画像70Ｌに比べて（右目用ズーム・レンズ21が望遠側とされているので）被写体像71Ｒの大きさは大きく顔画像72Ｒの大きさも大きい。したがって，右目用画像70Ｒにおいて顔画像検出処理が行われることにより，顔画像72Ｒが検出され，その顔画像72Ｒを特定する顔枠73Ｒが表示される。
Referring to FIG. 6B, the right-
図７は，表示装置36の表示画面に表示される画像の一例である。
FIG. 7 is an example of an image displayed on the display screen of the
表示画像70は，左目用画像70Ｌに対応するものである。上述した顔検出処理が行われることにより，左目用画像70Ｌにおいて顔画像が検出された場合でも，左目用画像70Ｌからは顔画像が検出されずに右目用画像から顔画像が検出された場合でも，表示画像70に顔画像72Ｌを囲む顔枠73Ｌが表示される。
The
表示画像70の右下には縮小された右目用画像70Ｒも表示されている。もっとも，右目用画像70Ｒは必ずしも表示されなくともよい。
A reduced right-
図８ならびに図９（Ａ）および図９（Ｂ）は，座標変換処理（図４ステップ60の処理）を説明するものである。
FIGS. 8, 9A, and 9B illustrate the coordinate conversion process (the process of
左目用画像撮像装置10と右目用画像撮像装置30とを結んだ線をＸ軸とし，左目用画像撮像装置10の光軸（奥行き）をＺ軸とする。
The line connecting the left-eye
左目用画像撮像装置10によって撮像される左目用被写体面が符号80Ｌで示され，右目用画像撮像装置30によって撮像される右目用被写体面が符号80Ｒで示されている。また，これらの被写体面80Ｌおよび80Ｒとの共通の位置にある被写体Ｐの座標は（ｘ０，ｚ０）であるとする。
The left-eye subject plane imaged by the left-eye
右目用画像撮像装置30の画角の中心（ｘｒ，ｚｒ）は，式１および式２で表される。
The center (xr, zr) of the angle of view of the right-eye
左目用画像撮像装置10の画角の中心（ｘｌ，ｚｌ）は，ｘｌ＝０，ｚｌ＝ｚ０である。
The center (xl, zl) of the angle of view of the left-eye
また，右目用画像撮像装置30の中心（レンズ系の中心）から右目用被写体面80Ｒまでの距離ｒｒは式３によって表される。左目用画像撮像装置10の中心（レンズ系の中心）から左目用被写体面80Ｌまでの距離ｒｌはＺ０である。
Further, the distance rr from the center of the right-eye image pickup device 30 (the center of the lens system) to the right-eye
右目用被写体面80Ｒにおける画角中心Ｃｒから被写体の位置Ｐまでの距離をＲｒ，左目用被写体面80Ｌにおける画角中心Ｃｌから被写体の位置Ｐまでの距離をＲｌとすると，距離Ｒｒは，式４によって表される。距離Ｒｌは｜ｘ０｜である。
If the distance from the field angle center Cr on the right-eye
現実の距離Ｒｒ，Ｒｌを画像上での距離Ｒｉｒ，Ｒｉｌに換算すると，距離Ｒｉｒ＝ｆｒ×Ｒｒ／ｒｒ，距離Ｒｉｌ＝ｆｌ×｜ｘ０｜／ｚ０となる。但し，左目用画像撮像装置10（光学系）の焦点距離をｆｌ，右目用画像撮像装置30（光学系）の焦点距離をｆｒとする。 When the actual distances Rr and Rl are converted into the distances Rir and Ril on the image, the distance Rir = fr × Rr / rr and the distance Ril = fl × | x0 | / z0. However, it is assumed that the focal length of the left-eye image pickup device 10 (optical system) is fl, and the focal length of the right-eye image pickup device 30 (optical system) is fr.
以上のことから，左目用画像の座標系から右目用画像の座標系への座標変換は，式５から得られる。但し，ｘ０，ｚ０，Ｌｓ（左目用画像撮像装置10と右目用画像撮像装置30との距離），Ｌｃ（左目用画像撮像装置10の光軸と右目用画像撮像装置30との光軸との交点）はあらかじめ決定されているパラメータである。
From the above, the coordinate conversion from the coordinate system of the image for the left eye to the coordinate system of the image for the right eye is obtained from Equation 5. However, x0, z0, Ls (distance between the
図９（Ａ）は図８の位置関係で被写体81が撮像されたときの右目用画像の一例を，図９（Ｂ）は図８の位置関係で被写体81が撮像されたときの左目用画像の一例をそれぞれ示している。横軸をＸ軸，縦軸をＹ軸としている。 9A is an example of a right-eye image when the subject 81 is imaged in the positional relationship of FIG. 8, and FIG. 9B is an image for the left eye when the subject 81 is imaged in the positional relationship of FIG. An example of each is shown. The horizontal axis is the X axis and the vertical axis is the Y axis.
図９（Ａ）を参照して，左目用画像80Ｌでは被写体91の画像81Ｌの位置が座標（ｘｌ，０）で示されている。図９（Ｂ）を参照して，右目用画像80Ｒでは被写体91の画像81Ｒの位置が座標（ｘｒ，０）で示されている。これらの座標の位置関係は，上述したように式５によって表される。左目用画像と右目用画像とは，水平方向にずれるものであり，垂直方向にずれないので，式５を利用して座標変換できることは理解されよう。
Referring to FIG. 9A, in the left-
図10から図12は，他の実施例を示すものである。 10 to 12 show another embodiment.
図10は，電源制御装置42の電気的構成を示すブロック図である。
FIG. 10 is a block diagram showing an electrical configuration of the power
この実施例では，通常は右目用画像撮像装置30の電源はオフとされており，左目用画像から顔画像が検出されなかった場合または左目用画像から顔画像が検出されても過去の顔画像の位置から一定上離れている場合に，右目用画像撮像装置30の電源をオンにして右目用画像を撮像し，撮像により得られた右目用画像から顔画像を検出するものである。
In this embodiment, the power of the right-eye
顔画像の検出結果（検出位置）を示すデータが検出結果安定度算出装置45に入力する。検出結果安定度算出装置45には履歴情報メモリ45Ａが含まれており，入力した顔画像の検出結果を示すデータは履歴として履歴情報メモリ45Ａに記憶される。検出結果安定度算出装置45において，入力したデータによって表される顔画像の検出位置が履歴からわかる過去の検出位置から一定以上離れている，あるいは顔画像が検出されなければ安定していないと判定し，一定以上離れていなければ安定していると判定される。検出結果安定度算出装置45における判定結果を示すデータは電源制御装置46に入力する。また，右目用画像における顔画像の検出終了を示すデータも電源制御装置46に入力する。
Data indicating the detection result (detection position) of the face image is input to the detection result
電源制御装置46に，左目用画像から顔画像が検出されない旨のデータの入力または安定していない旨のデータが入力すると，右目用画像撮像装置30の電源をオンする指令信号が出力され，右目用画像撮像装置30がオンされる。電源制御装置46に，右目用画像からの顔画像の検出終了のデータが入力すると，右目用画像撮像装置30の電源をオンする指令信号が出力され，右目用画像撮像装置30がオフされる。
When data indicating that a face image is not detected from the left-eye image or data indicating that the face image is not stable is input to the
図11および図12は，立体撮像ディジタル・カメラの処理手順を示すフローチャートである。 11 and 12 are flowcharts showing the processing procedure of the stereoscopic imaging digital camera.
上述のように，左目用画像撮像装置10の左目用ズーム・レンズ11のズーム倍率がユーザによって設定される（ステップ91）。設定されたズーム倍率で左目用画像撮像装置10を用いて左目用画像が撮像される（ステップ92）。右目用画像撮像装置30はオフの状態である。
As described above, the zoom magnification of the left-eye zoom lens 11 of the left-eye
撮像により得られた左目用画像の顔画像の検出処理が行われ，顔画像が検出されると（ステップ93でＹＥＳ），検出された顔画像の位置が過去の位置から一定以上離れているかどうか（安定しているかどうか）が判定される（ステップ95）。離れていなければ（ステップ94でＮＯ），左目用画像において検出した位置に顔枠が表示される（ステップ95）。 If the face image detection process of the left-eye image obtained by imaging is performed and a face image is detected (YES in step 93), whether the detected face image position is more than a certain distance from the past position Is determined (step 95). If not separated (NO in step 94), a face frame is displayed at the position detected in the left-eye image (step 95).
左目用画像から顔画像が検出されない（ステップ93でＮＯ），あるいは左目用画像から顔画像が検出されても検出された顔画像の位置が過去の位置から一定以上離れていれば（ステップ94でＹＥＳ），右目用画像撮像装置30の電源がオンされる（ステップ97）。左目用画像撮像装置10の左目用画像ズーム・レンズ11のズーム倍率よりも望遠側のズーム倍率となるように右目用画像撮像装置10の右目用画像ズーム・レンズ21のズーム倍率が設定される。その設定されたズーム倍率で右目用画像撮像装置30を用いて右目用画像が撮像される（ステップ98）。右目用画像が撮像されると，右目用画像の顔画像検出処理が行われる（ステップ99）。
If no face image is detected from the left-eye image (NO in step 93), or if a face image is detected from the past position even if a face image is detected from the left-eye image (step 94) YES), the right eye
右目用画像から顔画像が検出されると（ステップ100でＹＥＳ），上述のように枠変換処理が行われる（ステップ101）。右目用画像撮像装置30の電源がオフされて（ステップ102），左目用画像の変換された位置に顔枠が表示される（ステップ95）。
When a face image is detected from the right eye image (YES in step 100), the frame conversion process is performed as described above (step 101). The right-eye
右目用画像から顔画像が検出されないと（ステップ100でＮＯ），右目用画像撮像装置30の電源がオフされ（ステップ103），左目用画像に顔枠が表示されていれば顔枠が消去される（ステップ104）。
If no face image is detected from the right-eye image (NO in step 100), the right-eye
終了指令が与えられなければ（ステップ96でＮＯ），ステップ92からの処理が繰り返される。
If the end command is not given (NO in step 96), the processing from
図13および図14は，他の実施例を示している。 13 and 14 show another embodiment.
図13は，顔位置推定装置41の電気的構成を示すブロック図である。
FIG. 13 is a block diagram showing an electrical configuration of the face
左目用画像データと右目用画像データとが距離測定装置47に入力する。すると，距離測定装置47において左目用画像データと右目用画像データとから，立体撮像ディジタル・カメラから顔までの距離が測定される。左目用画像データを撮像する左目用画像撮像装置10および右目用画像データを撮像する右目用画像撮像装置30をそれぞれ測距センサとして利用することにより，立体撮像ディジタル・カメラから顔までの距離を測定できる。距離測定装置47において測定された距離を表すデータは顔推定装置49に入力する。
The left-eye image data and the right-eye image data are input to the
また，前回の顔位置を表すデータおよび右目用画像データはパターン認識装置48に入力する。パターン認識装置48において，入力した右目用画像データによって表される右目用画像のうち，前回の顔位置を表すデータによって表される位置近傍の画像部分から顔画像が検出される。検出された顔画像およびその位置をそれぞれ表すデータは顔推定装置49に入力する。
Further, the data representing the previous face position and the right-eye image data are input to the
顔推定装置49において，距離測定装置47から入力したデータによって表される距離から顔画像の大きさが算出できる。パターン認識装置48から出力されたデータによって表される顔画像の中から，算出された大きさをもつ顔画像が顔画像の位置と推定される。推定された位置を表すデータが顔推定装置49から出力される。
In the
図14は，立体撮像ディジタル・カメラの処理手順の一部を示すフローチャートである。図14は，図４に対応するもので，図４に示す処理と同一の処理については同一符号を付して説明を省略する。 FIG. 14 is a flowchart showing a part of the processing procedure of the stereoscopic imaging digital camera. FIG. 14 corresponds to FIG. 4, and the same processes as those shown in FIG.
上述のように左目用画像において顔画像が検出されないと右目用画像において顔画像の検出処理が行われる（ステップ58）。右目用画像において顔画像が検出されないと（ステップ59でＮＯ），最後に検出した顔画像の位置が読み取られる（ステップ111）。顔画像の位置は，上述したように履歴情報メモリ45Ａに記憶されているので，その履歴情報メモリ45Ａから最後に検出した顔画像の位置を読み取ることができる。 As described above, when a face image is not detected in the left-eye image, face image detection processing is performed on the right-eye image (step 58). If no face image is detected in the right-eye image (NO in step 59), the position of the last detected face image is read (step 111). Since the position of the face image is stored in the history information memory 45A as described above, the position of the face image detected last can be read from the history information memory 45A.
つづいて，左目用のズーム・レンズ11の焦点距離と右目用ズーム・レンズ21の焦点距離とが一致させられる（ステップ112）。顔までの距離が測定され（算出され）（ステップ113），上述のようにパターン認識装置48においてパターン認識処理が実行される（ステップ114）。距離測定装置47の測定結果とパターン認識装置48において認識結果とから，顔画像の推定が行われる（ステップ115）。推定された顔画像の位置に顔枠が表示されることとなる。
Subsequently, the focal length of the zoom lens 11 for the left eye and the focal length of the
上述の実施例においては，左目用画像から顔画像が検出されなかった場合に右目用画像から顔画像を検出する処理が行われているが，逆に右目用画像からの顔画像検出処理を先に行い，右目用画像から顔画像が検出されなかった場合に左目用画像から顔画像を検出する処理を行うようにしてもよい。 In the above-described embodiment, when a face image is not detected from the left-eye image, the face image is detected from the right-eye image. Conversely, the face image detection process from the right-eye image is performed first. And when the face image is not detected from the right eye image, a process of detecting the face image from the left eye image may be performed.
さらに，上述の実施例では顔画像を検出していたが，顔画像に限らず人物など他の対象物を表す対象画像を検出するようにしてもよい。また，上述の実施例では，立体画像を撮像する立体撮像ディジタル・カメラについて説明したが，立体画像を撮像できなくとも複数の画像を同時に撮像できる複眼撮像ディジタル・カメラにも，この実施例を適用できるのはいうまでもない。 Furthermore, in the above-described embodiment, the face image is detected. However, the present invention is not limited to the face image, and a target image representing another target object such as a person may be detected. In the above-described embodiment, the stereoscopic imaging digital camera that captures a stereoscopic image has been described. However, this embodiment is also applied to a compound-eye imaging digital camera that can simultaneously capture a plurality of images even if the stereoscopic image cannot be captured. Needless to say, you can.
１ ＣＰＵ
10 左目用画像撮像装置
30 右目用画像撮像装置
31 顔検出装置
40 顔座標算出装置
41 顔位置推定装置
42 撮像電源制御装置
1 CPU
10 Left-eye imaging device
30 Right-eye imaging device
31 Face detection device
40 Facial coordinate calculation device
41 Face position estimation device
42 Imaging power supply controller
Claims (6)
上記第１の画像撮像装置の前方に設けられた第１のズーム・レンズ，
第２の画像を撮像する第２の画像撮像装置，
上記第２の画像撮像装置の前方に設けられた第２のズーム・レンズ，
上記第１の画像撮像装置によって撮像される第１の画像から対象画像を検出する第１の対象画像検出手段，
上記第１の対称画像検出手段によって第１の画像から対象画像が検出されなかったことに応じて，上記第２のズーム・レンズを上記第１のズーム・レンズのズーム倍率での撮像により得られる第１の画像よりも拡大するズーム倍率に変更するズーム倍率変更手段，および
上記ズーム倍率変更手段によって変更されたズーム倍率で第２の画像撮像装置において撮像された第２の画像から対象画像を検出する第２の対象画像検出手段，
を備えた複眼撮像ディジタル・カメラ。 A first image capturing device for capturing a first image;
A first zoom lens provided in front of the first image pickup device;
A second image capturing device for capturing a second image;
A second zoom lens provided in front of the second image pickup device;
First target image detection means for detecting a target image from a first image captured by the first image capturing device;
When the target image is not detected from the first image by the first symmetric image detecting means, the second zoom lens is obtained by imaging at the zoom magnification of the first zoom lens. A zoom magnification changing means for changing to a zoom magnification that is larger than the first image, and a target image is detected from the second image picked up by the second image pickup device at the zoom magnification changed by the zoom magnification changing means. Second target image detecting means for
A compound-eye imaging digital camera.
をさらに備えた請求項１に記載の複眼撮像ディジタル・カメラ。 Display for controlling the display device to display the first image and to display a frame for specifying the target image detected by the second target image detecting means at a corresponding position of the first image. Control means,
The compound-eye imaging digital camera according to claim 1, further comprising:
上記ズーム倍率変更手段は，
上記判定手段により一定以上離れていると判定されたことによって，上記第２のズーム・レンズを上記第１のズーム・レンズのズーム倍率での撮像により得られる第１の画像よりも拡大するズーム倍率に変更し，
上記表示制御手段は，
第１の画像を表示し，かつ第１の画像において上記第２の対象画像検出手段によって検出された対象画像に対応する位置と上記第１の対象画像検出手段によって検出された対象画像の位置との平均的な位置に枠を表示するように表示装置を制御するものであり，
上記第１の画像撮像装置による第１の画像の撮像，上記第２の画像撮像装置による第２の画像の撮像，上記第１の対象画像検出手段による対象画像の検出，上記ズーム倍率変更手段によるズーム倍率の変更，上記第２の対象画像検出手段による対象画像の検出，および上記表示制御手段による表示制御を繰り返すように制御する第１の制御手段，
をさらに備えた請求項２に記載の複眼撮像ディジタル・カメラ。 Whether the position of the detected target image is more than a certain distance from the position of the previously detected target image in response to the detection of the target image from the first image by the first target image detection means A determination means for determining
The zoom magnification changing means is
A zoom magnification for enlarging the second zoom lens more than the first image obtained by imaging at the zoom magnification of the first zoom lens when the determination means determines that the distance is greater than a certain distance. To
The display control means is
A position corresponding to the target image detected by the second target image detecting means in the first image and a position of the target image detected by the first target image detecting means; The display device is controlled to display a frame at the average position of
First image pick-up by the first image pick-up device, second image pick-up by the second image pick-up device, detection of the target image by the first target image detection means, by the zoom magnification change means First control means for controlling the zoom magnification change, the detection of the target image by the second target image detection means, and the display control by the display control means;
The compound-eye imaging digital camera according to claim 2, further comprising:
上記第２の制御手段の制御のもとに第２の画像の撮像が終了したことに応じて上記第２の画像撮像装置の電源をオフする電源制御手段，
をさらに備えた請求項３に記載の複眼撮像ディジタル・カメラ。 When the target image is not detected by the first target image detection unit or is determined to be more than a certain distance by the determination unit, the power of the second image pickup device is turned on to perform the imaging process. And second control means for controlling the second image pickup device and the second target image detection means so as to detect the target image from the second image, and control of the second control means Power supply control means for turning off the power supply of the second image pickup device in response to the end of image pickup of the second image
The compound-eye imaging digital camera according to claim 3, further comprising:
上記距離測定手段によって測定された距離にもとづいて，対象画像の大きさを算出する大きさ算出手段，および
上記第２の画像において，前回の対象画像の位置近傍から，上記大きさ算出手段によって算出された大きさをもつ対象画像部分を検出する第３の対象画像検出手段，
をさらに備えた請求項４に記載の複眼撮像ディジタル・カメラ。 A distance measuring means for measuring a distance to the object represented by the target image because the target image is not detected by the second target image detecting means;
Based on the distance measured by the distance measuring means, the size calculating means for calculating the size of the target image, and the size calculating means in the second image from the vicinity of the position of the previous target image. Third target image detection means for detecting a target image portion having a specified size,
The compound-eye imaging digital camera according to claim 4, further comprising:
第１の対象画像検出手段が，上記第１の画像撮像装置によって撮像される第１の画像から対象画像を検出し，
ズーム倍率変更手段が，上記第１の対称画像検出手段によって第１の画像から対象画像が検出されなかったことに応じて，上記第２のズーム・レンズを上記第１のズーム・レンズのズーム倍率での撮像により得られる第１の画像よりも拡大するズーム倍率に変更し，
第２の対象画像検出手段が，上記ズーム倍率変更手段によって変更されたズーム倍率で第２の画像撮像装置において撮像された第２の画像から対象画像を検出する，
複眼撮像ディジタル・カメラの動作制御方法。 A first image pickup device that picks up a first image, a first zoom lens provided in front of the first image pickup device, a second image pickup device that picks up a second image, and the above In an operation control method for a compound-eye imaging digital camera including a second zoom lens provided in front of a second image capturing device,
A first target image detecting means detects a target image from the first image captured by the first image capturing device;
In response to the fact that the target image is not detected from the first image by the first symmetric image detecting means, the zoom magnification changing means moves the second zoom lens to the zoom magnification of the first zoom lens. Change the zoom magnification to be larger than the first image obtained by imaging with
A second target image detecting unit detects a target image from the second image captured by the second image capturing device at the zoom magnification changed by the zoom magnification changing unit;
Operation control method for a compound-eye imaging digital camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010106135A JP2011239006A (en) | 2010-05-06 | 2010-05-06 | Compound-eye imaging digital camera and operation control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010106135A JP2011239006A (en) | 2010-05-06 | 2010-05-06 | Compound-eye imaging digital camera and operation control method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011239006A true JP2011239006A (en) | 2011-11-24 |
Family
ID=45326545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010106135A Pending JP2011239006A (en) | 2010-05-06 | 2010-05-06 | Compound-eye imaging digital camera and operation control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011239006A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013186733A (en) * | 2012-03-08 | 2013-09-19 | Sony Corp | Display control device, display control method, and computer-readable recording medium |
-
2010
- 2010-05-06 JP JP2010106135A patent/JP2011239006A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013186733A (en) * | 2012-03-08 | 2013-09-19 | Sony Corp | Display control device, display control method, and computer-readable recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4657313B2 (en) | Stereoscopic image display apparatus and method, and program | |
| US8654195B2 (en) | Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus | |
| JP5625976B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
| JP4775474B2 (en) | Imaging apparatus, imaging control method, and program | |
| US20130113898A1 (en) | Image capturing apparatus | |
| JPWO2011125461A1 (en) | Image generating apparatus and method, and printer | |
| JP5550791B2 (en) | Image processing apparatus, imaging apparatus, and parallax adjustment method | |
| JP6155471B2 (en) | Image generating apparatus, imaging apparatus, and image generating method | |
| TWI449408B (en) | Method and apparatus for capturing three-dimensional image and apparatus for displaying three-dimensional image | |
| JP6104066B2 (en) | Image processing apparatus and image processing method | |
| JP2014154907A (en) | Stereoscopic imaging apparatus | |
| JP2013038454A (en) | Image processor, method, and program | |
| WO2011148746A1 (en) | 3d imaging device, face detection device, and operation control method therefor | |
| JP2012227653A (en) | Imaging apparatus and imaging method | |
| JP2011239006A (en) | Compound-eye imaging digital camera and operation control method thereof | |
| JP2005174148A (en) | Image pickup device and method, and image pickup system | |
| JP5351878B2 (en) | Stereoscopic image display apparatus and method, and program | |
| JP2011091463A (en) | 3d imaging apparatus and operation control method thereof | |
| JP2013070153A (en) | Imaging apparatus | |
| US9076215B2 (en) | Arithmetic processing device | |
| JP2014134723A (en) | Image processing system, image processing method and program | |
| JP2013179580A (en) | Imaging apparatus | |
| TWI382267B (en) | Auto depth field capturing system and method thereof | |
| JP2000115614A5 (en) | Stereoscopic video system, computer-readable storage medium and storage medium for storing data | |
| JP6022212B2 (en) | Spatial information calculation system |