JP2009010616A - Imaging device and image output control method - Google Patents
Imaging device and image output control method Download PDFInfo
- Publication number
- JP2009010616A JP2009010616A JP2007169342A JP2007169342A JP2009010616A JP 2009010616 A JP2009010616 A JP 2009010616A JP 2007169342 A JP2007169342 A JP 2007169342A JP 2007169342 A JP2007169342 A JP 2007169342A JP 2009010616 A JP2009010616 A JP 2009010616A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- face
- amount
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims description 24
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000011664 signaling Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 17
- 230000007423 decrease Effects 0.000 description 13
- 230000003247 decreasing effect Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は顔検出機能付き撮像装置の画像データ読み出し量とフレームレートの制御に関する。 The present invention relates to control of an image data read amount and a frame rate of an imaging apparatus with a face detection function.
特許文献1では、所望の映像のみ高画質で表示するために、被写体距離/パンチルト角度/ズーム倍率/露出関連パラメータにて閾値を設けて、フレームレートを最適化し、フレームレートに従ってフレームの間引き処理を行う。
デジタルカメラなどでスルー画を表示する場合、一般的に撮像素子から読み出したデータをリサイズして液晶などの表示装置に表示させている。被写体の動きをなめらかに表示するためには、撮像フレームレートをより高くする必要があり、その場合撮像素子から読み出すことができるデータ量の最大値が減少する。結果として撮像素子から読み出したデータ量が液晶の画素数以下になり、読み出したデータを拡大して液晶に表示させる場合があるが、スルー画表示が粗くなってしまうという不便さがある。つまり、撮像フレームレートと読み出しデータ量はトレードオフの関係となっている。 When displaying a through image with a digital camera or the like, data read from an image sensor is generally resized and displayed on a display device such as a liquid crystal display. In order to display the movement of the subject smoothly, it is necessary to increase the imaging frame rate. In this case, the maximum value of the data amount that can be read from the imaging element is reduced. As a result, the amount of data read from the image sensor becomes less than the number of pixels of the liquid crystal, and the read data may be enlarged and displayed on the liquid crystal, but there is an inconvenience that the through image display becomes rough. That is, there is a trade-off relationship between the imaging frame rate and the read data amount.
この点、特許文献1では、フレームレート最適化に関して、主要人物被写体の存在や動きは一切考慮されておらず、画像が低解像度で人物のピント確認が困難であったり、あるいは低フレームレートでスルー画像が表示され、主要人物被写体の動きがなめらかに表示されない。 In this regard, Patent Document 1 does not consider the presence or movement of the main person subject at all in regard to the frame rate optimization, and it is difficult to confirm the person's focus because the image is low in resolution, or through at a low frame rate. An image is displayed, and the movement of the main person subject is not displayed smoothly.
そこで本発明は、人物被写体検出に応じた撮像フレームレートと読み出しデータ量の関係の最適化を目的とする。 Therefore, an object of the present invention is to optimize the relationship between the imaging frame rate and the read data amount according to the detection of a human subject.
本発明は、撮影光学系を介して被写体像を受光し、該被写体像を示すアナログ画像信号を継続的に出力する撮像部と、撮像部から出力されたアナログ画像信号をデジタル画像データに変換して継続的に出力する画像処理部と、画像処理部から出力された画像データを記録する記録部と、を備える撮像装置であって、画像処理部から出力された画像データから、人物被写体像の顔領域を検出する顔検出部と、顔検出部が顔領域を検出したか否かに応じ、画像データの出力レートとアナログ画像信号の読み出しデータ量とを相関的に制御する制御部と、を備える。 The present invention receives a subject image via a photographing optical system, continuously outputs an analog image signal indicating the subject image, and converts the analog image signal output from the imaging unit into digital image data. An image processing unit that continuously outputs an image processing unit, and a recording unit that records the image data output from the image processing unit, wherein the image data output from the image processing unit A face detection unit for detecting a face area, and a control unit for controlling the output rate of the image data and the read data amount of the analog image signal in correlation with each other according to whether the face detection unit has detected the face area. Prepare.
例えば、制御部は、顔検出部が顔領域を検出した場合、画像データの出力レートを減少させるよう画像処理部を制御するとともに、撮像部からのアナログ画像信号の読み出しデータ量を増加させるよう撮像部を制御し、顔検出部が顔領域を検出しなかった場合、画像データの出力レートを増加させるよう画像処理部を制御するとともに、撮像部からのアナログ画像信号の読み出しデータ量を減少させるよう撮像部を制御する。 For example, when the face detection unit detects a face area, the control unit controls the image processing unit to decrease the output rate of the image data and performs imaging so as to increase the amount of read data of the analog image signal from the imaging unit. The image processing unit is controlled to increase the output rate of the image data and the read data amount of the analog image signal from the imaging unit is decreased when the face detection unit does not detect the face area. Control the imaging unit.
この発明によると、顔が検出された場合すなわち画角内に人物がいる場合、高解像度の画質で画像データを表示でき、ピントの確認が行いやすくなる。一方、画角内に人物がいない場合、継続的に供給される画像データのフレームレートを落とすことなく表示でき、スルー画像をなめらかに表示でき、画角の調整が妨げられることはない。 According to the present invention, when a face is detected, that is, when a person is within the angle of view, image data can be displayed with high resolution image quality, and it is easy to check the focus. On the other hand, when there is no person within the angle of view, it is possible to display without reducing the frame rate of the continuously supplied image data, it is possible to display the through image smoothly, and the adjustment of the angle of view is not hindered.
あるいは、制御部は、顔検出部が顔領域を検出した場合、画像データの出力レートを減少させるよう画像処理部を制御するとともに、撮像部からの顔領域に対応するアナログ画像信号の読み出しデータ量を増加させるよう撮像部を制御し、顔検出部が顔領域を検出しなかった場合、画像データの出力レートを増加させるよう画像処理部を制御するとともに、撮像部からの顔領域に対応するアナログ画像信号の読み出しデータ量を減少させるよう撮像部を制御する。 Alternatively, the control unit controls the image processing unit to decrease the output rate of the image data when the face detection unit detects the face region, and reads out the amount of data read from the analog image signal corresponding to the face region from the imaging unit If the imaging unit is controlled to increase the image area and the face detection unit does not detect the face area, the image processing unit is controlled to increase the output rate of the image data, and the analog corresponding to the face area from the imaging unit The imaging unit is controlled so as to reduce the read data amount of the image signal.
こうすると、検出された顔部分の解像度が上がり、顔部分が高精細に表示され、顔に対するピント合わせの確認がさらに容易になる。 This increases the resolution of the detected face part, displays the face part with high definition, and makes it easier to check the focus on the face.
顔検出部が顔領域を検出した場合、読み出しデータ量の増加された顔領域を拡大して表示装置に表示する表示部をさらに備えてもよい。 When the face detection unit detects a face region, the display unit may further include a display unit that enlarges the face region whose read data amount has been increased and displays it on the display device.
こうすると検出した顔のピント確認がより行いやすくなる。なお、顔領域を検出しなかった場合は顔領域を拡大しないので、画角合わせが妨げられることはない。 This makes it easier to check the focus of the detected face. Note that when the face area is not detected, the face area is not enlarged, so that the angle-of-view matching is not hindered.
あるいは、制御部は、顔検出部が顔領域を検出した場合、画像処理部から継続的に出力された複数の画像データ間における顔領域の移動量が所定の閾値を超えたか否かを判断し、顔領域の移動量が所定の閾値を超えなかった場合、画像データの出力レートを減少させるよう画像処理部を制御するとともに、撮像部からのアナログ画像信号の読み出しデータ量を増加させるよう撮像部を制御し、顔領域の移動量が所定の閾値を超えた場合、画像データの出力レートを増加させるよう画像処理部を制御するとともに、撮像部からのアナログ画像信号の読み出しデータ量を減少させるよう撮像部を制御する。 Alternatively, when the face detection unit detects a face region, the control unit determines whether the amount of movement of the face region between a plurality of image data continuously output from the image processing unit exceeds a predetermined threshold. When the movement amount of the face area does not exceed a predetermined threshold, the image processing unit is controlled to decrease the output rate of the image data, and the image capturing unit is configured to increase the read data amount of the analog image signal from the image capturing unit. When the movement amount of the face area exceeds a predetermined threshold, the image processing unit is controlled to increase the output rate of the image data, and the read data amount of the analog image signal from the imaging unit is decreased. Control the imaging unit.
こうすると、画角内に人物が存在しかつ実質的に静止している場合は、その人物を高解像度で表示でき、ピントの確認が行いやすい。また、人物が動いている場合はフレームレートを増加させて人物の動きをなめらかに表示できる。 In this way, when a person is present within the angle of view and is substantially stationary, the person can be displayed with high resolution, and the focus can be easily confirmed. Also, when the person is moving, the frame rate can be increased to display the person's movement smoothly.
制御部は、顔領域に焦点が固定されたか否かに応じて画像データの出力レートおよびアナログ画像信号の読み出しデータ量を相関的に制御してもよい。こうすると、フォーカスを合わせたときに高解像度画像を表示でき、ピント確認が行いやすくなる。また、フォーカスを合わせていないときはフレームレートが減少せず、スルー画像をなめらかに表示できる。 The control unit may control the output rate of the image data and the read data amount of the analog image signal in a correlative manner depending on whether or not the focus is fixed to the face area. In this way, a high-resolution image can be displayed when the focus is adjusted, and it becomes easier to check the focus. Also, when the focus is not achieved, the frame rate does not decrease and the through image can be displayed smoothly.
本発明に係る画像出力制御方法は、撮影光学系を介して被写体像を受光し、該被写体像を示すアナログ画像信号を継続的に出力するステップと、アナログ画像信号をデジタル画像データに変換して継続的に出力するステップと、画像データから、人物被写体像の顔領域を検出するステップと、顔領域を検出したか否かに応じ、画像データの出力レートとアナログ画像信号の読み出しデータ量とを相関的に制御するステップと、を含む。 An image output control method according to the present invention includes a step of receiving a subject image via a photographing optical system and continuously outputting an analog image signal indicating the subject image, and converting the analog image signal into digital image data. A step of continuously outputting, a step of detecting a face area of the human subject image from the image data, and an output rate of the image data and a read data amount of the analog image signal according to whether or not the face area is detected. Controlling in a correlative manner.
この発明によると、顔が検出された場合すなわち画角内に人物がいる場合、高解像度の画質で画像データを表示でき、ピントの確認が行いやすくなる。一方、画角内に人物がいない場合、継続的に供給される画像データのフレームレートを落とすことなく表示でき、スルー画像をなめらかに表示できる。 According to the present invention, when a face is detected, that is, when a person is within the angle of view, image data can be displayed with high resolution image quality, and it is easy to check the focus. On the other hand, when there is no person within the angle of view, it is possible to display without reducing the frame rate of continuously supplied image data, and to display a through image smoothly.
<第1実施形態>
図1は、本発明の好ましい第1の実施形態に係るデジタルカメラ100の要部ブロック図である。まず、同図のデジタルカメラ100において、中央処理装置(CPU)112は、レリーズスイッチやモードダイヤル等の各種のボタンやキーからの入力に基づいてデジタルカメラ100内の各回路を統括制御する。
<First Embodiment>
FIG. 1 is a principal block diagram of a
また、デジタルカメラ100は、撮像レンズ(フォーカスレンズおよびズームレンズを含む)14からの被写体光を光電変換してアナログ画像信号を出力する撮像素子であるCCD102、撮像素子(CCD102)からのアナログ信号に対してCDS処理・ゲイン処理などを行うとともに、デジタルのR、G、B画像データにA/D変換するA/D変換部を含むAFE(アナログフロントエンド回路)103を備える。
The
モードダイヤルなどによって静止画撮影モードが設定されると、CPU112は、動画(スルー画)を表示部に表示させ、撮影画角を確認可能にする。即ち、撮像レンズ14を通過した光は、撮像素子(CCD102)に入射する。撮像素子(CCD102)の受光面には、フォトセンサが平面的に配列されており、該受光面上の有効画素領域に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。こうして蓄積された信号電荷は、図示せぬドライバ回路から与えられるパルス信号に基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出され、それぞれAFE103に加えられる。
When the still image shooting mode is set by a mode dial or the like, the CPU 112 displays a moving image (through image) on the display unit so that the shooting angle of view can be confirmed. That is, the light that has passed through the
AFE103は、供給された画像信号をデジタル画像データに変換し、信号処理IC108に出力する。
The AFE 103 converts the supplied image signal into digital image data and outputs it to the
信号処理IC108は、ホワイトバランス補正回路、ガンマ補正回路、YC処理回路、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段であり、CPU112からのコマンドに従って画像データを処理する。
The
図示は省略するが、信号処理IC108から出力された画像データは、輝度信号(Y信号)および色差信号(Cr、Cl信号)に変換されるとともに、ガンマ補正等の所定の処理が施された後、メモリ113に格納される。
Although illustration is omitted, the image data output from the
顔検出IC20は、信号処理IC108から逐次出力されるデジタル画像データ(スルー画像)から人物の顔部分を含む領域である顔領域を検出する。顔領域の検出方法としては、例えば本出願人による特開平9−101579号公報において開示された技術を適用することができる。
The
この技術は、撮影した画像の各画素の色相が肌色の範囲に含まれるか否かを判定して肌色領域と非肌色領域とに分割するとともに、画像中のエッジを検出して画像中の各箇所をエッジ部分または非エッジ部分に分類する。そして、肌色領域内に位置し非エッジ部分に分類された画素からなり、かつエッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出し、抽出した顔候補領域が人物の顔に相当する領域かを判定し、この判定結果に基づき顔領域として検出するものである。また、この他に、特開2003−209683号公報や特開2002−199221号公報に記載される方法で顔領域を検出することもできる。 This technology determines whether or not the hue of each pixel of the captured image is included in the skin color range and divides it into a skin color region and a non-skin color region, and detects edges in the image to detect each pixel in the image. Classify locations as edge or non-edge portions. Then, an area composed of pixels classified in the skin color area and classified as a non-edge part and surrounded by pixels determined to be the edge part is extracted as a face candidate area, and the extracted face candidate area becomes a human face. It is determined whether the region is a corresponding region, and is detected as a face region based on the determination result. In addition to this, a face region can also be detected by a method described in Japanese Patent Application Laid-Open Nos. 2003-209683 and 2002-199221.
CPU112は、顔検出AFモードでは、検出された顔領域について得られたAF評価値に従って被写体の合焦を判定する。その判断方法は任意であるが、例えばAF評価値が極大点の近傍に略到達しているか否かを判断し、極大点に略達している場合は合焦していると判断し、その他の場合は合焦していないと判断する。あるいは、AF評価値が所定の閾値を超えていれば合焦していると判断することもできる。従って、顔検出AFモードでは、いわゆる全域サーチは行わず、顔領域検出範囲および顔領域のサイズは、顔検出の度に制限される。 In the face detection AF mode, the CPU 112 determines the focus of the subject according to the AF evaluation value obtained for the detected face area. The determination method is arbitrary. For example, it is determined whether or not the AF evaluation value has substantially reached the vicinity of the maximum point. If the AF evaluation value has substantially reached the maximum point, the AF evaluation value is determined to be in focus. In this case, it is determined that the subject is not in focus. Alternatively, if the AF evaluation value exceeds a predetermined threshold, it can be determined that the subject is in focus. Therefore, in the face detection AF mode, a so-called whole area search is not performed, and the face area detection range and the size of the face area are limited to each face detection.
CPU112は、AF評価値を取得して対応する合焦位置に、レンズ14を移動させるようにモータドライバ111に指令を出す。モータドライバ111は、CPU112の指令に応じてレンズ14を合焦位置に移動させる。これは一般的に、自動焦点調節動作(AF動作)と呼ばれる。
The CPU 112 acquires an AF evaluation value and issues a command to the
輝度演算部55は、画像データ中に設定された所定領域の平均積算値を算出することにより、所定領域内の平均被写体輝度値を求める。
The
CPU112は、輝度演算部55から出力された平均輝度に基づいて撮影に適した露出値を算出し、この露出値に応じて、例えば、予めメモリ113などに保存されたプログラム線図から適切な絞り値やシャッタ速度などを決定して、図示しない絞りや撮像素子(CCD102)などの露光動作を制御する。
The CPU 112 calculates an exposure value suitable for photographing based on the average luminance output from the
撮影モードの設定に応じて撮像素子(CCD102)からの継続的な画像信号の供給が開始すると、これに対応してAFE103から順次供給されるコマ画像(フレーム画像)に合わせて、信号処理IC108における画像処理が行われる。画像処理されたフレーム画像はメモリ113に一旦格納され、所定形式の画像信号(例えば、NTSC方式のカラー複合画像信号)に変換されて、表示装置83に逐次供給される。この撮影モードの設定時に継続的に表示装置83に表示されるフレーム動画像もスルー画像と呼ぶ。
When continuous image signal supply from the image sensor (CCD 102) starts in accordance with the setting of the shooting mode, the
顔検出AFモードが設定されている場合、図示しないレリーズスイッチの半押しなどにより、画像記録準備の指示がデジタルカメラ100に入力されると、当該指示のあった時点で顔検出が行われ、顔領域への合焦が行われる。その後、レリーズスイッチの全押しなどにより、画像記録の指示がデジタルカメラ100に入力されると、そのタイミングで記録用の画像データが取得され、信号処理IC108で所定の圧縮処理が施された後、メモリカードなどの着脱可能な外部メモリ50に記録される。記録用の画像データは、表示装置83にポストビューとして表示される。
When the face detection AF mode is set, when an instruction for image recording preparation is input to the
なお、撮像素子はCCD102に限られず、CMOS(Complementary Metal-Oxide Semiconductor )であってもよい。後述するが、実施態様によっては、CCDでなくCMOSを採用する必要がある。CMOS型イメージ・センサは、光電変換素子に蓄積された信号電荷が1行ずつ順に1コマ分の画像信号として出力される。
The imaging device is not limited to the
CCDやCMOSセンサなどの撮像素子から出力された画像信号は、AFE103に入力される。AFE103においてアナログ処理が終了するまでは、次のコマの画像信号が撮像素子からAFE103に入力できない。AFE103は、その処理速度が比較的遅いので、次のコマの画像信号が出力されるまでの時間(フレームレートという)が長くなる。したがって,撮像素子の電子シャッタ速度をフレームレートより速くすることはできない。
An image signal output from an image sensor such as a CCD or CMOS sensor is input to the
CPU112は、撮像素子から出力される画像信号によって表される画像の読み出し画素数を設定する。画素数には、1/1,1/2または1/4がある。1/1は、撮像素子から出力される画像信号のすべてをAFE103で処理して画像データ出力するときに設定される(1/1の画素数)。1/2は、撮像素子から出力される画像信号の1/2の量の画像信号をAFE103で処理して画像データ出力する(1/2の画素数)。1/4は、撮像素子から出力される画像信号の1/4の量の画像信号をAFE103で処理して画像データ出力する(1/4の画素数)。
The CPU 112 sets the number of read pixels of the image represented by the image signal output from the image sensor. The number of pixels includes 1/1, 1/2, or 1/4. 1/1 is set when all the image signals output from the image sensor are processed by the
撮像素子からの画像信号は所定のフレームレートで出力される。フレームレートは、AFE103において1コマ分の画像信号のアナログ処理が終了する時間に依存している。1コマ分の画像信号のアナログ処理が終了するまで次のコマの画像信号がAFE103に入力しないように、タイミング・ジェネレータ2によって撮像素子の駆動が制御されている。AFE103において処理すべき画像信号の量、即ち画素数が多いほどアナログ処理に時間を要し、フレームレートが遅くなる。フレームレートの単位はfps(frame per second)で表現される。
An image signal from the image sensor is output at a predetermined frame rate. The frame rate depends on the time at which analog processing of an image signal for one frame is completed in the
例えば、設定画素数が1/1のとき、フレームレートは30fps(1/30秒)となるとする。画素数が1/2のときには、撮像素子から出力される画像信号の量が、画素数が1/1のときの1/2なので、フレームレートは60fps(1/60秒)となる。また、画素数が1/4のときには、撮像素子から出力される画像信号の量は画素数が1/1のときの1/4なので、フレームレートは125fps(1/125) となる。このように、画素数が少なくなるにつれ(撮像素子から出力される画像信号の量が少なくなるにつれ)、フレームレートは増加する。逆も同様であり、フレームレートが減少するにつれ、画素数が増加する。つまり、設定画素数とフレームレートの増減には、トレードオフの関係があり、双方を一挙に増加させることはできず、どちらか一方のみしか増加させることができない。 For example, when the number of set pixels is 1/1, the frame rate is assumed to be 30 fps (1/30 seconds). When the number of pixels is ½, the amount of image signal output from the image sensor is ½ when the number of pixels is 1/1, so the frame rate is 60 fps (1/60 seconds). When the number of pixels is 1/4, the amount of image signal output from the image sensor is 1/4 when the number of pixels is 1/1, so the frame rate is 125 fps (1/125). Thus, the frame rate increases as the number of pixels decreases (as the amount of image signals output from the image sensor decreases). The reverse is also true, and the number of pixels increases as the frame rate decreases. That is, there is a trade-off relationship between the number of set pixels and the increase / decrease of the frame rate, and both cannot be increased at once, and only one of them can be increased.
図2は第1実施形態に係る読み出しデータ量/フレームレート制御処理のフローチャートである。この処理は、CPU112によって制御され、デジタルカメラ100に顔検出AFモードかつ撮影モードが指示されたときに開始する。
FIG. 2 is a flowchart of read data amount / frame rate control processing according to the first embodiment. This process is controlled by the CPU 112 and starts when the face detection AF mode and the shooting mode are instructed to the
S1では、顔検出IC20は、シャッターボタンの半押しに応じて顔領域の検出を開始する。CPU112は、顔領域の検出がされたか否かを判断する。顔領域の検出がされた場合はS2、顔領域の検出がされない場合はS3に進む。なお、顔検出の後、引き続き顔検出AFを行い、検出された顔領域に対し焦点が固定された場合(フォーカスロック)S2に進んでもよい。また、顔は検出されたがフォーカスロックされない限りS3を繰り返してもよい。
In S1, the
S2では、AFE103から信号処理IC108へ出力されるフレーム画像のフレームレートを減少するよう制御し、かつ、CCD102の読み出し画素数を増加するよう制御する。例えば、125fpsがデジタルカメラ100の最大フレームレートであれば、125fpsから30fpsに減少させ、かつ、CCD102の読み出し画素数を1/4から1/1に増加させる。あるいは、フレームレートを125fpsから60fpsに減少させ、かつ、CCD102の読み出し画素数を1/2から1/1に増加させてもよい。フレームレートは最大に設定するが、その際、上述したトレードオフの関係から、読み出し画素数は、当該フレームレートの設定で必然的に低減せざるをえない。
In S2, control is performed to decrease the frame rate of the frame image output from the
S3では、AFE103から信号処理IC108へ出力されるフレーム画像のフレームレートを増加するよう制御し、かつ、CCD102の読み出し画素数を減少するよう制御する。例えば、30fpsから125fpsに増加させ、かつ、CCD102の読み出し画素数を1/1から1/4に減少させる。あるいは、フレームレートを60fpsから125fpsに増加させ、かつ、CCD102の読み出し画素数を1/1から1/2に減少させる。
In S <b> 3, control is performed to increase the frame rate of the frame image output from the
なお図2の処理S1〜S3は、撮影モードが解除されるまで繰り返される。 The processes S1 to S3 in FIG. 2 are repeated until the shooting mode is canceled.
これにより、顔が検出された場合は、撮像素子からの読み出しデータ量を優先することで、顔に対するピント合わせの確認が容易になる。また、顔が検出されない場合は、フレームレートを優先することで、スルー映像をなめらかに表示できる。 Thereby, when a face is detected, priority is given to the amount of data read from the image sensor, thereby facilitating confirmation of focusing on the face. Further, when a face is not detected, a through image can be displayed smoothly by giving priority to the frame rate.
特に、検出された顔領域に対し焦点が固定された場合(フォーカスロック)にS2に進むようにすると、顔にピントが合ったら画像の解像度が上がるようになり、ピント合わせの確認がさらに容易になる。また、フォーカスロックされない限りはS3を繰り返すようにすると、顔にピントが合わない限りフレームレートは減少せず、なめらかなスルー画像を表示できる。 In particular, when the focus is fixed to the detected face area (focus lock), if the process proceeds to S2, the resolution of the image increases when the face is in focus, making it easier to check the focus. Become. If S3 is repeated unless the focus is locked, the frame rate does not decrease unless the face is in focus, and a smooth through image can be displayed.
<第2実施形態>
図3は第2実施形態に係る読み出しデータ量/フレームレート制御処理のフローチャートである。
Second Embodiment
FIG. 3 is a flowchart of read data amount / frame rate control processing according to the second embodiment.
S11、S13、S14は、それぞれS1、S2、S3と同様である。 S11, S13, and S14 are the same as S1, S2, and S3, respectively.
S12では、時間的に隣接して出力されたフレーム間における検出顔領域の移動量Wが、ある所定の閾値Y(例えば、Y=5ピクセル)以下であるか否かを判断する(図4参照)。移動量W≦YならばS13、W>YならばS14に進む。なお、検出された顔が複数である場合、特定の顔領域(例えば最も画像中央に近い顔領域や、面積最大の顔領域や、ユーザがタッチパネルなどを介して任意に指定した顔領域)について移動量を判断する。 In S12, it is determined whether or not the amount of movement W of the detected face region between frames output adjacently in time is equal to or less than a predetermined threshold Y (for example, Y = 5 pixels) (see FIG. 4). ). If the movement amount W ≦ Y, the process proceeds to S13, and if W> Y, the process proceeds to S14. When there are a plurality of detected faces, the movement is made for a specific face area (for example, the face area closest to the center of the image, the face area having the largest area, or a face area arbitrarily designated by the user via the touch panel). Determine the amount.
これにより、画角内に人物が存在し(S11で“Y”)かつ当該人物が実質的に静止している場合(S12で“Y”)は、読み出しデータ量を上げ、人物を高解像度で表示でき、ピントの確認が行いやすくなる。また、人物が動いている場合(S12で“N”)、または画角内に人物がいない場合(S11で“N”)は、フレームレートを上げ、スルー映像をなめらかに表示できる。 As a result, when a person is present within the angle of view (“Y” in S11) and the person is substantially stationary (“Y” in S12), the amount of read data is increased and the person is increased in resolution. It can be displayed, making it easier to check the focus. Further, when the person is moving (“N” in S12) or when there is no person within the angle of view (“N” in S11), the frame rate can be increased and the through video can be displayed smoothly.
なお、第1実施形態と同様に、検出された顔領域に対し焦点が固定された場合(フォーカスロック)にS13に進むようにすると、顔にピントが合ったら当該顔の解像度が上がるようになり、ピント合わせの確認がさらに容易になる。また、フォーカスロックされない限りS14を実行するようにすると、顔にピントが合わない限りフレームレートは減少せず、なめらかなスルー画像を表示できる。 As in the first embodiment, when the focus is fixed to the detected face area (focus lock), if the process proceeds to S13, the resolution of the face increases when the face is in focus. This makes it easier to check the focus. If S14 is executed unless the focus is locked, the frame rate does not decrease unless the face is in focus, and a smooth through image can be displayed.
<第3実施形態>
図5は第3実施形態に係る読み出しデータ量/フレームレート制御処理のフローチャートである。この処理を実施する前提として、撮像素子には、CMOSのような画素ごとに画像信号読み出しの要否を制御できるものを採用する。
<Third Embodiment>
FIG. 5 is a flowchart of read data amount / frame rate control processing according to the third embodiment. As a premise for carrying out this processing, an image sensor that can control the necessity of image signal readout for each pixel, such as a CMOS, is employed.
S21は、S1と同様である。 S21 is the same as S1.
S22は、AFE103から信号処理IC108に出力されるフレーム画像のフレームレートを減少するよう制御する。かつ、検出された顔領域に対応する画像信号の読み出し画素数を増加させる。つまり、撮像素子から出力される、検出顔領域に対応する画像信号のAFE103における処理量を、1/2から1/1へ、あるいは1/4から1/1へ増やす。そして、検出顔領域に対応しない画像信号の処理量は、変化させない。フレームレートの減少分は、顔領域の処理量とトレードオフの関係にあるため、処理量を1/2から1/1へ減らした場合、60fpsかそれ以上の値にすることができる。
In step S22, control is performed so that the frame rate of the frame image output from the
S23は、AFE103から信号処理IC108へ出力されるフレーム画像のフレームレートを増加するよう制御する。かつ、検出された顔領域に対応する画像信号の読み出し画素数を減少させる。つまり、撮像素子から出力される、検出顔領域に対応する画像信号のAFE103における処理量を、1/1から1/2へ、あるいは1/1から1/4へ減らす。そして、検出顔領域に対応しない画像信号の処理量は、変化させない。
In step S23, the frame rate of the frame image output from the
これにより、顔検出に応じて顔部分の精細さを強調することができ、しかも顔部分のみ読み出し画素数を増やし、その他の部分の画素数は変えない、画素数の増加による処理負担が第1・2実施形態よりも軽く、その分フレームレートを減らさなくて済む。 As a result, the fineness of the face portion can be enhanced according to face detection, the number of read pixels is increased only in the face portion, the number of pixels in other portions is not changed, and the processing burden due to the increase in the number of pixels is the first. -It is lighter than the second embodiment, and it is not necessary to reduce the frame rate accordingly.
<第4実施形態>
図6は第4実施形態に係る読み出しデータ量/フレームレート制御処理のフローチャートである。
<Fourth embodiment>
FIG. 6 is a flowchart of read data amount / frame rate control processing according to the fourth embodiment.
S31、S32、S33、S34は、それぞれS11、S12、S22、S23と同様である。 S31, S32, S33, and S34 are the same as S11, S12, S22, and S23, respectively.
こうすると、第2実施形態と同様、画角内に人物がいてかつ静止している場合は人物を高解像度で表示でき、ピントの確認が行いやすくなる。また、人物が動いている場合、または画角内に人物がいない場合は、スルー映像をなめらかに表示できる。かつ、第3実施形態と同様、顔部分の精細さを強調することができ、かつ顔部分のみ読み出し画素数を増やし、その他の部分の画素数は変えないから、画素数の増加による処理負担が第1・2実施形態よりも軽く、その分フレームレートを減らさなくて済む。 In this way, as in the second embodiment, when a person is within the angle of view and is still, the person can be displayed at a high resolution, making it easier to check the focus. Further, when a person is moving or when there is no person within the angle of view, a through image can be displayed smoothly. In addition, as in the third embodiment, the fineness of the face portion can be emphasized, the number of readout pixels is increased only in the face portion, and the number of pixels in other portions is not changed. It is lighter than the first and second embodiments, and it is not necessary to reduce the frame rate accordingly.
<第5実施形態>
第1〜4実施形態において、CPU112は、画像データ読み出し量を増加したとき、検出された顔部分を拡大表示したり、あるいは枠などで囲って強調表示してもよい(図7参照)。こうすると、より顔に対するピント合わせの確認が行いやすくなる。なお、この強調表示は、顔領域の画素数だけが増加させられる第3または第4実施形態で特に好適に用いられる。
<Fifth Embodiment>
In the first to fourth embodiments, when the image data read amount is increased, the CPU 112 may display the detected face portion in an enlarged manner, or highlight it by surrounding it with a frame or the like (see FIG. 7). This makes it easier to check the focus on the face. This highlighting is particularly preferably used in the third or fourth embodiment in which only the number of pixels in the face area is increased.
<第6実施形態>
図8は第6実施形態に係る読み出しデータ量/フレームレート制御処理のフローチャートである。
<Sixth Embodiment>
FIG. 8 is a flowchart of read data amount / frame rate control processing according to the sixth embodiment.
S41では、CPU112は、輝度演算部55の被写体輝度算出領域として、例えば画像データIM中央部分の矩形領域Zを指定する(図9(a)参照)。輝度演算部55は、CPU112から指定された被写体輝度算出領域における被写体平均輝度をフレーム画像ごとに継続的に算出し、これをCPU112に出力する。CPU112は、輝度演算部55から継続的に出力される被写体平均輝度に基づき、隣接するフレーム間の被写体平均輝度の変化量Δを求める。これは例えば、前回求めた被写体平均輝度から今回求めた被写体平均輝度を減じた値の絶対値を算出するなどして求める。そして、この変化量Δが、所定の閾値TH(例えば2EV)以下であるか否かを判断する。Δ≦THの場合はS42、Δ>THの場合はS43に進む。
In S41, the CPU 112 designates, for example, the rectangular area Z in the center of the image data IM as the subject luminance calculation area of the luminance calculation unit 55 (see FIG. 9A). The
S42、S43は、それぞれS2、S3と同様である。 S42 and S43 are the same as S2 and S3, respectively.
つまり、図9(a)から図9(b)のように、人物被写体が被写体輝度算出領域内から外に移動するなどして、変化量Δが閾値THを超えた場合は、被写体の位置が変化しているものとして、フレームレートが増加する。よって、位置の変化している被写体の動きをスルー映像でなめらかに表示できる。 That is, as shown in FIG. 9A to FIG. 9B, when the change amount Δ exceeds the threshold value TH, for example, when the human subject moves out of the subject luminance calculation area, the subject position is changed. As it is changing, the frame rate increases. Therefore, the movement of the subject whose position is changing can be smoothly displayed as a through image.
変化量Δが閾値THを超えない場合は、被写体の位置が変化していないものとして、読み出しデータ量が増加する。よって、被写体を高解像度のスルー映像で表示でき、ピントの確認が行いやすい。 If the change amount Δ does not exceed the threshold value TH, the read data amount increases assuming that the position of the subject has not changed. Therefore, the subject can be displayed as a high-resolution through image, and it is easy to check the focus.
14:撮像レンズ、20:顔検出IC、55:輝度演算部、83:表示装置、102:CCD、103:AFE、108:信号処理IC 14: imaging lens, 20: face detection IC, 55: luminance calculation unit, 83: display device, 102: CCD, 103: AFE, 108: signal processing IC
Claims (7)
前記画像処理部から出力された画像データから、人物被写体像の顔領域を検出する顔検出部と、
前記顔検出部が前記顔領域を検出したか否かに応じ、前記画像データの出力レートと前記アナログ画像信号の読み出しデータ量とを相関的に制御する制御部と、
を備える撮像装置。 An imaging unit that receives a subject image through a photographing optical system and continuously outputs an analog image signal indicating the subject image, and continuously converts the analog image signal output from the imaging unit into digital image data. An image processing unit that outputs to the image processing unit, and a recording unit that records the image data output from the image processing unit,
A face detection unit for detecting a face area of a human subject image from image data output from the image processing unit;
A control unit that correlatively controls the output rate of the image data and the read data amount of the analog image signal according to whether or not the face detection unit has detected the face region;
An imaging apparatus comprising:
前記アナログ画像信号をデジタル画像データに変換して継続的に出力するステップと、
前記画像データから、人物被写体像の顔領域を検出するステップと、
前記顔領域を検出したか否かに応じ、前記画像データの出力レートと前記アナログ画像信号の読み出しデータ量とを相関的に制御するステップと、
を含む画像出力制御方法。 Receiving a subject image via a photographing optical system and continuously outputting an analog image signal indicating the subject image;
Converting the analog image signal into digital image data and continuously outputting the digital image data;
Detecting a face area of a human subject image from the image data;
Correlatively controlling the output rate of the image data and the read data amount of the analog image signal according to whether or not the face area is detected;
An image output control method including:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007169342A JP2009010616A (en) | 2007-06-27 | 2007-06-27 | Imaging device and image output control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007169342A JP2009010616A (en) | 2007-06-27 | 2007-06-27 | Imaging device and image output control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009010616A true JP2009010616A (en) | 2009-01-15 |
Family
ID=40325265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007169342A Pending JP2009010616A (en) | 2007-06-27 | 2007-06-27 | Imaging device and image output control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009010616A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012105254A (en) * | 2010-10-13 | 2012-05-31 | Panasonic Corp | Imaging device |
JP5523343B2 (en) * | 2008-12-05 | 2014-06-18 | パナソニック株式会社 | Face detection device |
JP2014222801A (en) * | 2013-05-13 | 2014-11-27 | ソニー株式会社 | Imaging apparatus, imaging method and program |
JP2018033192A (en) * | 2017-12-05 | 2018-03-01 | 株式会社ニコン | Image pickup device |
JP2018137762A (en) * | 2018-03-06 | 2018-08-30 | 株式会社ニコン | Electronic apparatus |
WO2020080139A1 (en) * | 2018-10-19 | 2020-04-23 | ソニー株式会社 | Sensor device and parameter setting method |
JP2020068008A (en) * | 2018-10-19 | 2020-04-30 | ソニー株式会社 | Sensor device and parameter setting method |
JP2020074596A (en) * | 2020-01-23 | 2020-05-14 | 株式会社ニコン | Image pickup device |
JP2020174352A (en) * | 2020-06-08 | 2020-10-22 | 株式会社ニコン | Electronic apparatus |
JP2021043914A (en) * | 2019-09-13 | 2021-03-18 | 富士通株式会社 | Image processor, image processing method, and image processing program |
-
2007
- 2007-06-27 JP JP2007169342A patent/JP2009010616A/en active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5523343B2 (en) * | 2008-12-05 | 2014-06-18 | パナソニック株式会社 | Face detection device |
JP2012105254A (en) * | 2010-10-13 | 2012-05-31 | Panasonic Corp | Imaging device |
JP2014222801A (en) * | 2013-05-13 | 2014-11-27 | ソニー株式会社 | Imaging apparatus, imaging method and program |
US10091421B2 (en) | 2013-05-13 | 2018-10-02 | Sony Corporation | Imaging apparatus, imaging method, and program |
JP2018033192A (en) * | 2017-12-05 | 2018-03-01 | 株式会社ニコン | Image pickup device |
JP2018137762A (en) * | 2018-03-06 | 2018-08-30 | 株式会社ニコン | Electronic apparatus |
WO2020080139A1 (en) * | 2018-10-19 | 2020-04-23 | ソニー株式会社 | Sensor device and parameter setting method |
JP2020068008A (en) * | 2018-10-19 | 2020-04-30 | ソニー株式会社 | Sensor device and parameter setting method |
CN112970243A (en) * | 2018-10-19 | 2021-06-15 | 索尼集团公司 | Sensor device and parameter setting method |
CN112970243B (en) * | 2018-10-19 | 2023-09-05 | 索尼集团公司 | Sensor device and parameter setting method |
JP2021043914A (en) * | 2019-09-13 | 2021-03-18 | 富士通株式会社 | Image processor, image processing method, and image processing program |
JP2020074596A (en) * | 2020-01-23 | 2020-05-14 | 株式会社ニコン | Image pickup device |
JP2020174352A (en) * | 2020-06-08 | 2020-10-22 | 株式会社ニコン | Electronic apparatus |
JP7028279B2 (en) | 2020-06-08 | 2022-03-02 | 株式会社ニコン | Electronics |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8395694B2 (en) | Apparatus and method for blurring image background in digital image processing device | |
JP2009010616A (en) | Imaging device and image output control method | |
US20140168463A1 (en) | Image-processing device and imaging apparatus | |
US20090167928A1 (en) | Image processing apparatus and photographing apparatus | |
JP2010213213A (en) | Imaging device and imaging method | |
JP2009194700A (en) | Image processor and image processing program | |
JP5343588B2 (en) | Imaging device | |
US8319864B2 (en) | Imaging apparatus and imaging method | |
JP2008139683A (en) | Imaging apparatus and autofocus control method | |
US20150358552A1 (en) | Image combining apparatus, image combining system, and image combining method | |
EP2161938B1 (en) | Imaging apparatus, imaging method and computer readable recording medium storing programs for executing the imaging method | |
JP4586707B2 (en) | Image processing apparatus, electronic camera, and image processing program | |
JP2007199311A (en) | Image display device and imaging apparatus | |
JP5146015B2 (en) | Imaging apparatus and imaging method | |
JP5048599B2 (en) | Imaging device | |
JP2006287814A (en) | Imaging apparatus and method of determining motion vector | |
US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
JP5569361B2 (en) | Imaging apparatus and white balance control method | |
JP4934617B2 (en) | Imaging apparatus and imaging method | |
JP2008172395A (en) | Imaging apparatus and image processing apparatus, method, and program | |
JP5673137B2 (en) | Imaging apparatus and imaging method | |
JP5310331B2 (en) | Imaging apparatus and imaging method | |
JP2019080261A (en) | Imaging apparatus | |
JP4871664B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2022083147A (en) | Imaging apparatus, imaging method, program, and recording medium |