JP2014062926A - Autofocus system - Google Patents
Autofocus system Download PDFInfo
- Publication number
- JP2014062926A JP2014062926A JP2011008332A JP2011008332A JP2014062926A JP 2014062926 A JP2014062926 A JP 2014062926A JP 2011008332 A JP2011008332 A JP 2011008332A JP 2011008332 A JP2011008332 A JP 2011008332A JP 2014062926 A JP2014062926 A JP 2014062926A
- Authority
- JP
- Japan
- Prior art keywords
- area
- autofocus
- face
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
Abstract
Description
本発明は、オートフォーカスシステムに関する。 The present invention relates to an autofocus system.
カメラのフォーカスを自動的に合わせるオートフォーカス(AF)システムが提案されている。このようなオートフォーカスシステムでは、例えば、オートフォーカスの対象範囲とするオートフォーカス領域における被写体のコントラストの高低を示す焦点評価値を算出することによって行う。 An autofocus (AF) system that automatically adjusts the focus of a camera has been proposed. In such an autofocus system, for example, a focus evaluation value indicating the level of contrast of a subject in an autofocus area that is an autofocus target range is calculated.
従来、このオートフォーカス領域としては、人物の顔のうち、眉毛、目、鼻、口等の構成部品を含むが、頭髪(頭髪領域)は含まない顔領域が用いられていた。 Conventionally, as the autofocus area, a face area that includes component parts such as eyebrows, eyes, nose, and mouth, but does not include hair (head area), has been used.
特許文献1では、人物の顔(顔領域)を見失った場合に、その人物の胴体があると予測される領域を用いて、オートフォーカス処理を行うことが開示されている。 Japanese Patent Application Laid-Open No. 2004-151858 discloses that when a person's face (face area) is lost, an autofocus process is performed using an area where the person's torso is predicted to exist.
また、特許文献2では、人物の顔領域の検出を行った後、この人物の領域に隣接する頭髪領域の情報のみを用いて追従処理を行うことが開示されている。 Japanese Patent Application Laid-Open No. 2004-228561 discloses that after detecting a human face area, a follow-up process is performed using only information on a hair area adjacent to the human area.
上述のように、オートフォーカス領域としては、頭髪領域を含まない顔領域が用いられる。しかし、眉毛、目、鼻及び口等の構成部品は、人物の顔のうち、肌色の領域の一部にしか相当しない。これは、コントラスト方式のオートフォーカスにおいては、高周波成分が不足し、人物の顔に対するオートフォーカスの精度を低下させる要因となっていた。 As described above, a face area that does not include a hair area is used as the autofocus area. However, components such as eyebrows, eyes, nose, and mouth correspond to only a part of the skin-colored region of the human face. This is because high-frequency components are insufficient in contrast-type autofocus, which causes a reduction in the accuracy of autofocus on a human face.
上述の特許文献1では、オートフォーカス処理では、人物の顔の代わりに胴体をオートフォーカス領域としている。また、特許文献2においても、単に頭髪領域だけで追従処理を行っているだけである。いずれの特許文献1及び2においても、人物の顔が検出できなくなってしまっている場合を想定しており、人物の顔そのものに対するオートフォーカスの精度を改善するものではない。 In the above-described Patent Document 1, in the autofocus process, the body is used as an autofocus area instead of a human face. Also in Patent Document 2, the follow-up process is simply performed only in the hair region. In any of Patent Documents 1 and 2, it is assumed that a person's face cannot be detected, and the accuracy of autofocus for the person's face itself is not improved.
本発明は、このような事情に鑑みてなされたもので、顔領域だけでなく頭髪領域もオートフォーカス領域にすることによって、被写体のオートフォーカス精度を向上させることを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to improve the autofocus accuracy of a subject by making not only the face area but also the hair area into an autofocus area.
光学系により結像された被写体像を撮像する撮像部と、前記撮像部により撮像された撮影画像から、人物の頭髪領域を除く顔領域を検出する顔領域検出部と、前記顔領域検出部によって検出された顔領域を、第1のオートフォーカス領域として設定する第1のAF領域設定部と、前記第1のAF領域設定部によって設定された前記第1のオートフォーカス領域を前記顔領域に隣接する頭髪領域が含まれるように拡大し、前記第1のオートフォーカス領域と前記頭髪領域を含む拡大領域を、第2のオートフォーカス領域として設定する第2のAF領域設定部と、前記第2のAF枠設定部によって設定された第2のオートフォーカス領域の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス部と、を備えるオートフォーカスシステム。 An imaging unit that captures a subject image formed by an optical system, a face region detection unit that detects a face region excluding a human hair region from a captured image captured by the imaging unit, and the face region detection unit A first AF area setting unit that sets the detected face area as a first autofocus area, and the first autofocus area set by the first AF area setting unit is adjacent to the face area A second AF area setting unit configured to set the first autofocus area and the enlarged area including the hair area as a second autofocus area; An auto focus unit that adjusts the focus of the optical system so that the subject in the second auto focus area set by the AF frame setting unit is in focus. Over dregs system.
本発明によれば、顔領域だけでなく頭髪領域もオートフォーカス領域にすることによって、被写体のオートフォーカス精度を向上させることができる。 According to the present invention, by setting not only the face area but also the hair area as the autofocus area, the autofocus accuracy of the subject can be improved.
以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。 Hereinafter, an autofocus system according to the present invention will be described in detail with reference to the accompanying drawings.
図1は、本発明の実施の形態のオートフォーカスシステムを説明するためのビデオカメラシステムの全体構成を示すブロック図である。同図に示すビデオカメラシステム1には、放送用又は業務用で使用されるテレビカメラ10と、AF枠自動追尾装置を構成する画像処理ユニット18及びAF枠操作部20とから構成されており、テレビカメラ10で映される被写体の追尾機能を更に備える。
FIG. 1 is a block diagram showing an overall configuration of a video camera system for explaining an autofocus system according to an embodiment of the present invention. The video camera system 1 shown in FIG. 1 includes a
テレビカメラ10は、ハイビジョンテレビ[HD(High Definition)TV]方式に対応したHDカメラからなるカメラ本体14と、カメラ本体14のレンズマウントに装着される撮影レンズ(光学系)を備えたレンズ装置12を含んで構成される。
The
カメラ本体14には、撮像素子(例えばCCD撮像素子)や所要の信号処理回路等が搭載されており、レンズ装置12の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてHDTV方式の映像信号(HDTV信号)として、カメラ本体14の映像信号出力端子等から外部に出力される。
The
また、カメラ本体14には、ビューファインダ16が設置されており、そのビューファインダ16にテレビカメラ10の撮影映像が表示されるようになっている。また、ビューファインダ16には、撮影映像以外の各種情報が表示されるようになっており、例えば、現在の設定されているオートフォーカス領域の輪郭であるAF枠を示す画像(枠画像)が撮影映像に重畳されて表示されるようになっている。
In addition, a
レンズ装置12は、カメラ本体14のレンズマウントに装着される撮影レンズ(ズームレンズ)を備えており、その撮影レンズにより、被写体28がカメラ本体14の撮像素子の撮像面に結像されるようになっている。撮影レンズには、図示を省略するが、その構成要素としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ(サーボ機構)によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス(被写体距離)調整が行われ、またズームレンズ群が移動することによって焦点距離(ズーム倍率)調整が行われる。
The
なお、オートフォーカス調整に関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。 In the system related to autofocus adjustment, it is sufficient that at least the focus lens group can be driven electrically, and other movable parts may be driven only manually.
また、レンズ装置12には、AFユニット40及び図示しないレンズCPU等が搭載されている。レンズCPUはレンズ装置12全体を統括制御するものである。また、AFユニット40は、オートフォーカス調整によるフォーカス制御(自動ピント調整)を行うために必要な情報を取得するための処理部であり、図示を省略するが、AF処理部、AF用撮像回路等から構成されている。
The
AF用撮像回路はAF処理用の映像信号を取得するためにレンズ装置12に配置されており、CCD撮像素子等の撮像素子(AF用撮像素子という)やAF用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。なお、AF用撮像回路から出力される映像信号は輝度信号である。
The AF imaging circuit is arranged in the
AF用撮像素子の撮像面には、撮影レンズの光路上に配置されたハーフミラー等によってカメラ本体14の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。AF用撮像素子の撮像領域及び被写体距離(ピントが合う被写体の距離)は、カメラ本体14の撮像素子の撮像領域及び被写体距離に一致するように構成されており、AF用撮像素子により取り込まれる被写体画像は、カメラ本体14の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、AF用撮像素子の撮影範囲の方がカメラ本体14の撮像素子の撮影範囲を包含する大きな範囲であってもよい。
On the imaging surface of the AF imaging element, subject light branched from subject light incident on the imaging element of the
AF処理部は、AF用撮像回路から映像信号を取得し、その映像信号に基づいてオートフォーカス領域の被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、AF用撮像素子から得られた映像信号から高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうち後述のようにして設定されるオートフォーカス領域の画像の信号を1画面(1フレーム)分ずつ積算する。このようにして1画面分ごとに得られる積算値はオートフォーカス領域の画像のコントラストの高低を示し、その積算値が焦点評価値としてレンズCPUに与えられる。 The AF processing unit obtains a video signal from the AF imaging circuit, and calculates a focus evaluation value indicating the level of contrast of the subject image in the autofocus area based on the video signal. For example, after extracting a high-frequency component signal from a video signal obtained from an AF image sensor using a high-pass filter, an image of an auto-focus area set as described below is included in the high-frequency component signal. The signal is integrated by one screen (one frame). The integrated value obtained for each screen in this way indicates the level of contrast of the image in the autofocus area, and the integrated value is given to the lens CPU as a focus evaluation value.
レンズCPUは、オートフォーカス領域の輪郭情報(位置、大きさ、形状等)を示すAF枠の情報(AF枠情報)を、後述するように画像処理ユニット18から取得し、そのAF枠情報により指定されたオートフォーカス領域をAF処理の対象範囲に指定する。そして、そのオートフォーカス領域の画像(映像信号)により求められる焦点評価値をAF処理部から取得する。
The lens CPU acquires AF frame information (AF frame information) indicating outline information (position, size, shape, etc.) of the autofocus area from the
このようにしてAF用撮像回路から1画面分の映像信号が取得されるごとに(AF処理部で焦点評価値が求められるごとに)AF処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大(極大)、即ち、オートフォーカス領域内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、オートフォーカス領域内の被写体に自動でピントが合わせられる。 In this way, every time a video signal for one screen is acquired from the AF imaging circuit (each time the focus evaluation value is obtained by the AF processing unit), the focus evaluation value is acquired from the AF processing unit, and the acquired focus is obtained. The focus lens group is controlled so that the evaluation value is maximized (maximum), that is, the contrast of the subject image in the autofocus area is maximized. For example, a hill-climbing method is generally known as a control method for a focus lens group based on a focus evaluation value, and the focus evaluation value starts to decrease by moving the focus lens group in a direction in which the focus evaluation value increases. Is detected, the focus lens group is set at that position. Thus, the subject in the autofocus area is automatically focused.
なお、上述のAF処理部は、焦点評価値を算出するために、レンズ装置12に搭載されたAF用撮像素子から映像信号を取得しているが、カメラ本体14の撮像素子より撮影された映像の映像信号をカメラ本体14から取得するような構成としてもよい。またオートフォーカス領域内の被写体に自動でピントを合わせるためのAF手段はどのようなものであってもよい。
Note that the above-described AF processing unit obtains a video signal from the AF image sensor mounted on the
次に、本発明の実施の形態のオートフォーカスシステムにおけるオートフォーカス領域について説明する。図2は、本発明の実施の形態のオートフォーカスシステムにおけるオートフォーカス領域の一例を示す図である。 Next, an autofocus area in the autofocus system according to the embodiment of the present invention will be described. FIG. 2 is a diagram illustrating an example of an autofocus area in the autofocus system according to the embodiment of the present invention.
図2に示すように、オートフォーカス領域200は、カメラ本体14における撮像素子の撮像領域202(又は撮影範囲)に対して四角形状の領域として設定され、その輪郭がAF枠204として示されている。本発明の実施の形態のオートフォーカスシステムにおいては、撮像素子のオートフォーカス領域200(AF枠204内の領域)で撮影される被写体にピントが合わされる。
As shown in FIG. 2, the
なお、本明細書では、撮像領域202に対するオートフォーカス領域200は、オートフォーカス領域200(AF枠204)の位置、大きさ、及び、形状(縦横比)の3つの要素によって決まるものとし、AF枠204の位置、大きさ、及び、形状の3つの要素のうち、少なくとも1つの要素が変更された場合にはオートフォーカス領域200が変更されたものとする。
In this specification, the
また、レンズ装置12は、ケーブルを介して、又は、直接的にカメラ本体14と接続され、レンズ装置12とカメラ本体14の各々に設けられたシリアル通信インターフェース(SCI)12a、14aを通じて各種情報のやり取りが行えるようになっている。これによりAFユニット40において現在設定されているAF枠の情報もカメラ本体14に送信され、カメラ本体14内での処理によってビューファインダ16に表示される撮影映像に現在設定されているAF枠の位置、大きさ、形状に対応したAF枠の画像が重畳表示されるようになっている。
The
画像処理ユニット18は、レンズ装置12のAFユニット40において設定されるオートフォーカス領域(AF枠の位置、大きさ、形状(縦横比))を後述のマニュアル操作又は自動追尾の処理により指定するための処理部である。画像処理ユニット18は、例えば、図示しない筐体内に納められて、レンズ装置12の撮影レンズの鏡胴側部やカメラ本体14の筐体外壁面等に設置される。なお、画像処理ユニット18をレンズ装置12やカメラ本体14に設置する位置はこれに限らず他の任意の位置に設置するようにしてもよく、また、レンズ装置12やカメラ本体14以外の部分に配置するようにしてもよい。
The
画像処理ユニット18は、SCI58を備えており、そのSCI58は、レンズ装置12に接続され、SCI12aを通じてレンズCPUとの間で各種信号のやり取りが行えるようになっている。これにより、オートフォーカス領域200を指定するAF枠情報が画像処理ユニット18からレンズ装置12のレンズCPUに与えられ、そのAF枠情報に基づいてAFユニット40におけるオートフォーカス領域200が設定される。
The
また、画像処理ユニット18には映像信号を取り込むための映像入力コネクタが設けられており、その映像入力コネクタにカメラ本体14の映像出力コネクタがダウンコンバータ46を介してケーブルで接続される。これによって、カメラ本体14の映像出力コネクタから出力されたHDTV信号が、ダウンコンバータ46によって、標準テレビ[NTSC(National Television System Committee)]方式の映像信号(SDTV信号)に変換(ダウンコンバート)されて、画像処理ユニット18に入力されるようになっている。
The
詳細は後述するが画像処理ユニット18は、自動追尾処理を実行する際に、カメラ本体14から入力された映像信号から1コマ分の撮影画像を順次取り込み、撮影画像の中から所定の追尾対象の被写体を検出する処理を行う。そして、AFによりその被写体にピントが合わせられるようにオートフォーカス領域200を決定し、決定したオートフォーカス領域200の情報をレンズ装置12のレンズCPUに送信する。なお、画像処理ユニット18の構成及び処理内容については後述する。
Although details will be described later, when executing the automatic tracking process, the
AF枠操作部20は、画像処理ユニット18と一体の装置として設けられ、後述するタッチパネル付き液晶ディスプレイ(LCD)66が、画像処理ユニット18から取り外し可能に構成されている。なお、AF枠操作部20の一部又は全てが、画像処理ユニット18とは別体の装置として構成され、画像処理ユニット18とケーブル等で接続される態様であってもよい。
The AF
AF枠操作部20は、主にAF枠の制御に関する操作を行うための操作部であり、オートフォーカス領域200を操作者がマニュアル操作で指示入力するための操作部材や、所望の被写体を自動で追尾する自動追尾に関する操作を行うための操作部材を備えている。
The AF
詳細は省略するが、AF枠操作部20は、オートフォーカス領域の位置(AF枠の位置)をユーザの手動操作により上下左右に移動させるための位置操作部材60(例えば、ジョイスティックやトラックボール)、オートフォーカス領域の大きさ(AF枠の大きさ)を手動操作により変更するためのサイズ操作部材62(例えば、ツマミ)、オートフォーカス領域の形状(AF枠の形状)を手動操作により変更するための形状操作部材64(例えば、ツマミ)、自動追尾の開始を指示する追尾開始スイッチ68、自動追尾の停止を指示する追尾停止スイッチ70を含んでおり、これらの操作部材60、62、64、68、70の設定状態が、画像処理ユニット18におけるメインボード30のCPU38により読み取られるようになっている。
Although details are omitted, the AF
また、AF枠操作部20には、タッチパネル付き液晶ディスプレイ(以下、LCDという。)66が設けられている。LCD66は、自動追尾に関するモード等の設定をタッチ操作(タップ操作)で入力できるようにしたもので、画像処理ユニット18のCPU38によりLCD66に表示される画像が設定内容に応じて適宜切り換えられるようになっている。
The AF
なお、本実施の形態では、後述する自動追尾モードによる自動追尾のみが行われる場合には、AF枠操作部20の各操作部材60、62、64、68、70の一部又は全てが設けられていなくてもよい。また、LCD66も必ずしも設けられていなくてもよい。後述する自動追尾モードによれば、これらの操作部材60、62、64、68、70や、LCD66の操作を必要とすることなく、自動追尾が可能であり、ハンディカメラのようなAF枠操作装置の設置がスペース上困難な小型のカメラに好ましく適用することができる。もし、スペース的に問題なく、操作性にも影響を与えなければ各操作部材60、62、64、68、70の一部又は全て、或いはLCD66を適宜設けて、AF枠の位置をマニュアルで変更できるようにしてもよい。
In the present embodiment, when only automatic tracking in the automatic tracking mode described later is performed, some or all of the
次に画像処理ユニット18の構成及び処理内容について説明する。
Next, the configuration and processing contents of the
画像処理ユニット18は、メインボード30、パターンマッチング処理演算ボード32、顔認識処理演算ボード34を含んで構成される。メインボード30、パターンマッチング処理演算ボード32、顔認識処理演算ボード34の各々にはCPU38、50、52が搭載されており、各ボード毎に個別の演算処理が行われると共に、各CPU38、50、52は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。
The
画像処理ユニット18における処理は、メインボード30において統括的に行われるようになっている。そのメインボード30には、演算処理を行う上記CPU38の他に、SCI58、デコーダ(A/D変換器)36、スーパーインポーザ42、RAM39等が搭載されている。
The processing in the
SCI58は、上述のようにレンズ装置12のSCI12aとの間でシリアル通信を行うためのインターフェース回路であり、上記AF枠情報等をレンズ装置12に送信する。
The
デコーダ36は、上記ダウンコンバータ46から画像処理ユニット18に入力されるテレビカメラ10の撮影映像の映像信号(SDTV信号)を、画像処理ユニット18においてデジタル処理可能なデータに変換するための回路であり、アナログのSDTV信号をデジタルデータの映像信号に変換するA/D変換処理等を行っている。このデコーダ36から出力される撮影映像の映像信号は、パターンマッチング処理演算ボード32や顔認識処理演算ボード34にも送られ、パターンマッチング処理演算ボード32や顔認識処理演算ボード34においてもテレビカメラ10の撮影映像を1コマ単位の撮影画像として取得することができるようになっている。
The
なお、画像処理ユニット18は、CPU38により書込み・読出し可能なメモリ等も備えており、処理データの記憶などに適宜使用される。また、このメモリには、後述する自動追尾モードにおけるAF枠設定処理(図4のステップS10)において設定されるオートフォーカス領域の位置、大きさ、形状に関する情報が記憶されている。このオートフォーカス領域の位置、大きさ、形状に関する設定情報は、操作者(カメラマン)の好みに応じてAF枠操作部20の所定操作により変更可能であることが好ましい。
The
スーパーインポーザ42は、上記のデコーダ36により得られた撮影映像の映像信号と、CPU38により生成される画像信号とを合成し、その合成した映像信号をLCD66に出力・表示する回路である。これにより、カメラ本体14に設置されているビューファインダ16と同様にテレビカメラ10の撮影映像がLCD66に表示されると共に、その撮影映像に重ねて、現在設定されているオートフォーカス領域の画像や、タッチパネルでの入力操作を行えるようにしたメニュー画面(メニュー画像)等がLCD66に表示される。なお、撮影映像に重畳させることなくCPU38で生成された画像のみを表示させることも当然可能である。
The
RAM39は、CPU38の演算処理において使用するデータを一時的に格納するメモリである。
The
パターンマッチング処理演算ボード32や顔認識処理演算ボード34は、パターンマッチングと顔検出・認証処理を個別に行うための演算ボードであり、各々、演算処理を行うCPU50、52の他に画像データを一時的に格納するVRAM54、56等を備えている。
The pattern matching
また、画像処理ユニット18には、SD(Secure Digital)カードやUSBメモリなどの外部メモリとして顔認証データカード74を装填するスロット(不図示)が設けられており、顔認識により特定の人物の顔を検出する際に、その特定の人物の顔を示す認証データを予め顔認証データカード74に保存しておき、その顔認証データカード74をスロットに装填することで、顔認識に必要な認証データを顔認証データカード74からCPU38が読み込めるようになっている。
In addition, the
続いて、上記のごとく構成された画像処理ユニット18によるオートフォーカス領域の制御についてLCD66の表示及び操作に関する処理と共に説明する。
Subsequently, control of the autofocus area by the
図3は、本発明の実施の形態のオートフォーカスシステムにおけるタッチパネル付き液晶ディスプレイに表示される画面の一例を示す図である。 FIG. 3 is a diagram showing an example of a screen displayed on the liquid crystal display with a touch panel in the autofocus system according to the embodiment of the present invention.
図3に示すようにLCD66の画面66aには、テレビカメラ10の撮影映像に重畳して各種ボタン300〜312からなるメニュー画面(メニュー画像)と、現在設定されているオートフォーカス領域200(図2参照)を示すAF枠204が表示される。メニュー画面の各種ボタン300〜312やAF枠204のように撮影映像に重畳される画像は、図1に示した画像処理ユニット18におけるメインボード30のCPU38により生成され、それらの画像が、スーパーインポーザ42においてデコーダ36から出力されるテレビカメラ10の撮影映像に重畳されてLCD66に表示されるようになっている。なお、LCD66の表示(表示内容)に関する制御はCPU38により行われるものである。
As shown in FIG. 3, on the
一方、LCD66はタッチパネルを備えており、LCD66の画面66aに対して指先等が触れるタッチ操作が行われると、触れた位置(座標)を示す位置情報がCPU38に与えられるようになっている。これにより、LCD66の画面66aに対して行われたタッチ操作の位置や操作の種類(タップ操作、ダブルタップ操作等)がCPU38により検出されるようになっている。そして、その操作に従った処理がCPU38により実行されるようになっている。
On the other hand, the
LCD66の画面66aにおける基本的な操作として、各ボタン300〜312に予め割り当てられた指示を入力する操作や、オートフォーカス領域(AF枠204によって囲まれた領域)を指定する操作があり、前者の操作は、各ボタン300〜312の位置を指先等でタップ操作するものである。後者のオートフォーカス領域を指定する操作は、例えば、撮影映像が表示されたLCD66の画面66a上において、オートフォーカス領域を移動させたい位置をタップ操作すれば、その位置が中心となるようにオートフォーカス領域を移動させることができる。また、オートフォーカス領域200を囲うAF枠204の頂点や辺を指先等でタッチしてそのままスライドするドラッグ操作によってドラッグ操作した位置までタッチした頂点や辺の位置を移動させてオートフォーカス領域の大きさや形状を変更することができる。
As basic operations on the
なお、オートフォーカス領域の位置、大きさ、形状は、AF枠操作部20の位置操作部材60、サイズ操作部材62、形状操作部材64の操作でも変更可能である。
The position, size, and shape of the autofocus area can be changed by operating the
LCD66の画面66aに表示されるメニュー画面(メニュー画像)について説明すると、図3において、”固定”と表示された固定モード選択ボタン300、”物体追尾”と表示された物体追尾モード選択ボタン302、”顔検出”と表示された顔検出追尾モード選択ボタン304、”顔認識”と表示された顔認識追尾モード選択ボタン306、”全自動追尾”と表示された全自動追尾モード選択ボタン308は、オートフォーカスの制御モードを選択するボタンであり、これらのボタン300〜308のいずれかをタップ操作することで、固定モード、物体追尾モード、顔検出追尾モード、顔認識追尾モード、全自動追尾モードのうちから所望のモードを選択することできるようになっている。
The menu screen (menu image) displayed on the
固定モードは、オートフォーカス領域(位置、大きさ、形状)を操作者がマニュアル操作で指定し、その指定した位置にAF枠を表示して、オートフォーカス領域を固定するモード(マニュアルモード)である。この固定モードは、カメラをほとんど動かさないニュース番組などでの撮影に有益なモードである。 The fixed mode is a mode (manual mode) in which an operator designates an autofocus area (position, size, shape) by manual operation, displays an AF frame at the designated position, and fixes the autofocus area. . This fixed mode is a mode that is useful for shooting news programs that hardly move the camera.
図3のLCD66の画面66aにおいて固定モード選択ボタン300をタップ操作すると固定モードが選択され、画像処理ユニット18のメインボード30に搭載されたCPU38は、固定モードの処理を実行する。
When the fixed
即ち、CPU38は、上記のようにLCD66の画面66aに対するオートフォーカス領域を変更する操作や、AF枠操作部20に設けられたAF枠204をマニュアル操作で変更するための操作部材(位置操作部材60、サイズ操作部材62、形状操作部材64)の操作に基づいてオートフォーカス領域を決定する。CPU38は、オートフォーカス領域を決定すると、そのオートフォーカス領域の情報を示すAF枠情報をSCI58を通じてレンズ装置12のレンズCPUに送信する。
That is, the
自動追尾モードは、オートフォーカス領域内の所定の被写体を追尾対象とし、新たな撮影画像における当該追尾対象の存在領域を新たなオートフォーカス領域として決定する処理を行うモードである。自動追尾モードは、「物体追尾モード」、「顔検出追尾モード」、「顔認識追尾モード」、「全自動追尾モード」を含む、複数のモードを有している。 The automatic tracking mode is a mode in which a predetermined subject in the autofocus area is set as a tracking target, and a region where the tracking target exists in a new captured image is determined as a new autofocus area. The automatic tracking mode has a plurality of modes including “object tracking mode”, “face detection tracking mode”, “face recognition tracking mode”, and “full automatic tracking mode”.
物体追尾モードは、任意の物体を追尾させるモードである。この追尾対象とされた物体の少なくとも一部がAF枠で囲われて表示されている。この物体追尾モードは、人物の顔以外を追尾する競馬中継、カ−レース中継などでの撮影に有益なモードである。このモードでは、撮影映像に対して操作者が追尾対象としたい任意の物体の画像を含むようにオートフォーカス領域を指定すると、AF枠に囲われたオートフォーカス領域内の物体が追尾対象として設定される。そして、その追尾対象の画像が基準パターンとして登録され、パターンマッチング処理演算ボード32のCPU50において、順次得られる撮影画像に対して、基準パターンに一致する画像範囲を検出するためのパターンマッチング処理が行われる。メインボード30のCPU38は、その基準パターンが検出された範囲を新たなオートフォーカス領域として決定し、このオートフォーカス領域の情報をレンズ装置12のレンズCPUに送信する。なお、物体の自動追尾を開始する際にレンズ装置12においてAFによるフォーカス制御が行われていない場合(AFモードとなっていない場合)には、物体の自動追尾の開始と連動してAFの開始も指示される。
The object tracking mode is a mode for tracking an arbitrary object. At least a part of the object to be tracked is displayed surrounded by an AF frame. This object tracking mode is a mode useful for photographing at a horse race relay, a car race relay, etc. for tracking other than a person's face. In this mode, if the autofocus area is specified so that the operator includes an image of an arbitrary object that is desired to be tracked in the captured video, the object in the autofocus area surrounded by the AF frame is set as the tracking target. The Then, the image to be tracked is registered as a reference pattern, and the
顔検出追尾モードは、任意の人物の顔をAF枠で追尾させるモードである。この追尾対象とされた人物の顔領域と頭髪領域で構成される拡大領域がオートフォーカス領域としてAF枠で囲われて表示されている。この顔検出追尾モードは、人物の顔を検出して追尾する歌謡番組などでの撮影に有益なモードである。このモードでは、まず、顔認識処理演算ボード34のCPU52において撮影画像の中から任意の人物の顔画像を検出するため、人物の顔の構成部品である眉毛、目、鼻及び口などを含み、頭髪を含まない顔領域の検出を行うことによって、顔検出処理が行われる。そして、検出された顔領域に対応する顔画像の中から追尾対象とする顔画像を操作者が指定すると、その指定された顔画像が追尾対象として設定される。以後、順次得られる撮影画像に対して顔認識処理演算ボード34のCPU52により顔検出処理が行われると共に、検出された顔領域に対応する顔画像の中から追尾対象の顔画像を特定する処理がメインボード30のCPU38により行われる。
The face detection tracking mode is a mode for tracking the face of an arbitrary person using the AF frame. An enlarged area composed of the face area and the hair area of the person to be tracked is displayed as an autofocus area surrounded by an AF frame. This face detection tracking mode is a mode useful for shooting in a song program or the like that detects and tracks a person's face. In this mode, first, the
更に、メインボード30のCPU38は、顔検出処理によって検出された顔領域に、後述するように、この顔領域に隣接する頭髪領域を加え拡大領域とし、この拡大領域をオートフォーカス領域として決定し、オートフォーカス領域の情報をレンズ装置12のレンズCPUに送信する。
Further, the
顔認識追尾モードは、事前に認証データとして登録した人物の顔を追尾させるモードである。この追尾対象とされた人物の顔領域と頭髪領域で構成される拡大領域がオートフォーカス領域としてAF枠で囲われて表示されている。この顔認識追尾モードは、撮影する人物が事前に決まっている歌謡番組やスポーツ中継などでの撮影に有益なモードである。このモードでは、図1に示したスロット(不図示)に装填された顔認証データカード74から追尾対象とする人物の顔の認証データが取り込まれる。そして、顔検出追尾モードと同様に顔認識処理演算ボード34のCPU52において顔検出処理が行われると共に、検出された顔画像の中から追尾対象の顔画像が認証データを用いた周知の顔認証処理により検出される。メインボード30のCPU38は、顔認証処理によって検出された顔画像に対応する顔領域と、この顔領域に隣接する頭髪領域を加え拡大領域とし、この拡大領域をオートフォーカス領域として決定し、オートフォーカス領域の情報をレンズ装置12のレンズCPUに送信する。
The face recognition tracking mode is a mode for tracking a person's face registered in advance as authentication data. An enlarged area composed of the face area and the hair area of the person to be tracked is displayed as an autofocus area surrounded by an AF frame. This face recognition tracking mode is a mode useful for shooting in a song program or a sports broadcast in which a person to be shot is determined in advance. In this mode, the face authentication data of the person to be tracked is fetched from the face
全自動追尾モードは、上述した顔検出追尾モードと同様に、顔認識処理演算ボード34のCPU52において撮影画像の中から任意の人物の顔画像を検出するための周知の顔検出処理が行われる。そして、検出された顔画像の中に人物の顔画像が含まれる場合には、操作者が指定することなく、その顔画像が追尾対象として自動的に設定される。その際、撮影画像の中に複数の顔画像が含まれる場合には、顔の大きさや位置に応じて追尾対象とする顔画像が決定される。一方、撮影画像の中に人物の顔画像が含まれない場合には、上述した物体追尾モードによる自動追尾が実行される。
In the fully automatic tracking mode, as in the face detection tracking mode described above, the
なお、図3において、”セット”と表示されたセットボタン310と、”リセット”と表示されたリセットボタン312は、自動追尾の開始と停止を指示するボタンであり、これらのボタン310、312は、自動追尾の開始又は停止の指示を操作者が行う制御モード(物体追尾モード、顔検出モード)が選択された場合にのみ表示される。なお、これらのセットボタン310とリセットボタン312は、AF枠操作部20の追尾開始スイッチ68と追尾停止スイッチ70(図1参照)と同様に作用するボタンである。
In FIG. 3, a
続いて、上記のごとく構成された画像処理ユニット18による自動追尾において全自動追尾モードが選択されたときの処理について説明する。図4は、画像処理ユニットのCPUにおける全自動追尾モードが選択されたときの自動追尾の処理手順を示したフローチャートである。
Next, a process when the fully automatic tracking mode is selected in the automatic tracking by the
所定操作によって全自動追尾モードが選択されると、まず、メインボード30のCPU38は、オートフォーカス領域を設定するAF枠設定処理を行う(ステップS10)。このAF枠設定処理では、メインボード30のメモリ(不図示)に記憶されているオートフォーカス領域の位置、大きさ、形状に関する情報に基づいて、撮影範囲(撮像エリア)におけるオートフォーカス領域を設定する。そして、このようにして設定したオートフォーカス領域(位置、大きさ、形状)の情報を示すAF枠情報をSCI58を通じてレンズ装置12のレンズCPUに送信する。これによって、レンズ装置12のAFユニット40において設定されるオートフォーカス領域が、AF枠情報により指定した範囲に設定される。
When the fully automatic tracking mode is selected by a predetermined operation, first, the
なお、メインボード30のCPU38は、LCD66が接続されているか否かを判断し、LCD66が接続されていないと判断した場合には、全自動追尾モードが選択されているものとして図4に示したフローチャートに従って各処理を行うようになっている。
Note that the
続いてCPU38からの指示により顔認識処理演算ボード34のCPU52は、デコーダ36から1コマ分の撮影画像の画像データを取り込む(ステップS12)。そして、その撮影画像の中に含まれる任意の人物の顔画像(顔領域)を検出する周知の顔検出処理を行う(ステップS14)。そして、をメインボード30のCPU38に通知する。
Subsequently, in response to an instruction from the
次にCPU38は、ステップS14における顔検出処理により撮影画像内に顔画像が検出されたか否かを判定する(ステップS16)。
Next, the
このステップS16においてNOと判定した場合には、ステップS20〜ステップS30のパターンマッチング処理による自動追尾の処理に移行し、YESと判定した場合には、ステップS40〜ステップS50の顔検出処理による自動追尾の処理に移行する。 If NO is determined in step S16, the process proceeds to automatic tracking processing by the pattern matching process in steps S20 to S30. If YES is determined, automatic tracking is performed by the face detection process in steps S40 to S50. Move on to processing.
ステップS16においてNOと判定した場合、即ち、撮影画像内に顔画像が含まれていないと判定した場合には、CPU38(及びパターンマッチング処理演算ボード32のCPU50)は、ステップS20〜ステップS30のパターンマッチング処理による自動追尾の処理を開始する。この場合、CPU38は、まず、ステップS12により取り込んだ撮影画像のうちオートフォーカス領域の画像を基準パターンの画像として登録(記憶)する(ステップS20)。そして、以下のステップS22〜S30の処理を繰り返し実行する。
When it is determined NO in step S16, that is, when it is determined that the face image is not included in the photographed image, the CPU 38 (and the
基準パターンの画像を登録すると、CPU38からの指示によりパターンマッチング処理演算ボード32のCPU50は、デコーダ36から1コマ分の撮影画像の画像データを取り込む(ステップS22)。そして、CPU50は、パターンマッチング処理を行って、撮影画像の中から基準パターンの画像に一致する画像範囲を検出する(ステップS24)。そして、その検出した画像範囲をメインボード30のCPU38に通知する。
When the image of the reference pattern is registered, the
続いて、CPU38は、基準パターンの画像が移動したか否か、即ち、基準パターンを検出した画像範囲が、現在設定されているオートフォーカス領域と相違しているか否かを判定する(ステップS26)。なお、撮影画像内での基準パターンの画像の大きさが変化した場合もこの判定処理でYESと判定される。
Subsequently, the
ステップS26においてYESと判定した場合には、ステップS24において検出した画像範囲を新たなオートフォーカス領域として設定(更新)し、そのオートフォーカス領域の情報を示すAF枠情報をレンズ装置12のレンズCPUに送信する(ステップS28)。
If YES is determined in step S26, the image range detected in step S24 is set (updated) as a new autofocus area, and AF frame information indicating information on the autofocus area is set in the lens CPU of the
また、ステップS24において検出した画像範囲の画像を新たな基準パターンの画像として更新する(ステップS30)。 Further, the image in the image range detected in step S24 is updated as a new reference pattern image (step S30).
ステップS26においてNOと判定した場合には、ステップS28におけるオートフォーカス領域の更新は行わず、ステップS30における基準パターンの更新のみを行う。 If NO is determined in step S26, the autofocus area is not updated in step S28, and only the reference pattern is updated in step S30.
ステップS30の処理が終了すると、ステップS22の処理に戻る。 When the process of step S30 ends, the process returns to step S22.
なお、操作者により自動追尾の停止を指示する操作、即ち、追尾停止スイッチがオンされると、自動追尾の処理を停止し、ステップS10に戻る。即ち、オートフォーカス領域を囲むAF枠が撮影画像の所定位置(例えば中心位置)に戻されて固定され、自動追尾が実行されなくなる。 Note that when the operator instructs to stop the automatic tracking, that is, when the tracking stop switch is turned on, the automatic tracking process is stopped and the process returns to step S10. That is, the AF frame surrounding the autofocus area is returned and fixed to a predetermined position (for example, the center position) of the captured image, and automatic tracking is not executed.
また、操作者によって追尾対象の被写体を撮影画像から意図的に外すカメラ操作が行われた場合にも、追尾停止スイッチがオンされた場合と同様、自動追尾の処理を停止するようにしてもよい。簡易な操作で自動追尾を停止させることができる。 Also, when the operator performs a camera operation that intentionally removes the subject to be tracked from the captured image, the automatic tracking process may be stopped as in the case where the tracking stop switch is turned on. . Automatic tracking can be stopped with a simple operation.
一方、ステップS16においてYESと判定した場合、即ち、撮影画像内に顔画像が含まれていると判定した場合には、CPU38(及び顔認識処理演算ボード34のCPU52)は、ステップS40〜ステップS50の顔検出処理による自動追尾の処理を開始する。この場合、CPU38は、まず、撮影画像内に検出された顔に適合するオートフォーカス領域を設定(AF枠を表示)する(ステップS40)。例えば、ステップS14の顔検出処理により検出した際の顔領域と、この顔領域に隣接する頭髪領域オートフォーカス範囲に変更する。そして、ステップS42〜ステップS50の処理を繰り返す。
On the other hand, if it is determined as YES in step S16, that is, if it is determined that a face image is included in the captured image, the CPU 38 (and the
ここで、ステップS40の更新処理について詳しく説明すると、メインボード30のCPU38は、まず、ステップS14における顔検出処理により撮影画像内に検出された人物の顔画像(顔領域)が1つか否かを判定する(ステップS60)。
Here, the update process in step S40 will be described in detail. First, the
このステップS60においてYESと判定した場合、即ち、撮影画像内に検出された顔画像は1つであると判定した場合には、CPU38は、顔検出処理により検出された顔画像を追尾対象(AF対象)として、その顔画像に対応するする顔領域に、この顔領域に隣接する頭髪領域を加えた拡大領域をオートフォーカス領域に変更(更新)する(ステップS62)。
When it is determined YES in step S60, that is, when it is determined that there is one face image detected in the captured image, the
一方、ステップS60においてNOと判定した場合、即ち、ステップS16における顔検出処理により撮影画像内に検出された顔画像は複数であると判定した場合には、CPU38は、撮影画像内に含まれる複数の顔画像の大きさに差があるか否かを判定する(ステップS64)。
On the other hand, if it is determined as NO in step S60, that is, if it is determined that there are a plurality of face images detected in the captured image by the face detection process in step S16, the
このステップS64においてYESと判定した場合、即ち、顔検出処理により検出された複数の顔画像の大きさに差があると判定した場合には、CPU38は、これらの複数の顔画像のうち最も大きい顔画像を追尾対象として、その顔画像に対応するする顔領域に、この顔領域に隣接する頭髪領域を加えた拡大領域をオートフォーカス領域に変更(更新)する(ステップS66)。
When it is determined YES in step S64, that is, when it is determined that there is a difference in the size of the plurality of face images detected by the face detection process, the
一方、ステップS64においてNOと判定した場合、即ち、顔検出処理により検出された複数の顔画像の大きさに差がないと判定した場合には、CPU38は、これらの複数の顔画像のうち撮影画像内の中央側に位置する顔画像を追尾対象として、その顔画像に対応するする顔領域に、この顔領域に隣接する頭髪領域を加えた拡大領域をオートフォーカス領域に変更(更新)する(ステップS68)。
On the other hand, when it is determined as NO in step S64, that is, when it is determined that there is no difference in the sizes of the plurality of face images detected by the face detection process, the
このようにステップS40の更新処理では、撮影画像内に複数の顔画像が検出された場合には、複数の顔画像の大きさに差がある場合には最も大きい顔画像を追尾対象(AFの対象)として、オートフォーカス領域が設定され、複数の顔画像の大きさに差がない場合(各顔画像の大きさが同一の場合)には撮影画像内の中央側に位置する顔画像を追尾対象(AFの対象)として、オートフォーカス領域が設定される。 As described above, in the update process of step S40, when a plurality of face images are detected in the photographed image, the largest face image is tracked (the AF target) if there is a difference in the size of the plurality of face images. If the autofocus area is set as the target and there is no difference in the size of multiple face images (when the size of each face image is the same), the face image located at the center of the captured image is tracked. An autofocus area is set as a target (target of AF).
次に、CPU38の指示により顔認識処理演算ボード34のCPU52は、デコーダ36から1コマ分の撮影画像の画像データを取り込む(ステップS42)。そして、CPU52は、ステップS14と同様に、その撮影画像の中に含まれる任意の人物の顔画像を検出する顔検出処理を行う(ステップS44)。そして、検出した顔画像をメインボード30のCPU38に通知する。
Next, in response to an instruction from the
続いて、CPU38は、検出された顔画像のうち、現在設定されているオートフォーカス領域に含まれる顔領域に対応する顔画像に最も近接したものを追尾対象の顔画像として検出する(ステップS46)。なお、ステップS46において、顔画像を検出する範囲を撮影画像全体の範囲ではなく、現在設定されているオートフォーカス領域(AF枠)の位置の周辺部分に制限してもよい。
Subsequently, the
そして、CPU38は、追尾対象の顔(顔画像)が移動したか否か、即ち、検出した顔画像が、現在設定されているオートフォーカス領域に含まれる顔領域と相違しているか否かを判定する(ステップS48)。なお、顔画像の大きさが変化した場合もこの判定処理でYESと判定される。
Then, the
ステップS48においてYESと判定した場合には、ステップS46において検出した顔画像を新たな顔領域として設定(更新)し、その顔領域に隣接する頭髪領域を加えた拡大領域をオートフォーカス領域とし、そのオートフォーカス領域の情報を示すAF枠情報をレンズ装置12のレンズCPUに送信する(ステップS50)。そして、ステップS42の処理に戻る。ステップS48においてNOと判定した場合には、ステップS50におけるオートフォーカス領域(AF枠)の更新は行わず、ステップS42の処理に戻る。 If YES is determined in step S48, the face image detected in step S46 is set (updated) as a new face area, and an enlarged area including the hair area adjacent to the face area is set as an autofocus area. AF frame information indicating the information of the autofocus area is transmitted to the lens CPU of the lens device 12 (step S50). Then, the process returns to step S42. If NO is determined in step S48, the autofocus area (AF frame) is not updated in step S50, and the process returns to step S42.
なお、操作者により自動追尾の停止を指示する操作、即ち、追尾停止スイッチがオンされると、自動追尾の処理を停止し、ステップS10に戻る。即ち、オートフォーカス領域(AF枠)が撮影画像の所定位置(例えば中心位置)に戻されて固定され、自動追尾が実行されなくなる。 Note that when the operator instructs to stop the automatic tracking, that is, when the tracking stop switch is turned on, the automatic tracking process is stopped and the process returns to step S10. That is, the autofocus area (AF frame) is returned and fixed to a predetermined position (for example, the center position) of the captured image, and automatic tracking is not executed.
また、操作者によって追尾対象の被写体を撮影画像から意図的に外すカメラ操作が行われた場合にも、追尾停止スイッチがオンされた場合と同様、自動追尾の処理を停止するようにしてもよい。簡易な操作で自動追尾を停止させることができる。 Also, when the operator performs a camera operation that intentionally removes the subject to be tracked from the captured image, the automatic tracking process may be stopped as in the case where the tracking stop switch is turned on. . Automatic tracking can be stopped with a simple operation.
次に、CPU38が、人物の顔領域に頭髪領域を加えて、拡大領域とする処理の説明をする。
Next, a description will be given of a process in which the
図5は、人物の顔領域(顔画像)と頭髪領域の説明図である。 FIG. 5 is an explanatory diagram of a human face area (face image) and a hair area.
図5(a)は、CPU52によって、検出される顔領域を示している。この顔領域は、図5(a)に示すように、人物の顔の構成部品である眉毛、目、鼻及び口などを含み、頭髪を含まない顔領域である。この際、検出された顔領域は、人物の顔のみ、又はほとんど背景が含まれないようすることが好ましい。人物の後ろにある背景が入ってしまうと、オートフォーカスの精度に悪影響がでるためである。
FIG. 5A shows a face area detected by the
図5(b)は、検出された顔領域にCPU38が頭髪領域を加える一例を示している。CPU38は、この顔領域に隣接する頭髪領域が含まれるように、顔領域から頭髪領域に向かう一方向にのみ、この顔領域を拡大している。なお、この顔領域から頭髪領域に向かう一方向に、約35%から40%程度、顔領域を拡大すれば頭髪領域が含まれる。更に、頭髪領域を含めた後、人物の後ろにある背景を含めない、又はほとんど背景が含まれないようにすることが好ましい。オートフォーカスの精度に悪影響がでるためである。また、顔領域の縦横比に基づいて、顔領域の拡大率を変更してもよい。人によって瞳などの構成要素にばらつきがあるため、一律に拡大すると、十分に頭髪領域を含めることができなかったり、背景が余計に入ってしまう可能性もあるためである。
FIG. 5B shows an example in which the
なお、頭髪領域は、撮像領域内において、顔領域に対して上であることが多い。しかし、オートフォーカスの対象となる人物が逆立ちをしたり、寝そべったりすることによって、顔領域に対する頭髪領域の位置が変わることがある。そこで、CPU38は、顔領域内における瞳の位置に基づいて、人物の顔の傾きを算出し、これに基づいて、どの方向に頭髪領域が顔領域に対して隣接しているのかを判断するようにしてもよい。これにより、頭髪領域に向かう方向を容易に判断することができる。
The hair region is often above the face region in the imaging region. However, the position of the hair region with respect to the face region may change due to the person who is the subject of autofocus performing a handstand or lying down. Therefore, the
図5(c)は、検出された顔領域にCPU38が頭髪領域を加える他の例を示している。図5(c)に示す例では、CPU38が、検出された顔領域の縦横比を維持したまま、顔領域を拡大している。このようにすることで、オートフォーカス対象の人物が横を向いているときには、単に一方向に顔領域を拡大するよりも大きく頭髪領域を含めることができ、より多くの高周波成分を取得することができる。
FIG. 5C shows another example in which the
以上、本実施形態のオートフォーカスシステムによれば、顔領域の検出に加えて、頭髪領域も含めてオートフォーカス領域とすることによって、高周波成分を多く取得することができ、人物の顔に対するオートフォーカスの精度を高めることができる。 As described above, according to the autofocus system of the present embodiment, in addition to the detection of the face area, a high frequency component can be acquired by using the autofocus area including the hair area, and the autofocus on the human face can be obtained. Can improve the accuracy.
また、本実施形態のオートフォーカスシステムによれば、全自動追尾モードによる自動追尾処理では、撮影画像内に人物の顔画像が含まれているか否かが判定され、撮影画像内に人物の顔画像が含まれていると判定された場合には、人物の顔画像が追尾対象に設定され、顔検出処理による自動追尾が自動的に選択されて実行される。その際、撮影画像内に複数の人物の顔画像が含まれている場合には、複数の人物の顔画像のうち、最も大きい顔画像が追尾対象として設定される。また、各顔画像の大きさが同一である場合には、撮影画像内において中央側に位置する顔画像が追尾対象として設定される。 Further, according to the autofocus system of the present embodiment, in the automatic tracking process in the fully automatic tracking mode, it is determined whether or not a human face image is included in the captured image, and the human face image is included in the captured image. Is determined to be included, a person's face image is set as a tracking target, and automatic tracking by face detection processing is automatically selected and executed. At this time, when a plurality of person's face images are included in the captured image, the largest face image among the plurality of person's face images is set as the tracking target. When the size of each face image is the same, the face image located on the center side in the captured image is set as the tracking target.
一方、撮影画像内に人物の顔画像が含まれていないと判定された場合には、人物の顔以外が追尾対象に設定され、パターンマッチング処理による自動追尾が自動的に選択されて実行される。 On the other hand, if it is determined that the photographed image does not include a person's face image, other than the person's face is set as a tracking target, and automatic tracking by pattern matching processing is automatically selected and executed. .
また、本実施形態では、撮影画像内に人物の顔画像が含まれる場合には、パターンマッチング処理による自動追尾(物体追尾モード)よりも顔検出処理による自動追尾(顔検出追尾モード)が優先されて実行される。 In this embodiment, when a human face image is included in the captured image, automatic tracking (face detection tracking mode) by face detection processing has priority over automatic tracking (object tracking mode) by pattern matching processing. Executed.
したがって、操作者は、追尾対象としたい被写体が人物の顔である場合には、追尾対象としたい人物の顔が撮影画像内に含まれるように撮影画角を操作するだけで、自動追尾の開始操作を行うことなく、自動追尾を行うことができるようになる。 Therefore, when the subject to be tracked is a person's face, the operator can start automatic tracking simply by operating the shooting angle of view so that the face of the person to be tracked is included in the captured image. Automatic tracking can be performed without any operation.
特に、撮影画像内に複数の人物の顔(顔画像)が含まれる場合でも、これらの顔画像の大きさや位置に応じて追尾対象とする顔が自動的に設定されてAF枠の自動追尾が行われるので、操作者はAF枠自動追尾を開始する際の煩雑な操作が不要となり、操作者の負担を大幅に軽減することができる。 In particular, even when a plurality of human faces (face images) are included in the captured image, the face to be tracked is automatically set according to the size and position of these face images, and automatic AF frame tracking is performed. Thus, the operator does not need a complicated operation when starting the AF frame automatic tracking, and the burden on the operator can be greatly reduced.
また、本実施形態のオートフォーカスシステムでは、上述のように全自動追尾モードを備えているので、AF枠操作部20の一部又は全部(例えば操作部材60、62、64、68、70やLCD66)が設けられていなくても、全自動追尾モードによるAF枠自動追尾が可能であり、ハンディカメラのようなAF枠操作装置の設置がスペース上困難な小型のカメラにおいても好ましく適用することができる。
In addition, since the autofocus system according to the present embodiment includes the fully automatic tracking mode as described above, a part or all of the AF frame operation unit 20 (for example, the
以上、本発明のオートフォーカスシステムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。 The autofocus system of the present invention has been described in detail above, but the present invention is not limited to the above examples, and various improvements and modifications may be made without departing from the scope of the present invention. Of course.
以上、説明したように、本明細書には、以下のオートフォーカスシステムが開示されている。
(1)光学系により結像された被写体像を撮像する撮像部と、前記撮像部により撮像された撮影画像から、人物の頭髪領域を除く顔領域を検出する顔領域検出部と、前記顔領域検出部によって検出された顔領域を、第1のオートフォーカス領域として設定する第1のAF領域設定部と、前記第1のAF領域設定部によって設定された前記第1のオートフォーカス領域を前記顔領域に隣接する頭髪領域が含まれるように拡大し、前記第1のオートフォーカス領域と前記頭髪領域を含む拡大領域を、第2のオートフォーカス領域として設定する第2のAF領域設定部と、前記第2のAF枠設定部によって設定された第2のオートフォーカス領域の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス部と、を備えるオートフォーカスシステム。
(2)(1)に記載のオートフォーカスシステムであって、前記第1のAF領域設定部は、前記顔領域検出部によって検出された顔領域の一部分のみを、前記第1のオートフォーカス領域として設定するオートフォーカスシステム。
(3)(1)又は(2)に記載のオートフォーカスシステムであって、前記第2のAF領域設定部は、前記第1のオートフォーカス領域の縦方向又は横方向のいずれか一方であって、前記顔領域から前記頭髪領域に向かう方向にのみ、前記第1のオートフォーカス領域を拡大して、前記頭髪領域を含む拡大領域とするオートフォーカスシステム。
(4)(1)から(3)のいずれか一つに記載のオートフォーカスシステムであって、前記第1のオートフォーカス領域に含まれる人物の瞳の位置に基づいて、前記第2のAF領域設定部は、前記1のオートフォーカス領域を拡大する方向を決定するオートフォーカスシステム。
(5)(1)から(4)のいずれか一つに記載のオートフォーカスシステムであって、前記第2のAF領域設定部は、前記第1のオートフォーカス領域の縦横比に基づいて、第1のオートフォーカス領域の拡大量を決定するオートフォーカスシステム。
(6)(1)に記載のオートフォーカスシステムであって、前記第2のAF枠設定部は、前記第1のオートフォーカス領域の縦横比を維持したまま、前記第1のオートフォーカス領域を拡大して、前記頭髪領域を含む拡大領域とするオートフォーカスシステム。
(7)(1)から(5)のいずれか一つに記載のオートフォーカスシステムであって、第2のAF領域設定部によって設定される前記第2のオートフォーカス領域は、前記人物領域のみを含むオートフォーカスシステム。
(8)(1)から(7)のいずれか一つに記載のオートフォーカスシステムであって、更に、前記第1のAF領域設定部により設定された前記第1のオートフォーカス領域の人物を追尾する自動追尾部を備え、前記顔領域検出部は、前記自動追尾部によって追尾された人物の頭髪領域を除く顔領域を検出するオートフォーカスシステム。
(9)(1)から(7)のいずれか一つに記載のオートフォーカスシステムであって、更に、前記第2のAF領域設定部により設定された第2のオートフォーカス領域の人物を追尾する自動追尾部を備え、前記顔領域検出部は、前記自動追尾部によって追尾された人物の頭髪領域を除く顔領域を検出するオートフォーカスシステム。
(10)ハンディタイプのカメラに搭載される(1)から(7)のいずれか一つに記載のオートフォーカスシステム。
As described above, the following autofocus system is disclosed in the present specification.
(1) An imaging unit that captures a subject image formed by an optical system, a face region detection unit that detects a face region excluding a human hair region from a captured image captured by the imaging unit, and the face region A first AF area setting unit that sets the face area detected by the detection unit as a first autofocus area, and the first autofocus area set by the first AF area setting unit is the face. A second AF area setting unit for enlarging the hair area adjacent to the area and setting the first autofocus area and the enlarged area including the hair area as a second autofocus area; An autofocus unit that adjusts the focus of the optical system so that the subject in the second autofocus area set by the second AF frame setting unit is in focus. Autofocus system.
(2) In the autofocus system according to (1), the first AF area setting unit sets only a part of the face area detected by the face area detection unit as the first autofocus area. Autofocus system to set.
(3) In the autofocus system according to (1) or (2), the second AF area setting unit is one of a vertical direction and a horizontal direction of the first autofocus area. An autofocus system in which the first autofocus area is enlarged only in the direction from the face area to the hair area to form an enlarged area including the hair area.
(4) The autofocus system according to any one of (1) to (3), wherein the second AF area is based on a position of a human pupil included in the first autofocus area. The setting unit is an autofocus system that determines a direction in which the one autofocus area is enlarged.
(5) The autofocus system according to any one of (1) to (4), wherein the second AF area setting unit is configured to perform a first operation based on an aspect ratio of the first autofocus area. An autofocus system that determines the amount of enlargement of one autofocus area.
(6) The autofocus system according to (1), wherein the second AF frame setting unit enlarges the first autofocus area while maintaining an aspect ratio of the first autofocus area. Then, an autofocus system that makes the enlarged region including the hair region.
(7) In the autofocus system according to any one of (1) to (5), the second autofocus area set by a second AF area setting unit includes only the person area. Including autofocus system.
(8) The autofocus system according to any one of (1) to (7), further tracking a person in the first autofocus area set by the first AF area setting unit An auto-tracking unit, wherein the face region detecting unit detects a face region excluding a human hair region tracked by the automatic tracking unit.
(9) The autofocus system according to any one of (1) to (7), further tracking a person in the second autofocus area set by the second AF area setting unit An autofocus system comprising an automatic tracking unit, wherein the face region detection unit detects a face region excluding a human hair region tracked by the automatic tracking unit.
(10) The autofocus system according to any one of (1) to (7), which is mounted on a handy type camera.
1…ビデオカメラシステム、10…テレビカメラ、12…レンズ装置、14…カメラ本体、16…ビューファインダ、18…画像処理ユニット、20…AF枠操作部、30…メインボード、40…AFユニット、32…パターンマッチング処理演算ボード、34…顔認識処理演算ボード、38、50、52…CPU、66…タッチパネル付き液晶ディスプレイ DESCRIPTION OF SYMBOLS 1 ... Video camera system, 10 ... Television camera, 12 ... Lens apparatus, 14 ... Camera body, 16 ... Viewfinder, 18 ... Image processing unit, 20 ... AF frame operation part, 30 ... Main board, 40 ... AF unit, 32 ... Pattern matching processing calculation board, 34 ... Face recognition processing calculation board, 38, 50, 52 ... CPU, 66 ... Liquid crystal display with touch panel
Claims (10)
前記撮像部により撮像された撮影画像から、人物の頭髪領域を除く顔領域を検出する顔領域検出部と、
前記顔領域検出部によって検出された顔領域を、第1のオートフォーカス領域として設定する第1のAF領域設定部と、
前記第1のAF領域設定部によって設定された前記第1のオートフォーカス領域を前記顔領域に隣接する頭髪領域が含まれるように拡大し、前記第1のオートフォーカス領域と前記頭髪領域を含む拡大領域を、第2のオートフォーカス領域として設定する第2のAF領域設定部と、
前記第2のAF枠設定部によって設定された第2のオートフォーカス領域の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス部と、
を備えるオートフォーカスシステム。 An imaging unit for imaging a subject image formed by an optical system;
A face area detection unit that detects a face area excluding a human hair area from a captured image captured by the imaging unit;
A first AF area setting unit that sets the face area detected by the face area detection unit as a first autofocus area;
Enlarging the first autofocus area set by the first AF area setting unit so as to include a hair area adjacent to the face area, and including the first autofocus area and the hair area A second AF area setting unit for setting the area as a second autofocus area;
An autofocus unit that adjusts the focus of the optical system so that the subject in the second autofocus area set by the second AF frame setting unit is in focus;
Autofocus system with
前記第1のAF領域設定部は、前記顔領域検出部によって検出された顔領域の一部分のみを、前記第1のオートフォーカス領域として設定するオートフォーカスシステム。 The autofocus system according to claim 1,
The autofocus system in which the first AF area setting unit sets only a part of the face area detected by the face area detection unit as the first autofocus area.
前記第2のAF領域設定部は、前記第1のオートフォーカス領域の縦方向又は横方向のいずれか一方であって、前記顔領域から前記頭髪領域に向かう方向にのみ、前記第1のオートフォーカス領域を拡大して、前記頭髪領域を含む拡大領域とするオートフォーカスシステム。 The autofocus system according to claim 1 or 2,
The second AF area setting unit is configured to perform the first autofocus only in the vertical direction or the horizontal direction of the first autofocus area and in the direction from the face area toward the hair area. An autofocus system that enlarges an area to include the hair area.
前記第1のオートフォーカス領域に含まれる人物の瞳の位置に基づいて、前記第2のAF領域設定部は、前記1のオートフォーカス領域を拡大する方向を決定するオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 3,
The second AF area setting unit determines an enlargement direction of the first autofocus area based on a position of a human pupil included in the first autofocus area.
前記第2のAF領域設定部は、前記第1のオートフォーカス領域の縦横比に基づいて、第1のオートフォーカス領域の拡大量を決定するオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 4,
The second AF area setting unit is an autofocus system that determines an enlargement amount of the first autofocus area based on an aspect ratio of the first autofocus area.
前記第2のAF枠設定部は、前記第1のオートフォーカス領域の縦横比を維持したまま、前記第1のオートフォーカス領域を拡大して、前記頭髪領域を含む拡大領域とするオートフォーカスシステム。 The autofocus system according to claim 1,
The second AF frame setting unit is an autofocus system that enlarges the first autofocus area while maintaining the aspect ratio of the first autofocus area to form an enlarged area including the hair area.
第2のAF領域設定部によって設定される前記第2のオートフォーカス領域は、前記人物領域のみを含むオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 5,
The autofocus system in which the second autofocus area set by the second AF area setting unit includes only the person area.
更に、前記第1のAF領域設定部により設定された前記第1のオートフォーカス領域の人物を追尾する自動追尾部を備え、
前記顔領域検出部は、前記自動追尾部によって追尾された人物の頭髪領域を除く顔領域を検出するオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 7,
And an automatic tracking unit that tracks a person in the first autofocus area set by the first AF area setting unit,
The face area detection unit is an autofocus system that detects a face area excluding a human hair area tracked by the automatic tracking unit.
更に、前記第2のAF領域設定部により設定された第2のオートフォーカス領域の人物を追尾する自動追尾部を備え、
前記顔領域検出部は、前記自動追尾部によって追尾された人物の頭髪領域を除く顔領域を検出するオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 7,
And an automatic tracking unit that tracks a person in the second autofocus area set by the second AF area setting unit,
The face area detection unit is an autofocus system that detects a face area excluding a human hair area tracked by the automatic tracking unit.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011008332A JP2014062926A (en) | 2011-01-18 | 2011-01-18 | Autofocus system |
PCT/JP2012/050978 WO2012099174A1 (en) | 2011-01-18 | 2012-01-18 | Autofocus system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011008332A JP2014062926A (en) | 2011-01-18 | 2011-01-18 | Autofocus system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014062926A true JP2014062926A (en) | 2014-04-10 |
Family
ID=46515796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011008332A Pending JP2014062926A (en) | 2011-01-18 | 2011-01-18 | Autofocus system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2014062926A (en) |
WO (1) | WO2012099174A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019201387A (en) * | 2018-05-18 | 2019-11-21 | 株式会社ザクティ | Tracking controller |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014056169A (en) * | 2012-09-13 | 2014-03-27 | Olympus Imaging Corp | Focus adjustment device and focus adjustment method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3298072B2 (en) * | 1992-07-10 | 2002-07-02 | ソニー株式会社 | Video camera system |
JP3918788B2 (en) * | 2003-08-06 | 2007-05-23 | コニカミノルタフォトイメージング株式会社 | Imaging apparatus and program |
JP4442539B2 (en) * | 2005-09-27 | 2010-03-31 | パナソニック電工株式会社 | Spatial information detection device |
JP2006268248A (en) * | 2005-03-23 | 2006-10-05 | Konica Minolta Photo Imaging Inc | Photographing device, and face direction determining method |
JP4771536B2 (en) * | 2006-06-26 | 2011-09-14 | キヤノン株式会社 | Imaging device and method of selecting face as main subject |
JP2010074399A (en) * | 2008-09-17 | 2010-04-02 | Sony Corp | Device for determining composition, method of determining composition, image processing unit, method of processing image, and program |
JP2010078764A (en) * | 2008-09-25 | 2010-04-08 | Nikon Corp | Focus detection device and method |
-
2011
- 2011-01-18 JP JP2011008332A patent/JP2014062926A/en active Pending
-
2012
- 2012-01-18 WO PCT/JP2012/050978 patent/WO2012099174A1/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019201387A (en) * | 2018-05-18 | 2019-11-21 | 株式会社ザクティ | Tracking controller |
Also Published As
Publication number | Publication date |
---|---|
WO2012099174A1 (en) | 2012-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5473551B2 (en) | Auto focus system | |
JP5914364B2 (en) | Auto focus system | |
JP2011027847A (en) | Af frame automatic tracking system | |
CN108377329B (en) | Image pickup apparatus and control method thereof | |
JP2010124120A (en) | Autofocus system | |
JP2013013050A (en) | Imaging apparatus and display method using imaging apparatus | |
CN107040718B (en) | Display control apparatus and control method thereof | |
JP2011030008A (en) | Imaging apparatus | |
US20100123790A1 (en) | Autofocus system | |
JP2010145966A (en) | Autofocus system | |
JP5384172B2 (en) | Auto focus system | |
JP5081133B2 (en) | Auto focus system | |
JP2010085530A (en) | Autofocus system | |
TWI693828B (en) | Image-capturing device and method for operating the same | |
JP2011022203A (en) | Af frame automatic follow-up system and method for automatically following up af frame | |
JP5328616B2 (en) | AF frame automatic tracking system | |
WO2012099174A1 (en) | Autofocus system | |
JP5276538B2 (en) | AF frame automatic tracking system | |
JP2010230871A (en) | Auto focus system | |
EP2187625B1 (en) | Autofocus system | |
JP2010164637A (en) | Af frame automatic tracking system | |
JP2010224499A (en) | Autofocus system | |
JP2011022499A (en) | Autofocus system | |
JP2010122366A (en) | Auto focus system | |
JP2014049960A (en) | Imaging device, control method therefor, and program |