JP2022050908A - 追尾装置、追尾方法、プログラム - Google Patents
追尾装置、追尾方法、プログラム Download PDFInfo
- Publication number
- JP2022050908A JP2022050908A JP2020157096A JP2020157096A JP2022050908A JP 2022050908 A JP2022050908 A JP 2022050908A JP 2020157096 A JP2020157096 A JP 2020157096A JP 2020157096 A JP2020157096 A JP 2020157096A JP 2022050908 A JP2022050908 A JP 2022050908A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- tracking device
- irregularity
- change
- viewpoint position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 80
- 230000008859 change Effects 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 31
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 45
- 238000001514 detection method Methods 0.000 description 45
- 210000002569 neuron Anatomy 0.000 description 19
- 239000013598 vector Substances 0.000 description 16
- 210000005252 bulbus oculi Anatomy 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- PWHULOQIROXLJO-UHFFFAOYSA-N Manganese Chemical compound [Mn] PWHULOQIROXLJO-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 229910052748 manganese Inorganic materials 0.000 description 1
- 239000011572 manganese Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】ユーザの意図に応じた追尾制御を可能とする追尾装置を提供する。【解決手段】追尾装置は、表示手段においてユーザが見ている位置である視点位置を取得する取得手段と、前記表示手段に表示されている物体を追尾する追尾手段と、前記視点位置の変化の不規則度に基づき追尾手段を制御する制御処理を行う制御手段とを有する。【選択図】図4
Description
本発明は、追尾装置、追尾方法、プログラムに関する。
電子機器の表示部におけるユーザが見ている位置(視点位置)を検出する技術が知られている。また、映像における特定の被写体に対して、例えば、撮影のためのピントを合わせ続けるために、特定の被写体を追尾するような技術がある。特許文献1では、表示部に表示された映像において追尾されている被写体の位置とユーザの視点位置とに差がある場合に、視点位置に近い他の被写体を追尾するように変更する技術が記載されている。
特許文献1の技術では、映像において複数の被写体が動いていることによって、ユーザが撮影したい被写体を見失っている場合には、ユーザの意図しない物体を追尾してしまう可能性がある。
そこで、本発明は、ユーザの意図に応じた追尾制御を可能とする追尾装置を提供することを目的とする。
本発明の1つの態様は、
表示手段においてユーザが見ている位置である視点位置を取得する取得手段と、
前記表示手段に表示されている物体を追尾する追尾手段と、
前記視点位置の変化の不規則度に基づき追尾手段を制御する制御処理を行う制御手段と、
を有することを特徴とする追尾装置である。
表示手段においてユーザが見ている位置である視点位置を取得する取得手段と、
前記表示手段に表示されている物体を追尾する追尾手段と、
前記視点位置の変化の不規則度に基づき追尾手段を制御する制御処理を行う制御手段と、
を有することを特徴とする追尾装置である。
本発明の1つの態様は、
表示手段に表示されている物体を追尾する追尾手段を有する追尾装置が実行する追尾方法であって、
前記表示手段においてユーザが見ている位置である視点位置を取得する取得工程と、
前記視点位置の変化の不規則度に基づき追尾手段を制御する制御処理を行う制御工程と、
を有することを特徴とする追尾方法である。
表示手段に表示されている物体を追尾する追尾手段を有する追尾装置が実行する追尾方法であって、
前記表示手段においてユーザが見ている位置である視点位置を取得する取得工程と、
前記視点位置の変化の不規則度に基づき追尾手段を制御する制御処理を行う制御工程と、
を有することを特徴とする追尾方法である。
本発明によれば、ユーザの意図に応じた追尾制御を可能とする追尾装置を提供することができる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らない。また、複数の特徴は任意に組み合わせ可能である。さらに、添付図面において、同一もしくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
<実施形態1>
[デジタルカメラの構成の説明]
図1は、実施形態1に係るデジタルカメラ100(撮像装置)の構成を示す構成図である。なお、デジタルカメラ100の代わりに、デジタルカメラ100の各構成要素を有するスマートフォンやPC(コンピュータ)などのような、被写体(物体)を追尾可能な追尾装置(電子機器)が用いられてもよい。
[デジタルカメラの構成の説明]
図1は、実施形態1に係るデジタルカメラ100(撮像装置)の構成を示す構成図である。なお、デジタルカメラ100の代わりに、デジタルカメラ100の各構成要素を有するスマートフォンやPC(コンピュータ)などのような、被写体(物体)を追尾可能な追尾装置(電子機器)が用いられてもよい。
図1において、レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は、通常、複数枚のレンズを有するが、ここでは一枚のレンズのみで示している。通信端子6は、レンズユニット150がデジタルカメラ100側と通信を行うための端子である。通信端子10は、デジタルカメラ100がレンズユニット150側と通信を行うための端子である。レンズユニット150は、通信端子6,10を介してシステム制御部50と通信する。レンズユニット150は、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り102の制御を行う。また、レンズユニット150は、AF駆動回路3を介して、レンズ103の位置を変位させることで焦点を合わせる。レンズシステム制御回路4には、レンズに関する情報(焦点距離の情報など)が格納されている。
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は、絞り102およびレンズ103を介して被写体を撮像する。撮像部22は、光学像を電気信号に変換するCCDやCMOS素子などを備える撮像素子である。撮像部22には、光電変換部を複数に分割した画素が1つのマイクロレンズに対して設けられている。これにより、光が分割されて各画素に入射するため、光電変換部から位相差検出信号を得ることができる。また、撮像部22は、各画素からの信号を加算することにより、撮像信号を得ることができる。このような画素は、焦点検出画素と撮像画素としての役割を兼ねることができる。なお、撮像部22には撮像用の画素のみが設けられていてもよく、この場合には、コントラスト方式によって焦点検出が実現されてもよい。このように、撮像部22が取得する信号は、撮像だけでなく、露出制御、焦点検出制御にも用いることができる。
A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換する。A/D変換器23は、変換したデジタル信号を画像(映像)として画像処理部24や
メモリ制御部15などに出力する。
メモリ制御部15などに出力する。
画像処理部24は、A/D変換器23から出力された画像(データ)、または、メモリ制御部15から出力された画像に対して、リサイズ処理(所定の画素補間や縮小の処理)や色変換処理を行う。また、画像処理部24が、撮像された画像を用いて所定の演算処理を行い、システム制御部50が演算処理の結果に基づいて露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が実現される。さらに、画像処理部24は、撮像された画像を用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
本実施形態では、画像処理部24は、画像(映像;動画)に基づいて、被写体の検出処理や追尾処理を行うことができる。被写体の検出処理や、追尾処理を行うための画像処理部24の内部構成については、図4を参照して後述する。
A/D変換器23から出力された画像(出力データ)は、画像処理部24およびメモリ制御部15を介して、もしくは、メモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタル信号に変換された画像や、表示部28に表示するための画像を格納する。メモリ32は、所定枚数の静止画像や、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は、画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器19は、メモリ32に格納されている画像表示用の画像のデジタル信号をアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像は、D/A変換器19を介して供給されて、表示部28により表示される。
表示部28は、LCDなどの表示器上で、D/A変換器19から取得したアナログ信号に応じた表示を行う。メモリ32に蓄積されたデジタル信号がD/A変換器19においてアナログ信号に変換されて表示部28に逐次転送されると、表示部28は、ライブビュー表示(LV)を行う。以下、ライブビュー表示で表示される画像をライブビュー画像(LV画像)と称する。ライブビュー画像には、撮像部22が現在撮像している被写体が現れる。
なお、表示部28は、不図示の接眼部を通して覗き込む電子ビューファインダであってもよいし、デジタルカメラ100の背面に設けられたディスプレイであってもよい。また、表示部28は、電子ビューファインダと、背面のディスプレイの両方を有してもよい。
不揮発性メモリ56は、電気的に消去・記録可能なメモリである。不揮発性メモリ56には、例えば、EEPROMなどが用いられる。不揮発性メモリ56は、システム制御部50の動作用の定数、プログラムなどを記憶する。例えば、不揮発性メモリ56は、本実施形態にて後述する各種フローチャートを実行するためのプログラムを記憶する。
システム制御部50は、不揮発性メモリ56に記憶されたプログラムを実行することにより、デジタルカメラ100の各構成要素を制御する。システムメモリ52には、RAMが用いられる。システム制御部50は、システム制御部50の動作用の定数、変数、および不揮発性メモリ56から読み出したプログラムなどをシステムメモリ52に展開することができる。また、システム制御部50は、メモリ32、D/A変換器19、表示部28などを制御することにより表示制御を行う。システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路などを有する。電源制御部80は、電池(電源部30)の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいて、DC-DCコンバータを制御して、電源部30の電力を各構成要素(記録媒体200を含む)に供給する。電源部30は、一次電池(アルカリマンガン電池やLi電池など)や二次電池(NiCd電池やNiMH電池、Li電池など)、ACアダプターなどを有する。
記録媒体インターフェース18(I/F)は、メモリカードやハードディスクなどの記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカードなどの記録媒体である。記録媒体200は、半導体メモリや磁気ディスクなどを有する。
通信部54は、無線通信または有線通信によって外部と接続し、映像信号や音声信号の送受信を行う。通信部54は、イントラネットやインターネットなどのネットワークと接続可能である。通信部54は、撮像部22で撮像した画像(ライブビュー画像を含む)や、記録媒体200に記録された画像を送信可能である。また、通信部54は、外部機器から画像やその他の各種情報を受信することができる。
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である加速度センサーやジャイロセンサーを用いれば、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。また、姿勢検知部55は、重力方向をz軸方向とするxyz空間において、デジタルカメラ100のz軸を中心とする回転角度γ(ヨー角)を検知できる。姿勢検知部55は、デジタルカメラ100の上下方向の回転角度β(デジタルカメラ100の左右方向に沿ったy軸を中心とするピッチ角)も検知できる。また、姿勢検知部55は、デジタルカメラ100の左右の傾き方向の回転角度α(デジタルカメラ100の前後方向に沿ったx軸を中心とするロール角)も検知できる。
操作部70は、ユーザからの操作を受け付ける複数の操作部材を有する。操作部70は、メニュー選択、モード選択、撮影した動画像の再生などを実施するために、操作部材として、ボタン(メニューボタンやSETボタン)や4方向キーを備える。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面と、4方向キーやSETボタンとを用いて直感的に各種設定を行うことができる。
また、操作部70の各操作部材は、表示部28に表示される画面において機能アイコンを選択することにより、当該機能アイコンに対応する機能を実行するためのボタン(機能ボタン)として動作することができる。機能ボタンは、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタンなどである。
さらに、操作部70は、操作部材として、モード切替スイッチ60、シャッターボタン61、電源スイッチ72を含む。
モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動
画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60より、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60より、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64を備える。第1シャッタースイッチ62が、シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)によりONになると、第1シャッタースイッチ信号SW1が発生する。システム制御部50は、第1シャッタースイッチ信号SW1の発生により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。
第2シャッタースイッチ64が、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)によりONとなると、第2シャッタースイッチ信号SW2が発生する。システム制御部50は、第2シャッタースイッチ信号SW2の発生により、撮像部22からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体200に書き込むまでの、一連の撮影処理の動作を開始する。
電源スイッチ72は、デジタルカメラ100の電源のONとOFFを切り替える操作部材である。
視線取得部701は、表示部28においてユーザが見ている位置(視点位置;視線位置)を検出(取得)する。図2は、視線取得部701の一例を示す。視線取得部701は、イメージセンサ701a、受光レンズ701b、ダイクロイックミラー701c、接眼レンズ701d、照明光源701e、不図示の制御部を有する。このとき、表示部28には、レンズユニット150を介して撮像されたライブビュー画像が表示されている。
接眼レンズ701dを介して表示部28を見ているユーザの視点位置を検出するために、まず、照明光源701eが、眼球301に赤外光を投射する。すると、眼球301にて反射した赤外光は、さらにダイクロイックミラー701cにて反射して、受光レンズ701bを通過してイメージセンサ701aに入射する。イメージセンサ701aは、入射した赤外光により、眼球301を撮影して眼球画像を取得する。視線取得部701の制御部は、撮影された眼球画像から瞳孔の領域などを抽出する。制御部は、ファインダ視野内を覗くユーザの眼球301の光軸の回転角を検出し、検出した回転角からユーザの視線を検出する。そして、制御部は、表示部28におけるユーザの視線(目の向き;目で見ている方向)に対応する位置(領域)を、視点位置として検出する。なお、視線取得部701は、ユーザの片目を撮像してもよいし両目を撮影してもよい。
図3は、図2とは異なる視線取得部701の一例を示す。ここでは、視線取得部701は、カメラ701f、照明光源701e、制御部を有する。図3では、レンズユニット150を通して撮影されたライブビュー画像が、表示部28に表示されている。図3では、デジタルカメラ100の背面に、表示部28を観察しているユーザの顔300(眼球301,302)を撮影するカメラ701fが設けられている。図3において、カメラ701fが撮影可能な範囲を破線で示している。照明光源701eからユーザの顔に投光されると、カメラ701fは眼球画像(顔画像)を取得する。そして、視線取得部701の制御
部は、眼球画像からユーザの視線および視点位置を検出する。
部は、眼球画像からユーザの視線および視点位置を検出する。
また、図2と図3に示す視線取得部701のいずれであっても、眼球画像は、不図示のA/D変換器によりデジタル信号に変換されて、システム制御部50に送信されてもよい。この場合には、システム制御部50が眼球画像に基づき視点位置を検出する。このため、視線取得部701は、図2および図3に示す構成に限らず、ユーザの視線(視点位置)を検出するための情報を取得できるのであれば、任意の構成であってよい。
(画像処理部)
以下では、図4の構成図を参照して、被写体の検出や追尾を行うための、画像処理部24の内部構成の一部を説明する。画像処理部24は、画像取得部410、検出部411、追尾部412を有する。
以下では、図4の構成図を参照して、被写体の検出や追尾を行うための、画像処理部24の内部構成の一部を説明する。画像処理部24は、画像取得部410、検出部411、追尾部412を有する。
画像取得部410は、A/D変換器23から映像(ライブビュー画像)を取得する。画像取得部410は、A/D変換器23から映像を取得することに限らず、デジタルカメラ100の外部の機器から映像を取得してもよい。
検出部411は、画像取得部410が取得した映像に含まれる被写体(物体)を検出する。検出部411が検出する被写体は、人物、動物、乗り物などのユーザが撮影する可能性が高い種別の被写体(物体)である。また、検出部411が検出する被写体は、ユーザが予め選択した種別の被写体であってもよい。なお、検出部411は、コンボリューショナルニューラルネットワークなどの既存の手法を用いて、被写体を検出することができる。
追尾部412は、表示部28に表示された映像において特定の被写体を追尾する。また、追尾部412は、映像において追尾している被写体の位置(x座標およびy座標)を取得することもできる。なお、システム制御部50は、追尾部412による被写体の追尾の実行と中止とを切り替えることができる。
[追尾処理]
以下、図5のフローチャートを参照して、ユーザが所望する被写体を追尾部412が追尾できるように制御する処理(追尾処理;追尾方法;追尾装置の制御方法)について説明する。本フローチャートの処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開して、システム制御部50が実行することで実現する。また、本フローチャートの開始前において、追尾部412が映像における1つの被写体を追尾しているものとする。このとき、追尾している被写体を示すような追尾枠が表示部28に表示されている。
以下、図5のフローチャートを参照して、ユーザが所望する被写体を追尾部412が追尾できるように制御する処理(追尾処理;追尾方法;追尾装置の制御方法)について説明する。本フローチャートの処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開して、システム制御部50が実行することで実現する。また、本フローチャートの開始前において、追尾部412が映像における1つの被写体を追尾しているものとする。このとき、追尾している被写体を示すような追尾枠が表示部28に表示されている。
S501において、システム制御部50は、画像取得部410を制御して、A/D変換器23から映像(ライブビュー画像)を取得する。なお、画像取得部410は、A/D変換器23から映像を取得するのではなく、メモリ32などから映像を取得してもよい。
S502において、システム制御部50は、視線取得部701からユーザの視点位置を取得する。
S503において、システム制御部50は、追尾部412を制御して、画像取得部410が取得した映像における追尾部412が追尾している被写体(追尾被写体)の位置(表示位置;位置情報)を取得する。なお、追尾部412が被写体の追尾を中止している場合には、検出部411は、追尾を中止した時点で追尾部412が追尾していた被写体の現在の位置を取得する。
S504において、システム制御部50は、視点位置(視線)の軌跡(視点軌跡;視点位置の変化;視線の変化)の不規則度を取得する。視点軌跡の不規則度の取得方法については後述する。
S505において、システム制御部50は、視点軌跡の不規則度が予め定められた閾値THr以下であるか否かを判定する。ここで、システム制御部50は、視点軌跡の不規則度が閾値THr以下である場合には、視点位置が規則的に変化しているため、ユーザが視線により被写体を追えていると判定できる。一方、視点軌跡の不規則度が閾値THrより大きい場合には、視点位置が不規則に変化しているため、ユーザが被写体を追えていない(見失っている)と判定できる。視点軌跡の不規則度が閾値THr以下の場合にはS508に進む。視点軌跡の不規則度が閾値THrより大きい場合にはS506に進む。
S506において、システム制御部50は、追尾部412を制御して、追尾部412による追尾を中止する。そして、システム制御部50は、表示部28における追尾枠の表示を中止する。なお、既に、追尾部412による追尾が中止されている場合には、システム制御部50は、S506において何も処理を実行しない。
S507において、システム制御部50は、検出部411を制御して映像から1または複数の被写体を検出して、これらの被写体のそれぞれを示すような枠(検出枠)を表示部28に表示する。なお、システム制御部50は、検出枠を表示する必要はなく、1または複数の被写体の位置をユーザが把握しやすいような表示(強調表示)をすればよい。これによって、映像に含まれる被写体の位置が把握しやすくなるため、ユーザは、改めて所望する被写体を視線によって容易に追いかけることができる。また、このとき、システム制御部50は、音声や画像によって、視点軌跡が不規則的である旨をユーザに報知(通知)するようにしてもよい。S507の処理が終了すると、再びS501~S505の処理が行われる。つまり、システム制御部50は、視点軌跡が規則的になるまで、追尾の中止状態が継続し、各被写体を示す検出枠が表示され続けるように制御する。
S508において、システム制御部50は、S503にて取得した被写体の位置と、S502にて取得した視点位置との差DFが、予め定められた閾値THp以下であるか否かを判定する。ここで、システム制御部50は、差DFが閾値THp以下であれば、S503にて位置を取得した被写体をユーザが視線により追っていると判定できる。一方、システム制御部50は、差DFが閾値THpより大きい場合には、S503にて位置を取得した被写体ではない被写体を視線により追っていると判定できる。差DFが閾値THp以下である場合にはS509に進む。差DFが閾値THpより大きい場合にはS510に進む。
S509において、システム制御部50は、追尾部412を制御して、S503にて位置を取得した被写体を追尾する(引き続き追尾する)。
S510において、システム制御部50は、視点位置に最も近い(近接する)被写体をユーザが追っていると判定できるため、追尾部412を制御して、視点位置に最も近い被写体(近接被写体)を追尾するようにする(追尾被写体を変更する)。
S511において、システム制御部50は、追尾部412が追尾している被写体を示すような追尾枠を表示部28に表示する。
このように、S509およびS510では、システム制御部50は、視点位置に対応する被写体が主被写体(ユーザが追尾(撮影)したい被写体)であると判定して、S511
にて視点位置に対応する被写体を示すような追尾枠を表示部28に表示させる。
にて視点位置に対応する被写体を示すような追尾枠を表示部28に表示させる。
S512において、システム制御部50は、追尾枠に最も近い焦点検出領域を選択し、撮像部22が取得した信号(位相差検出信号)を用いて、焦点状態(デフォーカス量および方向)を取得(検出)する。
S513において、システム制御部50は、S512にて取得したデフォーカス量およびデフォーカス方向に対応するレンズ駆動量および駆動方向を算出する。システム制御部50は、算出したレンズ駆動量および駆動方向に従ってレンズ103の位置を制御することにより合焦距離を調節して、撮像部22を制御して撮影を実行する。
このように、本実施形態では、視点軌跡の不規則性に基づき、ユーザが被写体を視線により追えているか否かを判定し、その結果に応じて、追尾部412による追尾を制御する。デジタルカメラ100は、視点軌跡の不規則度が高ければ(ユーザが視線により被写体を追尾していないと判定すると)、追尾部412による被写体の追尾を中止して、映像に含まれる各被写体を示す検出枠を表示する。このため、デジタルカメラ100においてユーザの意図に合わない被写体の追尾の可能性を抑制できるので、ユーザの意図に応じた追尾制御が可能になる。
[追尾枠、検出枠の表示]
図6(A)および図6(B)は、追尾枠または検出枠の表示部28における表示を説明する図である。ここでは、デジタルカメラ100がスポーツシーンを撮影している場合を想定している。図6(A)および図6(B)では、人物601または/および人物603がボール602を用いてスポーツを行っているシーンを示している。検出枠621~623は、映像に表示された被写体を示す表示アイテムである。追尾枠611は、デジタルカメラ100が追尾している被写体を示す表示アイテムである。
図6(A)および図6(B)は、追尾枠または検出枠の表示部28における表示を説明する図である。ここでは、デジタルカメラ100がスポーツシーンを撮影している場合を想定している。図6(A)および図6(B)では、人物601または/および人物603がボール602を用いてスポーツを行っているシーンを示している。検出枠621~623は、映像に表示された被写体を示す表示アイテムである。追尾枠611は、デジタルカメラ100が追尾している被写体を示す表示アイテムである。
図6(A)では、視点軌跡600が規則的であり(S505YES)、視点位置と被写体である人物601との距離が近い(S508YES)。このため、追尾枠611が示す被写体とユーザが撮影したい被写体(主被写体)とが、人物601で一致すると考えられる。このとき、本実施形態では、追尾枠611が人物601を追尾するように表示されるので(S509,S511)、ユーザは、追尾枠611を見ることで、主被写体である人物601を容易に追尾し続けることができる。なお、このとき、ユーザの見る先が散らないように、検出枠は表示されない。
一方、図6(B)では、視点位置がランダムに動いており、視点軌跡600の不規則性が高い(S505NO)。この場合には、ユーザが撮影したい被写体(主被写体)を見失っていると考えられる。このため、デジタルカメラ100は、ユーザが撮影したい被写体(主被写体)を見つけやすいように、追尾枠611の表示を中止して(S506)、映像に含まれる被写体を示すような検出枠621~623を表示する(S507)。これによれば、ユーザは、検出枠621~623が示す被写体から主被写体を見つけることができるので、検出枠が表示されていない場合よりも、主被写体を容易に見つけることができる。
また、システム制御部50は、被写体の位置をユーザに把握させることができればよいため、検出枠や追尾枠の代わりに、例えば、被写体の位置に星形や丸形のマークなどの任意の表示アイテムを表示してもよい。なお、システム制御部50は、表示部28に表示される追尾枠と検出枠とで色や太さを変えてもよい。また、システム制御部50は、他の方法によって追尾枠と検出枠との表示を異ならせてもよい。これによれば、検出枠と追尾枠のどちらが表示されているかをユーザが認識しやすくなり、ユーザは主被写体を見つけや
すくなる。
すくなる。
[視点軌跡の取得処理]
以下では、システム制御部50が視点軌跡(視点位置の変化)の不規則度を取得する処理(取得方法;算出方法)について詳細に説明する。
以下では、システム制御部50が視点軌跡(視点位置の変化)の不規則度を取得する処理(取得方法;算出方法)について詳細に説明する。
(不規則度の取得に周波数を用いる場合)
まず、視点軌跡の不規則度を取得するために、視点軌跡の時間軸方向の周波数情報を用いる場合を説明する。時刻をtとし、各時刻における視点位置の座標を(x(t),y(t))とすると、x(t)をフーリエ変換した結果であるX(ω)と、y(t)をフーリエ変換した結果であるY(ω)とは、以下の式1と式2のように表される。
まず、視点軌跡の不規則度を取得するために、視点軌跡の時間軸方向の周波数情報を用いる場合を説明する。時刻をtとし、各時刻における視点位置の座標を(x(t),y(t))とすると、x(t)をフーリエ変換した結果であるX(ω)と、y(t)をフーリエ変換した結果であるY(ω)とは、以下の式1と式2のように表される。
ここで、Δtは視点位置を取得する時間間隔であり、周波数ωは、時刻t0から時刻t0+NΔtまでの期間における周波数である。また、式3に表すように、パワースペクトルP(ω)を、X(ω)の絶対値の2乗とY(ω)の絶対値の2乗との和で定義する。
図7では、横軸が周波数ωを表し、縦軸がパワースペクトルP(ω)を表している。システム制御部50は、不規則度として、予め決められた周波数ω0以上のパワースペクトルP(ω)の総和Sを算出する。そして、システム制御部50は、S505において、不規則度である総和Sが閾値以下であるか否かを判定する。
(不規則度に自己相関を用いる場合)
次に、視点軌跡の自己相関に基づく値を不規則度として用いる例を示す。図8は、時刻tにおける視点軌跡のx位置(x座標)であるx(t)を、時刻tに対してプロットしたグラフである。隣接する時間幅801と時間幅802において、視点軌跡が規則的であれば自己相関は1に近づき、ランダムであれば自己相関は0に近くなる。
次に、視点軌跡の自己相関に基づく値を不規則度として用いる例を示す。図8は、時刻tにおける視点軌跡のx位置(x座標)であるx(t)を、時刻tに対してプロットしたグラフである。隣接する時間幅801と時間幅802において、視点軌跡が規則的であれば自己相関は1に近づき、ランダムであれば自己相関は0に近くなる。
なお、式4では、隣接する時間幅Tの区間における自己相関を取ったが、近接する区間であれば、必ずしも隣接している必要はない。また、式4の左辺(x成分)と右辺(y成分)を単純加算するのではなく、左辺と右辺を重み付け加算してもよい。なお、システム制御部50は、例えば、S505において、自己相関の絶対値R(T)の逆数を視点軌跡の不規則度として、不規則度が閾値以下であるか否かを判定する。
(不規則度に他の情報を用いる場合)
他にも、視線の速度ベクトル(vx,vy)=(dx/dt,dy/dt)の大きさや、加速度ベクトル(dvx/dt,vy/dt)の大きさの、時間幅Tにおける代表値(平均値、最頻値または中央値)を不規則度として用いても構わない。ここで、d/dtは時間tに関する微分を表す。また、視線ベクトルや加速度ベクトル、自己相関、周波数などを任意に組み合わせて、視点軌跡の不規則度が決定されてもよい。
他にも、視線の速度ベクトル(vx,vy)=(dx/dt,dy/dt)の大きさや、加速度ベクトル(dvx/dt,vy/dt)の大きさの、時間幅Tにおける代表値(平均値、最頻値または中央値)を不規則度として用いても構わない。ここで、d/dtは時間tに関する微分を表す。また、視線ベクトルや加速度ベクトル、自己相関、周波数などを任意に組み合わせて、視点軌跡の不規則度が決定されてもよい。
以上のように、本実施形態によれば、視点軌跡の不規則度に基づき、デジタルカメラ100における追尾を制御する。これにより、デジタルカメラ100において、ユーザの意図に応じた追尾を可能とする。
[変形例1]
視点軌跡の不規則度の決定に、視点軌跡以外にも、検出部411が検出した被写体の位置(表示位置)の軌跡情報を用いることができる。例えば、システム制御部50は、或る時間幅T=NΔtにおける視点軌跡のベクトルと、被写体の位置の軌跡のベクトルとの相互相関を算出する。そして、システム制御部50は、検出部411が検出した全ての被写体の位置の軌跡のベクトルと、視点軌跡のベクトルとの相互相関の絶対値に基づく値(例えば、絶対値の逆数)を、視点軌跡の不規則度とする。例えば、検出部411が検出した被写体の位置の軌跡のベクトルそれぞれと視点軌跡のベクトルとの相互相関の絶対値のうち最も大きな値の逆数を、視点軌跡の不規則度とする。つまり、本変形例では、視点位置と被写体の位置が同じように変化していれば、視点軌跡は被写体の位置の軌跡に従った規則的な軌跡であると判定される。ここで、時刻t0から時刻t0+NΔtまでの期間における相互相関R(t0)の算出方法は、以下の式5により表される。
視点軌跡の不規則度の決定に、視点軌跡以外にも、検出部411が検出した被写体の位置(表示位置)の軌跡情報を用いることができる。例えば、システム制御部50は、或る時間幅T=NΔtにおける視点軌跡のベクトルと、被写体の位置の軌跡のベクトルとの相互相関を算出する。そして、システム制御部50は、検出部411が検出した全ての被写体の位置の軌跡のベクトルと、視点軌跡のベクトルとの相互相関の絶対値に基づく値(例えば、絶対値の逆数)を、視点軌跡の不規則度とする。例えば、検出部411が検出した被写体の位置の軌跡のベクトルそれぞれと視点軌跡のベクトルとの相互相関の絶対値のうち最も大きな値の逆数を、視点軌跡の不規則度とする。つまり、本変形例では、視点位置と被写体の位置が同じように変化していれば、視点軌跡は被写体の位置の軌跡に従った規則的な軌跡であると判定される。ここで、時刻t0から時刻t0+NΔtまでの期間における相互相関R(t0)の算出方法は、以下の式5により表される。
ここで、(xe(t),ye(t))は時刻tにおける視点の位置を表している。(xо(t),yо(t))は、時刻tにおける被写体の位置を表している。なお、相互相関R(t0)も、x成分(左辺)とy成分(右辺)との重み付け加算によって算出されてもよい。また、視点位置の動きベクトル(速度ベクトルや加速度ベクトル)と、検出された被写体の動きベクトルとの相互相関を用いてもよい。
<実施形態2>
実施形態2では、映像に含まれる被写体の位置の軌跡(変化)に応じて、実施形態1において説明した追尾を行うか否かを判定する処理(S504~S507の追尾制御処理)を実行するか否かを切り替えるデジタルカメラ100について説明する。また、本実施形態に係るデジタルカメラ100は、映像に含まれる被写体の位置の軌跡(変化)に応じて、S505において視点軌跡の不規則性を判定するための閾値THrを変更する。
実施形態2では、映像に含まれる被写体の位置の軌跡(変化)に応じて、実施形態1において説明した追尾を行うか否かを判定する処理(S504~S507の追尾制御処理)を実行するか否かを切り替えるデジタルカメラ100について説明する。また、本実施形態に係るデジタルカメラ100は、映像に含まれる被写体の位置の軌跡(変化)に応じて、S505において視点軌跡の不規則性を判定するための閾値THrを変更する。
例えば、被写体がほぼ規則正しく動いているようなシーンでは、ユーザが当該被写体を継続して追うことが容易であるため、追尾枠が示す被写体をユーザが視線により追っている可能性が高い。このため、追尾部412が引き続き追尾を行うことが適切である可能性が高く、実施形態1における追尾制御処理を行う必要性が低い。
また、複数の被写体が様々な方向に移動するシーン(スポーツシーンなど)では、ユー
ザの視点が適切に被写体を追っている場合においても、視点軌跡の不規則性が高くなる傾向にある。従って、このような場合には、様々な方向に移動する被写体をユーザが視線により追えていても、不規則に視点位置が動くため、ユーザが視線により被写体を追えていないと誤判定されてしまう。このため、このような場合には、視点軌跡の不規則性を判定するための閾値THrは、そうでない場合よりも大きい方がよい。
ザの視点が適切に被写体を追っている場合においても、視点軌跡の不規則性が高くなる傾向にある。従って、このような場合には、様々な方向に移動する被写体をユーザが視線により追えていても、不規則に視点位置が動くため、ユーザが視線により被写体を追えていないと誤判定されてしまう。このため、このような場合には、視点軌跡の不規則性を判定するための閾値THrは、そうでない場合よりも大きい方がよい。
[実行決定処理]
追尾制御処理の実行の有無を決定する処理(実行決定処理)を、図9に示されるフローチャートを用いて説明する。なお、実施形態1と同一の処理に関しては説明を省略する。なお、複数の被写体が映像に含まれる場合には、以下の「被写体軌跡の不規則度」は「複数の被写体の位置の軌跡(被写体軌跡)の不規則度の代表値(平均値、中央値、最頻値など)」と読み替えるものとする。
追尾制御処理の実行の有無を決定する処理(実行決定処理)を、図9に示されるフローチャートを用いて説明する。なお、実施形態1と同一の処理に関しては説明を省略する。なお、複数の被写体が映像に含まれる場合には、以下の「被写体軌跡の不規則度」は「複数の被写体の位置の軌跡(被写体軌跡)の不規則度の代表値(平均値、中央値、最頻値など)」と読み替えるものとする。
S901において、システム制御部50は、被写体軌跡の不規則度を取得(算出)して、被写体軌跡の不規則度が第1の閾値THr1以上であるかを判定する。被写体軌跡の不規則度の決定には、実施形態1に係る視点軌跡と同様に、被写体軌跡の周波数や、被写体軌跡の時間方向の自己相関、速度ベクトル、加速度ベクトルを用いることができる。被写体軌跡の不規則度が第1の閾値THr1以上(閾値以上)である場合にはS902に進む。被写体軌跡の不規則度が第1の閾値THr1未満(閾値未満)である場合にはS905に進む。
S902において、システム制御部50は、被写体軌跡の不規則度が第2の閾値THr2未満であるか否かを判定する。ここで、第2の閾値THr2は、第1の閾値THr1よりも大きな値である。被写体軌跡の不規則度が第2の閾値THr2未満である場合にはS903に進む。被写体軌跡の不規則度が第2の閾値THr2以上である場合にはS904に進む。
S903において、システム制御部50は、追尾制御処理(S504~S507)を含むS504~S513の処理を実行する。なお、ここでS507の処理が行われた後には、本フローチャートにおけるS501に進む。
S904において、システム制御部50は、S902がYESである場合(被写体軌跡の不規則度が、第1の閾値THr1以上であり、かつ、第2の閾値THr2未満である場合)よりも、S505における判定のための閾値THrを大きくする。このように、システム制御部50は、被写体軌跡の不規則度が高い場合には、視点軌跡の不規則性の判定閾値である閾値THrを大きくする。このことで、被写体が不規則に動くシーンなどにおいて、ユーザの視線により被写体を追えているにも関わらず、ユーザの視線により被写体を追えていない(S505No)と判定されてしまう可能性を低減できる。
S905において、システム制御部50は、追尾制御処理(S504~S507)を実行しないようにする。これは、S905に進んでいる場合には、被写体の位置の軌跡が非常に規則的であることからユーザの視線による被写体を追うことが容易であり、ユーザが被写体を追えていない可能性が低いためである。なお、システム制御部50は、追尾制御処理であるS504~S507の処理以外のS508~513の処理を実行する。
以上のように、本実施形態では、デジタルカメラ100は、被写体軌跡に応じて、追尾制御処理(S504~S507)の実行の有無や視点軌跡の不規則性の閾値Thrを切り替える。このことにより、追尾制御処理による不要な処理量を削減することや、ユーザが視線により被写体を追えているか否かを適切に判定することができる。
<実施形態3>
本実施形態では、システム制御部50は、実施形態1におけるS505にて視点軌跡の不規則度が高いと判定された場合に、デジタルカメラ100が有する機械学習器を用いて主被写体(ユーザが撮影(追尾)したい被写体)を判定する。そして、システム制御部50は、判定した主被写体に対して追尾を行い、追尾枠を表示する。なお、これに限らず、視点軌跡が規則的である場合であっても(S505の判定を経ずに)、システム制御部50は、機械学習器を用いて主被写体を判定してもよい。
本実施形態では、システム制御部50は、実施形態1におけるS505にて視点軌跡の不規則度が高いと判定された場合に、デジタルカメラ100が有する機械学習器を用いて主被写体(ユーザが撮影(追尾)したい被写体)を判定する。そして、システム制御部50は、判定した主被写体に対して追尾を行い、追尾枠を表示する。なお、これに限らず、視点軌跡が規則的である場合であっても(S505の判定を経ずに)、システム制御部50は、機械学習器を用いて主被写体を判定してもよい。
以下では、機械学習器において、機械学習の一手法であるニューラルネットワークを用いる場合について説明するが、線形(非線形)回帰など、他の回帰手法を用いることも可能である。
図10は、ニューラルネットワークの構造の一例を示したものである。図10に示すニューラルネットワークは、入力層1001、中間層1002、出力層1003、ニューロン1004を含む。また、接続線1005は、ニューロン1004同士の接続関係を表す。ここでは、図示の都合上、代表的なニューロンと接続線のみ番号を付与している。システム制御部50は、ニューラルネットワークの入力層1001にデータを入力し、出力層1003からデータを取得する。
入力層1001のニューロン1004の数は、入力するデータの次元と同じである。入力層1001に入力されるデータは、視点軌跡および被写体の位置の軌跡のデータを含む。また、出力層1003は、映像における主被写体のx座標とy座標との2つの値を出力する。このため、出力層1003のニューロン1004の数は2である。主被写体のx座標とy座標との2つの値の出力により、システム制御部50は、主被写体を判定できる。
入力層1001におけるi番目のニューロン1004と、中間層1002におけるj番目のニューロン1004とを接続する接続線1005には、重みwjiが与えられている。中間層1002におけるj番目のニューロン1004が出力する値zjは、以下の式6によって算出できる。
式6において、xiは入力層1001のi番目のニューロン1004に入力される値を表している。中間層1002におけるj番目のニューロン1004と接続されている、入力層1001のニューロン1004の数がNであれば、iは1~Nの値を取る。bjはバイアスと呼ばれ、j番目のニューロンの1004の発火のしやすさをコントロールするパラメータである。
また、式6および式7に示す関数h(p)は、pと0のうち大きい方の値を出力する関数である。つまり、関数h(p)は、関数への入力値pが0以下の場合には出力値が常に0になり、入力値pが0より上の場合には出力値が入力値と同じ値pとなる関数である。関数h(p)は、ReLU(Rectified Linear Unit)と呼ばれる活性化関数である。活性化関数には、シグモイド関数など別の関数を用いることも可能である。
また、出力層1003のk番目のニューロン1004が出力する値ykは、以下の式8により算出できる。ここで、式8におけるkは、1と2のいずれかの値である。k=1は
主被写体のx座標の値を出力するニューロン1004を表し、k=2は主被写体のy座標の値を出力するニューロン1004を表す。
主被写体のx座標の値を出力するニューロン1004を表し、k=2は主被写体のy座標の値を出力するニューロン1004を表す。
式8において、zjは中間層1002のj番目のニューロン1004が出力する値を表す。出力層1003のk番目のニューロン1004と接続されている中間層1002の全てのニューロン1004の数をMとすると、jは1~Mまでの値を取る。
また、関数fは、恒等写像であるとする。なお、画像の座標値が常に正であるため、関数fには、式7に用いたReLUを用いてもよい。また、本実施形態では、後述するように[0,1]に規格化された座標値のみを扱うため、関数fには、シグモイド関数を用いることも可能である。
ここで、ニューラルネットワークの学習をするために、学習データとして、入力データと正解データとが用意される。例えば、複数のシーンを人が見たときの視点軌跡を予め記録しておき、そのときの視点軌跡および、被写体の位置の軌跡を入力層1001に入力するための入力データとする。なお、学習データは、データオーギュメンテーション技術によって、人為的にデータの水増しが行われてもよい。記録された視点軌跡のそれぞれは、映像(画像)サイズの大きさによる影響を除外するため、映像の横幅および縦幅に応じて、予め[0,1]の範囲に規格化されている。また、学習データとしての正解データは、主被写体の画像上における規格化された正解座標(x座標およびy座標)を示す。学習対象とするシーンとしては、視点規制の不規則性が検出される可能性のあるシーン(複数の被写体が交錯して動くシーンなど)が望ましいが、視線による追跡が容易であるシーンが加わっていてもよい。
また、学習時には、入力データ(視点位置の軌跡や被写体の位置の軌跡)に基づき出力される座標と、正解座標との不一致度を表す損失関数Lが最小化するように、全ての重みとバイアスの最適化を行う。損失関数Lには、下記の式9で表されるような2乗和誤差の関数を用いることができる。
式9において、添え字のkは座標成分を表しており、k=1がx座標、k=2がy座標を表す。ykは、出力層1003におけるニューロン1004から出力される規格化された座標値である。tkは、主被写体の規格化された正解の座標値である。式9に基づいて最適化することにより、正解座標と出力される座標値が近づくように重みやバイアスを決定することができる。
なお、損失感数Lは、出力される座標値と正解座標との不一致度(一致度)を表す関数であれば任意の関数であってよい。
なお、学習済みの重みやバイアス値は、予め不揮発性メモリ56に保存しておき、必要に応じてメモリ32に格納する。以上により、学習済みの重みやバイアスを用いて、ニューラルネットワークは、式5~式8に基づいて主被写体の規格化された座標値(y1、y2)を出力する。
以上説明したように、本実施形態によれば、視点軌跡の軌跡と被写体の位置の軌跡を用
いることで、主被写体を判定することが可能になる。正確に主被写体が判定できれば、デジタルカメラ100は、ユーザの所望する被写体を追尾(撮影)することができる。
いることで、主被写体を判定することが可能になる。正確に主被写体が判定できれば、デジタルカメラ100は、ユーザの所望する被写体を追尾(撮影)することができる。
<実施形態4>
ユーザが頻繁にデジタルカメラ100の位置を動かす場合には、ユーザが主被写体を見失っている可能性がある。また、パンニングした直後や望遠レンズを用いた撮影の際には、ユーザは被写体を見失いやすい。そこで、本実施形態では、デジタルカメラ100は、デジタルカメラ100の動き情報やレンズの情報に基づき、追尾制御処理(S504~S507の処理)の実行の有無を切り替える。
ユーザが頻繁にデジタルカメラ100の位置を動かす場合には、ユーザが主被写体を見失っている可能性がある。また、パンニングした直後や望遠レンズを用いた撮影の際には、ユーザは被写体を見失いやすい。そこで、本実施形態では、デジタルカメラ100は、デジタルカメラ100の動き情報やレンズの情報に基づき、追尾制御処理(S504~S507の処理)の実行の有無を切り替える。
[実行決定処理]
追尾制御処理の実行の有無を決定する処理(実行決定処理)を、図11に示すフローチャートを用いて説明する。なお、実施形態1,2と同一の処理に関しては説明を省略する。
追尾制御処理の実行の有無を決定する処理(実行決定処理)を、図11に示すフローチャートを用いて説明する。なお、実施形態1,2と同一の処理に関しては説明を省略する。
S1101において、システム制御部50は、姿勢検知部55が検知したデジタルカメラ100の動き量が、閾値THcam以上であるか否かを判定する。デジタルカメラ100の動き量が閾値THcam以上である場合にはS1102に進む。デジタルカメラ100の動き量が閾値THcam未満である場合にはS1104に進む。
ここで、デジタルカメラ100の動き量には、姿勢検知部55により検知できるピッチ角やヨー角、ロール角などのデジタルカメラ100の角度の変化を用いることができる。なお、デジタルカメラ100の動き量は、デジタルカメラ100の水平方向や垂直方向、斜め方向などの移動量(シフト移動量)であってもよい。また、デジタルカメラ100の動き量の代わりに、一定の時間内における、動き量が予め定めた閾値を超える回数を用いてもよい。動き量が予め定めた閾値を超える回数が多いほど、デジタルカメラ100を頻繁にユーザが動かしているといえる。従って、この場合には、S1101において、システム制御部50は、姿勢検知部55が検知したデジタルカメラ100の動き量が予め定めた閾値を超える回数が、閾値THcam以上であるか否かを判定する。
S1102において、システム制御部50は、レンズシステム制御回路4からレンズの焦点距離の情報を取得し、焦点距離が閾値THd以上であるかを判定する。焦点距離が閾値THd以上である場合にはS1103に進む。焦点距離が閾値THd未満である場合にはS1104に進む。
S1103において、システム制御部50は、実施形態1の追尾制御処理(S504~S507)を含むS504~S513の処理を実行する。S1103に進んでいる場合には、焦点距離が大きいため望遠レンズを用いており、かつ、デジタルカメラ100が大きく動いていると考えられるので、ユーザが被写体を見失いやすい。このため、視点軌跡の不規則度に基づく追尾制御処理が行われることが望ましい。なお、ここでS507の処理が行われた後には、本フローチャートにおけるS501に進む。
S1104において、システム制御部50は、実施形態1の追尾制御処理を含まないS508~S513の処理を実行する。
なお、本実施形態では、デジタルカメラ100の動き量が閾値THcam以上であり、かつ、焦点距離が閾値THd以上である場合にのみ、S504~S507の追尾制御処理が行われる。しかし、デジタルカメラ100の動き量が閾値THcam以上であることと、焦点距離が閾値THd以上であることとの少なくともいずれかを一方を満たす場合に、追尾制御処理が行われてもよい。また、実施形態2と同様に、システム制御部50は、カ
メラの動きや焦点距離に応じて、S505の視点軌跡の不規則性を判定するための閾値THrの大きさを切り替えてもよい。
メラの動きや焦点距離に応じて、S505の視点軌跡の不規則性を判定するための閾値THrの大きさを切り替えてもよい。
以上のように、カメラの動きやレンズの情報に応じて、追尾制御処理の実行の有無を切り替えることにより、処理量を抑えつつ、適切に主被写体を判定することが可能になる。
なお、上記の各実施形態(各変形例)の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ASIC、FPGA、DSPなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ(記憶媒体)とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
(その他の実施形態)
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:デジタルカメラ(追尾装置)、50:システム制御部、701:視線取得部、
24:画像処理部、28:表示部、412:追尾部
24:画像処理部、28:表示部、412:追尾部
Claims (18)
- 表示手段においてユーザが見ている位置である視点位置を取得する取得手段と、
前記表示手段に表示されている物体を追尾する追尾手段と、
前記視点位置の変化の不規則度に基づき追尾手段を制御する制御処理を行う制御手段と、
を有することを特徴とする追尾装置。 - 前記制御手段は、前記視点位置の変化の不規則度が第1の閾値より大きい場合には、前記追尾手段が物体を追尾しないように制御する、
ことを特徴とする請求項1に記載の追尾装置。 - 前記制御手段は、前記視点位置の変化の不規則度が前記第1の閾値より大きい場合には、さらに、前記表示手段に表示されている各物体を強調表示するように前記表示手段を制御する、
ことを特徴とする請求項2に記載の追尾装置。 - 前記制御手段は、前記視点位置の変化の不規則度が前記第1の閾値より大きい場合には、前記視点位置に基づかすに、前記表示手段に表示されている各物体を示すような表示アイテムを前記表示手段に表示するように制御する、
ことを特徴とする請求項3に記載の追尾装置。 - 前記制御手段は、前記視点位置の変化の不規則度が前記第1の閾値より大きい場合には、さらに、前記視点位置の変化が不規則である旨を前記ユーザに報知するように制御する、
ことを特徴とする請求項2から4のいずれか1項に記載の追尾装置。 - 前記制御手段は、前記視点位置の変化の不規則度が第1の閾値以下である場合には、前記視点位置に対応する物体を追尾するように前記追尾手段を制御する、
ことを特徴とする請求項1から5のいずれか1項に記載の追尾装置。 - 前記制御手段は、前記視点位置の変化の不規則度が前記第1の閾値以下である場合には、前記追尾手段が追尾している物体を示すような表示アイテムを前記表示手段に表示する、
ことを特徴とする請求項6に記載の追尾装置。 - 前記制御手段は、前記物体の表示位置の変化の不規則度が第2の閾値以上の場合には、当該物体の表示位置の変化の不規則度が前記第2の閾値未満であり、かつ、前記第2の閾値よりも小さい第3の閾値以上である場合よりも、前記第1の閾値を大きくする、
ことを特徴とする請求項2から7のいずれか1項に記載の追尾装置。 - 前記制御手段は、前記ユーザが視線によって追尾したい物体を判定するための機械学習を行った機械学習器を用いて、前記視点位置の変化に基づき、前記ユーザが視線によって追尾したい物体を判定する、
ことを特徴とする請求項1から8のいずれか1項に記載の追尾装置。 - 前記制御手段は、前記追尾手段が物体を追尾する場合には、前記機械学習器を用いて判定した物体を追尾するように前記追尾手段を制御する、
ことを特徴とする請求項9に記載の追尾装置。 - 前記視点位置の変化の不規則度とは、前記視点位置の変化の周波数と自己相関と速度と加速度とのうち少なくともいずれかに基づく値である、
ことを特徴とする請求項1から10のいずれか1項に記載の追尾装置。 - 前記視点位置の変化の不規則度とは、前記物体の表示位置の変化と前記視点位置の変化との相互相関に基づく値である、
ことを特徴とする請求項1から10のいずれか1項に記載の追尾装置。 - 前記制御手段は、前記物体の表示位置の変化の不規則度に基づき、前記制御処理を行うか否かを決定する、
ことを特徴とする請求項1から12のいずれか1項に記載の追尾装置。 - 前記制御手段は、前記物体の表示位置の変化の不規則度が第3の閾値未満である場合には、前記制御処理を行わない、
ことを特徴とする請求項13に記載の追尾装置。 - 前記制御手段は、前記物体を撮像する撮像装置の動きの情報に基づき、前記制御処理を行うか否かを決定する、
ことを特徴とする請求項1から14のいずれか1項に記載の追尾装置。 - 前記制御手段は、前記物体を撮像する撮像装置の焦点距離の情報に基づき、前記制御処理を行うか否かを決定する、
ことを特徴とする請求項1から15のいずれか1項に記載の追尾装置。 - 表示手段に表示されている物体を追尾する追尾手段を有する追尾装置が実行する追尾方法であって、
前記表示手段においてユーザが見ている位置である視点位置を取得する取得工程と、
前記視点位置の変化の不規則度に基づき追尾手段を制御する制御処理を行う制御工程と、
を有することを特徴とする追尾方法。 - コンピュータを、請求項1から16のいずれか1項に記載された追尾装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020157096A JP2022050908A (ja) | 2020-09-18 | 2020-09-18 | 追尾装置、追尾方法、プログラム |
US17/475,208 US11816864B2 (en) | 2020-09-18 | 2021-09-14 | Tracking device and tracking method for tracking an object displayed on a display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020157096A JP2022050908A (ja) | 2020-09-18 | 2020-09-18 | 追尾装置、追尾方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022050908A true JP2022050908A (ja) | 2022-03-31 |
Family
ID=80740695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020157096A Pending JP2022050908A (ja) | 2020-09-18 | 2020-09-18 | 追尾装置、追尾方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11816864B2 (ja) |
JP (1) | JP2022050908A (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3163668B2 (ja) | 1991-08-27 | 2001-05-08 | 株式会社ニコン | 被写体認識装置およびカメラ |
WO2014014031A1 (ja) * | 2012-07-17 | 2014-01-23 | 株式会社ニコン | 被写体追尾装置およびカメラ |
JPWO2017141584A1 (ja) * | 2016-02-16 | 2018-12-06 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
US10969584B2 (en) * | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
JP6920931B2 (ja) * | 2017-09-01 | 2021-08-18 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 |
-
2020
- 2020-09-18 JP JP2020157096A patent/JP2022050908A/ja active Pending
-
2021
- 2021-09-14 US US17/475,208 patent/US11816864B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220092821A1 (en) | 2022-03-24 |
US11816864B2 (en) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104349051B (zh) | 被摄体检测装置以及被摄体检测装置的控制方法 | |
US10277823B2 (en) | Zoom control device, imaging apparatus, control method of zoom control device, and recording medium | |
CN105282435B (zh) | 变焦控制设备和变焦控制方法 | |
CN105323470B (zh) | 变焦控制设备和变焦控制方法 | |
RU2565855C1 (ru) | Устройство захвата изображений, способ управления этим устройством и программа | |
JP2017167438A (ja) | ズーム制御装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体 | |
CN103048846B (zh) | 焦点调节装置及其控制方法 | |
US11388331B2 (en) | Image capture apparatus and control method thereof | |
JP2021124669A (ja) | 電子機器 | |
JP2014017665A (ja) | 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体 | |
JP2020107956A (ja) | 撮像装置、撮像方法およびプログラム | |
JP7500217B2 (ja) | 電子機器 | |
CN107800956B (zh) | 摄像设备、控制方法和存储介质 | |
US11523048B2 (en) | Electronic device, control method of electronic device, and non-transitory computer readable medium | |
JP6768449B2 (ja) | 撮像制御装置、撮像装置の制御方法及びプログラム | |
JP2011017754A (ja) | 撮像装置、撮像装置の制御方法、及びコンピュータプログラム | |
JP2022050908A (ja) | 追尾装置、追尾方法、プログラム | |
JP7342883B2 (ja) | 撮像制御装置、撮像装置、撮像制御方法 | |
WO2019082832A1 (ja) | 撮像装置、撮像装置の制御方法、および、プログラム | |
JP2019186831A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
US11968445B2 (en) | Control apparatus for detecting and displaying line-of-sight position, control method thereof, and recording medium | |
JP2019008075A (ja) | 撮像装置 | |
WO2022153692A1 (ja) | 制御装置及び制御方法 | |
JP2011243025A (ja) | 対象画像の追尾装置およびその動作制御方法 | |
JP7377078B2 (ja) | 画像処理装置および画像処理方法、ならびに撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240702 |