JP2022170551A - 記録装置、撮像装置、制御方法、記録システム - Google Patents
記録装置、撮像装置、制御方法、記録システム Download PDFInfo
- Publication number
- JP2022170551A JP2022170551A JP2021076748A JP2021076748A JP2022170551A JP 2022170551 A JP2022170551 A JP 2022170551A JP 2021076748 A JP2021076748 A JP 2021076748A JP 2021076748 A JP2021076748 A JP 2021076748A JP 2022170551 A JP2022170551 A JP 2022170551A
- Authority
- JP
- Japan
- Prior art keywords
- line
- information
- sight
- user
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims description 39
- 238000001514 detection method Methods 0.000 claims abstract description 93
- 210000005252 bulbus oculi Anatomy 0.000 claims description 51
- 238000004091 panning Methods 0.000 claims description 21
- 238000012790 confirmation Methods 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 description 19
- 210000001747 pupil Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000004087 cornea Anatomy 0.000 description 4
- 238000005375 photometry Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Automatic Focus Adjustment (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮影者の撮影時の意図を撮影した静止画及び動画に反映する視線検出可能な装置を提供する。【解決手段】撮像装置において、CPU3は、ユーザの撮影操作によって注視点を確定する確定操作がなされた場合には、表示素子10に表示されている静止画または動画に視線検出情報と注視点確定情報を対応づけて記憶するよう制御する。【選択図】図1
Description
本発明は視線検出可能な装置に関する。
近年カメラの自動化・インテリジェント化が進み、撮影者(ユーザ)の視線位置の情報を取得し用いる技術が提案されている。
特許文献1には、撮影中の撮影者の視線位置情報を画像に付加し、撮影後に撮影位置の軌跡を撮影画像に重畳させて表示する技術が開示されている。
画像に付加する情報に関し、更なる改善が求められている。
そこで、本発明は撮影者の意図の反映を可能にする記録装置、撮像装置、制御方法及び記録システムを提供することを目的とする。
そこで、本発明は、ユーザの眼球画像を取得する眼球用撮像素子と、該眼球用撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出手段と、ユーザの操作によって注視点を確定する確定操作を行う操作部材と、ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶手段と、を有するよう構成したことを特徴とする。
本発明によれば、撮影者の意図の反映することができる。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
<実施例1>
<構成の説明>
図1~図3は、本実施例のカメラの構成図を示した図である。
<構成の説明>
図1~図3は、本実施例のカメラの構成図を示した図である。
図2は本発明におけるデジタルスチルカメラ1の外観を示している。図2(a)は正面斜視図、図2(b)は背面斜視図である。デジタルスチルカメラ1は本実施例においては、図2(a)の正面斜視図に示すように、撮影レンズ1A及びカメラ本体の筐体部1Bで構成されている。また、撮影者(ユーザ)からの撮像操作を受ける操作部材であるレリーズボタン5が配置されている。
また、図2(b)の背面斜視図で示すように、デジタルスチルカメラ1の背面には、カメラ内部に含まれる後述する表示素子を、撮影者が覗きこむための接眼レンズ12が配置されている。また、41~43で示す、操作部材α(タッチパネル対応液晶)、操作部材β(レバー式操作部材)、操作部材γ(ボタン式十字キー)といった、カメラ操作に使用する各種操作部材が配置されているとする。
図1は図2(a)で図示したY軸とZ軸が成すYZ平面でカメラ筐体を切った断面図であり、本発明におけるデジタルスチルカメラ1の構成の概略を示した説明図である。図1及び図2において、対応する部位は同じ番号で表記されている。
図1において、1Aはレンズ交換式カメラにおける撮影レンズを示す。本実施形態では便宜上撮影レンズ1Aの内部を101、102の二枚のレンズで表したが、実際はさらに多数のレンズで構成されていることは周知の通りである。1Bはカメラ本体の筐体部を示し、その内部に含まれるユニットの構成は以下のようになる。2は撮像素子で、デジタルスチルカメラ1の撮影レンズ1Aの予定結像面に配置されている。デジタルスチルカメラ1には、カメラ全体を制御するCPU3、撮像素子2にて撮像された画像を記録するメモリ部4が内包される。また、撮像された画像を表示するための液晶等で構成される表示素子10と、それを駆動する表示素子駆動回路11、表示素子10に表示された被写体像を観察するための接眼レンズ12が配置されている。上記撮像素子2及び表示素子10は請求項1における撮像素子及び表示素子に相当する。
13a~13bは従来より一眼レフカメラ等に用いられている光源の角膜反射による反射象と瞳孔の関係から視線方向を検出するための撮影者の眼球14を照明するための光源で、赤外発光ダイオードからなり、接眼レンズ12の周りに配置されている。照明された眼球像と光源13a~13bの角膜反射による像は接眼レンズ12を透過し、光分割器15で反射され、受光レンズ16によってCCD等の光電素子列を2次元的に配した眼球用撮像素子17上に結像される。受光レンズ16は撮影者の眼球14の瞳孔と眼球用撮像素子17を共役な結像関係に位置付けている。眼球用撮像素子17上に結像された眼球と光源13a~13bの角膜反射による像の位置関係から後述する所定のアルゴリズムで視線方向を検出する。上記眼球用撮像素子は、請求項1における眼球用撮像素子に相当する。
111は撮影レンズ1内に設けた絞り、112は絞り駆動装置、113はレンズ駆動用モーター、114は駆動ギヤ等からなるレンズ駆動部材である。115はフォトカプラでレンズ駆動部材114に連動するパルス板116の回転を検知して、レンズ焦点調節回路118に伝えている。焦点調節回路118は、この情報とカメラ側からのレンズ駆動量の情報に基づいてレンズ駆動用モーター113を所定量駆動させ、撮影レンズ1Aを合焦点位置に移動させるようになっている。117は公知のカメラとレンズとのインターフェイスとなるマウント接点である。6はカメラ内に内蔵された加速度センサでカメラのパンニングを検出する。119はレンズ内に内蔵された加速度センサでレンズのパンニングを検出する。後述するパンニング判定にはカメラに内蔵された加速度センサ6、レンズに内蔵された加速度センサ119のいずれか、あるいは両方を用いる。
図3は前期構成のデジタルカメラ1に内蔵された電気的構成を示すブロック図であり、図1と同一のものは同一番号をつけている。カメラ本体に内蔵されたマイクロコンピュータの中央処理装置3を以下、CPU3と称する。CPU3には視線検出回路201、測光回路202、自動焦点検出回路203、信号入力回路204、表示素子駆動回路11、照明光源駆動回路205、加速度センサ6が接続されている。また、撮影レンズ内に配置された焦点調節回路118、前述の絞り駆動装置112に含まれる絞り制御回路206、加速度センサ119とは図1で示したマウント接点117を介して信号の伝達がなされる。CPU3に付随したメモリ部4は、撮像素子2および眼球用撮像素子17からの撮像信号の記憶機能を有している。メモリ部4は記録媒体5へ接続され、メモリ部4へ記憶した撮像素子2の撮像信号をCPU3が撮影画像へ変換し、記録媒体5へ撮影画像が転送される。
視線検出回路201は、眼球用撮像素子17(CCD-EYE)からの眼球像が結像することによる出力をA/D変換し、この像情報をCPU3に送信する。CPU3は視線検出に必要な眼球像の各特徴点を後述する所定のアルゴリズムに従って抽出し、更に各特徴点の位置から撮影者の視線を算出する。
測光回路202は、測光センサの役割も兼ねる撮像素子2から得られる信号を元に、被写界の明るさに対応した輝度信号出力を増幅後、対数圧縮、A/D変換し、被写界輝度情報として、CPU3に送る。
自動焦点検出回路203は、撮像素子2におけるCCDの中に含まれる、位相差検出の為に使用される複数の画素からの信号電圧をA/D変換し、CPU3に送る。CPU3は前記複数の画素の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差AFとして知られる公知の技術である。本実施例では、一例として、図4のファインダ内視野像で示した箇所に対応する撮像面上の位置に180か所の焦点検出ポイントがあるとする。
信号入力回路204には不図示のレリーズボタン5の第一ストロークでONし、カメラの測光、測距、視線検出動作、撮影者の視線位置を決定する動作等を開始するためのスイッチであるSW1が接続される。また、信号入力回路204にはレリーズボタンの第二ストロークでONし、レリーズ動作を開始するためのスイッチであるSW2が接続される。前記の信号が信号入力回路204に入力され、CPU3に送信される。
また、前述した41~43で示す操作部材α(タッチパネル対応液晶)、操作部材β(レバー式操作部材)、操作部材γ(ボタン式十字キー)は、CPU3にその操作信号が伝わる構成となっている。
図4はファインダ視野内を示した図で、表示素子10が動作した状態を示す。
図4において、300は視野マスク、400は焦点検出領域、4001~4180は表示素子10に示されるスルー画像に、前記撮像面上における複数の焦点検出ポイントに対応する位置に重ねて表示した180個の測距点視標を示す。また、それらの指標の内、現在の推定注視点位置に対応する指標を図における推定注視点Aのように枠を出現させた表示を行う。上記推定注視点位置に枠を表示させる事は請求項1における、前記注視点位置推定手段により推定された注視点位置を示す指標を、前記表示素子上に表示する事に相当する。また、CPU3が表示素子10に対して信号を送り、上記推定注視点位置に枠を表示させる構成は、請求項1における注視点位置表示手段に相当する。
図5は視線検出方法の原理説明図であり、前述の図1の視線検出をおこなうための光学系の要約図に相当する。
図5において、13a、13bは観察者に対して不感の赤外光を放射する発光ダイオード等の光源であり、各光源は受光レンズ16の光軸に対して略対称に配置され観察者の眼球14を照らしている。眼球14で反射した照明光の一部は受光レンズ16によって、眼球用撮像素子17に集光する。
以下、図7、8を用いて、視線の検出手段を説明する。
<視線検出動作の説明>
図7は視線検出の概略フロールーチンを表している。図7において、視線検出ルーチンが開始すると、S001において、光源13a、13bは観察者の眼球14に向けて赤外光を放射する。上記赤外光によって照明された観察者の眼球像は、眼球用撮像素子17上に受光レンズ16を通して結像し、眼球用撮像素子17により光電変換がなされ、眼球像は電気信号として処理が可能となる。
図7は視線検出の概略フロールーチンを表している。図7において、視線検出ルーチンが開始すると、S001において、光源13a、13bは観察者の眼球14に向けて赤外光を放射する。上記赤外光によって照明された観察者の眼球像は、眼球用撮像素子17上に受光レンズ16を通して結像し、眼球用撮像素子17により光電変換がなされ、眼球像は電気信号として処理が可能となる。
ステップS002において上記のように眼球用撮像素子17から得られた眼球画像信号をCPU3に送る。
ステップS003では、S002において得られた眼球画像信号の情報から、図5に示す光源13a、13bの角膜反射像Pd,Pe及び瞳孔中心cに対応する点の座標を求める。光源13a、13bより放射された赤外光は観察者の眼球14の角膜142を照明する。このとき角膜142の表面で反射した赤外光の一部により形成される角膜反射像Pd,Peは受光レンズ16により集光される。そして、眼球用撮像素子17上に結像する(図示の点Pd’, Pe’)。同様に瞳孔141の端部a、bからの光束も眼球用撮像素子17上に結像する。図6では、図6(a)において眼球用撮像素子17から得られる反射像の画像例を、図6(b)に上記画像例の領域αにおける、眼球用撮像素子17から得られる輝度情報例を示す。図示のように、水平方向をX軸、垂直方向をY軸とする。このとき、光源13a、13bの角膜反射像が結像した像Pd’,Pe’のX軸方向(水平方向)の座標をXd,Xeとする。また、瞳孔14bの端部a、bからの光束が結像した像a’,b’のX軸方向の座標をXa、Xbとする。(b)の輝度情報例において、光源13a、13bの角膜反射像が結像した像Pd’,Pe’に相当する位置Xd,Xeでは、極端に強いレベルの輝度が得られている。瞳孔141の領域に相当する、座標XaからXbの間の領域は、上記Xd、Xeの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔141の外側の光彩143の領域に相当する、Xaより低いX座標の値を持つ領域及びXbより高いX座標の値を持つ領域では、前記2種の輝度レベルの中間の値が得られる。上記X座標位置に対する輝度レベルの変動情報から、光源13a、13bの角膜反射像が結像した像Pd’,Pe’のX座標Xd,Xeと、瞳孔端の像a’,b’のX座標Xa、Xbを得ることができる。また、受光レンズ16の光軸に対する眼球14の光軸の回転角θxが小さい場合、眼球用撮像素子17上に結像する瞳孔中心cに相当する箇所(c’とする)の座標Xcは、Xc≒(Xa+Xb)/2と表すことができる。上記より、眼球用撮像素子17上に結像する瞳孔中心に相当するc’のX座標、光源13a、13bの角膜反射像Pd’,Pe’の座標を見積もることができた。
さらに、ステップS004では、眼球像の結像倍率βを算出する。βは受光レンズ16に対する眼球14の位置により決まる倍率で、実質的には角膜反射像Pd‘、Pe’の間隔(Xd-Xe)の関数として求めることができる。
また、ステップS005では、角膜反射像Pd及びPeの中点のX座標と角膜142の曲率中心OのX座標とはほぼ一致するため、角膜142の曲率中心Oと瞳孔141の中心cまでの標準的な距離をOcとすると、眼球14の光軸のZ-X平面内の回転角θXは、
β*Oc*SINθX≒{(Xd+Xe)/2}-Xc
の関係式から求めることができる。また、図5、図6においては、観察者の眼球がY軸に垂直な平面内で回転する場合の回転角θXを算出する例を示しているが、観察者の眼球がX軸に垂直な平面内で回転する場合の回転角θyの算出方法も同様である。
β*Oc*SINθX≒{(Xd+Xe)/2}-Xc
の関係式から求めることができる。また、図5、図6においては、観察者の眼球がY軸に垂直な平面内で回転する場合の回転角θXを算出する例を示しているが、観察者の眼球がX軸に垂直な平面内で回転する場合の回転角θyの算出方法も同様である。
前ステップにおいて観察者の眼球14の光軸の回転角θx、θyが算出されると、ステップS006では、θx、θyを用いて、表示素子10上で観察者の視線の位置(注視している点の位置。以下、注視点と称する。)を求める。注視点位置を表示素子10上での瞳孔141の中心cに対応する座標(Hx,Hy)であるとして、
Hx=m×(Ax×θx+Bx)
Hy=m×(Ay×θy+By)
と算出することができる。この時、係数mはカメラのファインダ光学系の構成で定まる定数で、回転角θx、θyを表示素子10上での瞳孔141の中心cに対応する位置座標に変換する変換係数であり、あらかじめ決定されてメモリ部4に記憶されているとする。また、Ax,Bx,Ay,Byは観察者の視線の個人差を補正する視線補正係数であり、キャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前にメモリ部4に記憶されているものとする。
Hx=m×(Ax×θx+Bx)
Hy=m×(Ay×θy+By)
と算出することができる。この時、係数mはカメラのファインダ光学系の構成で定まる定数で、回転角θx、θyを表示素子10上での瞳孔141の中心cに対応する位置座標に変換する変換係数であり、あらかじめ決定されてメモリ部4に記憶されているとする。また、Ax,Bx,Ay,Byは観察者の視線の個人差を補正する視線補正係数であり、キャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前にメモリ部4に記憶されているものとする。
上記のように表示素子10上での瞳孔141の中心cの座標(Hx,Hy)を算出した後、ステップS007においてメモリ部4に上記座標(以下、注視点位置座標)と眼球画像信号を取得した時刻(以下、視線検出時刻)を記憶して、視線検出ルーチンを終える。
上記は光源13a、13bの角膜反射像を利用した表示素子上での注視点座標取得手法を示したが、それに限られるものではなく、撮像された眼球画像から眼球回転角度を取得する手法であれば本発明は適用可能である。
上記視線検出ルーチンが、請求項1における注視点位置推定手段に相当する。
<注視点位置確定動作の説明>
前記レリーズボタン5は二段式の押し込み操作が可能で、第一ストロークの半押し操作(以下、SW1)でAF動作を指示し、第二ストロークの全押し操作でレリーズ(以下、SW2)することが可能である。前記レリーズボタン5はSW1操作でAF動作を行う前に、撮影者の意思によって注視点位置を決定する(以下、視線確定)機能が含まれ、決定された注視点位置でAF動作をさせることができる。視線確定によって確定された注視点位置情報は、注視点位置座標でも良いし、決定された注視点位置を検出した時刻でも良く、視線検出ルーチンで注視点座標が検出されたタイミングと、撮影者の意思で決定された注視点座標のタイミングが判別できれば良い。視線確定によって決定された注視点位置座標または確定タイミングはメモリ部4に記憶される。
前記レリーズボタン5は二段式の押し込み操作が可能で、第一ストロークの半押し操作(以下、SW1)でAF動作を指示し、第二ストロークの全押し操作でレリーズ(以下、SW2)することが可能である。前記レリーズボタン5はSW1操作でAF動作を行う前に、撮影者の意思によって注視点位置を決定する(以下、視線確定)機能が含まれ、決定された注視点位置でAF動作をさせることができる。視線確定によって確定された注視点位置情報は、注視点位置座標でも良いし、決定された注視点位置を検出した時刻でも良く、視線検出ルーチンで注視点座標が検出されたタイミングと、撮影者の意思で決定された注視点座標のタイミングが判別できれば良い。視線確定によって決定された注視点位置座標または確定タイミングはメモリ部4に記憶される。
また、前記41~43の操作部材α~γにSW1操作同様の視線確定機能を割り付けてもよい。視線確定機能は請求項1における注視点位置確定手段に相当する。
<静止画または動画への関連付け動作の説明>
次に、請求項1における視線検出情報記録手段と確定注視点情報記録手段について図8を用いて説明する。
次に、請求項1における視線検出情報記録手段と確定注視点情報記録手段について図8を用いて説明する。
視線検出が開始されると、ステップS101で視線検出が実行される。ステップS101の視線検出は前記ステップS001~S007に相当する。S101で注視点位置が算出されると、ステップS102においてメモリ部4に前記注視点位置座標と前記視線検出時刻を記憶しステップS103へと進む。S102は前記S008と視線検出情報記録手段に相当する。
S103でSW1操作や前記41~43の操作部材α~γの撮影者の操作により注視点位置が決定された場合には、ステップS104において撮影者の操作により決定された注視点座標または視線検出時刻をメモリ部4に記憶する。S104は確定注視点情報記録手段に相当する。S103で注視点位置が確定されなかった場合にはステップS105へと進む。
S105では現在のモードが静止画撮影モードであるか、動画撮影モードであるかを判定する。静止画撮影モード及び動画撮影モードの切り替えは、カメラ操作に使用する各種操作部材によって、切り替えることができる。ここでいう各種操作部材は、例えば図2(b)41~43で示す、操作部材α(タッチパネル対応液晶)、操作部材β(レバー式操作部材)、操作部材γ(ボタン式十字キー)等である。
静止画撮影モードである場合はS106へと進み、S106ではSW2操作でレリーズされたか否かを判定する。レリーズされなかった場合はS101へと戻り、視線検出を繰り返す。S105に至る前に複数回S103での注視点位置確定操作が行われた場合は、S104にてメモリ部4の最新の注視点確定時の注視点座標または視線検出時刻を更新する。
S106でレリーズボタンが押下された場合はステップS107へと進む。S107でS102の注視点位置座標及び視線検出時刻と、S104の注視点確定時の注視点座標または視線検出時刻を撮影された静止画データとともにCPU3が記録媒体5へ記録する。
S105で動画撮影モードと判定された場合はS108へと進み、S108では動画撮影が終了した否かを判定する。終了していない場合はS101へと戻り、視線検出を繰り返す。静止画モード同様、S105に至る前に複数回S103での注視点位置確定操作が行われた場合は、S104にてメモリ部4の最新の注視点確定時の注視点座標または視線検出時刻を更新する。
S108で動画撮影が終了していない場合はステップS109へと進む。S109でS102の注視点位置座標及び視線検出時刻と、S104の注視点確定時の注視点座標または視線検出時刻を撮影された動画データとともにCPU3が記録媒体5へ記録する。
S101とS102は視線検出が終了するまで繰り返されるため、注視点位置座標及び視線検出時刻はメモリ部4へ過去複数回の視線検出情報が溜め込まれている。このため、S106でレリーズボタンが押されたときや、S108で動画撮影が終了した際には、過去複数回の視線検出結果が静止画の撮影データと関連付けられて記録されることになる。
<実施例2>
実施例2では実施例1の変形例として、図8ステップS106で記録する過去複数回の視線検出情報が重複しないように記録媒体5へ記録する方法を図9で説明する。
実施例2では実施例1の変形例として、図8ステップS106で記録する過去複数回の視線検出情報が重複しないように記録媒体5へ記録する方法を図9で説明する。
前述の実施例1、図8のS107において、静止画と関連付けて記録できるサイズは通常有限なため、過去複数回の視線検出情報は固定長サイズで記録される。この場合、SW2操作でレリーズするまでの過去複数回の視線検出情報が固定回数記録されることになる。
しかし、過去複数回の視線検出情報が連写中においても固定回数記録されると、1つ前の撮影データに付加される過去複数回の視線検出情報が重複する場合がある。例えば、10回分の視線検出結果が1つの撮影データに付加できる場合を考えると、連写間で視線検出ルーチンが5回実施できる場合においては1つ前と現在の視線検出情報は5回分重複する。したがって、現在の撮影画像データにおける過去5回分の視線検出情報が1つ前の撮影画像でも確認することができるため、記録データに無駄が生じてしまう。メモリ部4から記録媒体5への視線検出情報転送時間や記録媒体5の記録可能な容量を考えると、撮影データに関連付ける情報はできるだけ小さいほうが望ましい。
以下に図9を説明する。
図9のステップS201~S206は図8のステップS101~S106と同等のための説明を省略する。ステップS202で記憶した視線検出情報と、ステップ204で記憶した注視点確定情報をステップS206で撮影データに付加すると、ステップS207に進む。S207においてS202でメモリ部4へ記憶した過去複数回の注視点位置座標と視線検出時刻を消去する。
図9によると、連写した場合は次の視線検出ルーチンで検出された視線検出結果がクリアされたメモリ部4へ記録されるため、次のレリーズ時に撮影画像へ付加される過去複数回の視線検出結果は1つ前に記録した過去複数回の視線検出結果と重複することはない。
実施例2は請求項3に記載の撮像装置に相当する。
<実施例3>
実施例3では実施例1および実施例2の変形例として、図8のS104または図9のS204でメモリ部4へ記憶する注視点確定情報の記憶方法について図10で説明する。
実施例3では実施例1および実施例2の変形例として、図8のS104または図9のS204でメモリ部4へ記憶する注視点確定情報の記憶方法について図10で説明する。
図8のS104または図9のS204でメモリ部4へ記憶した注視点確定時の注視点座標または視線検出時刻(以下、視線確定情報)と図8のS102または図9のS202で記憶した過去複数回の視線検出情報が重複する場合がある。実施例2で説明したように、メモリ部4から記録媒体5への視線検出情報転送時間や記録媒体5の記録可能な容量を考えると、可能な限り重複する視線検出情報は排除し、記録媒体5へ記録することが望ましい。このため、過去複数回の視線検出情報と重複する視線確定情報をできるだけ少なくして、過去複数回の視線検出情報の中から視線確定情報が特定できるデータのみを撮影データへ付加することを考える。
図10は視線確定情報の記憶方法について説明した図である。ステップS301~ステップS303は実施例1のステップS101~ステップ103と同様のため説明を省略する。
ステップS303で注視点位置が決定された場合にステップS304へ進み、S302で記憶した過去複数回の視線検出情報と一致する注視点位置情報があるか否かを判定する。S304で過去複数回の視線検出情報と一致する注視点位置情報がある場合には、ステップS305へと進み、視線確定時の視線検出時刻のみをメモリ部4へ記憶する。S304で過去複数回の視線検出情報に注視点位置情報が一致しない場合には、ステップS306へと進み、視線確定時の注視点座標と視線検出時刻の両方をメモリ部4に記憶する。ステップS305及びS306それぞれが実施されるとステップS307へ進む。S307~S311はそれぞれ図8のS105~S109と同様のため説明を省略する。実施例3は請求項4に記載の撮像装置に相当する。
<実施例4>
実施例4では前記確定注視点情報記録手段と前記視線検出情報記録手段により記録される情報について説明する。
実施例4では前記確定注視点情報記録手段と前記視線検出情報記録手段により記録される情報について説明する。
実施例2で説明したように、メモリ部4から記録媒体5への視線検出情報の転送時間や記録媒体5の記録可能な容量を考えると、可能な限り少ない情報を撮影データへ関連付けて記憶することが望ましい。
一方で、前記確定注視点情報記録手段で記録したい確定注視点情報は撮影者の意思で決定されたタイミングの注視点情報であるため、確定タイミングの視線情報のより詳細な情報を記録して第三者へ提供、または解析で利用したいという要望がある。視線確定情報は視線検出情報よりも詳細な情報を記録することで、撮影データへの最小限の情報付加と、確定タイミングの情報詳細化との両立を図るものである。
具体的には確定注視点情報と視線検出情報は以下の情報とするが、この限りではない。
確定注視点情報:注視点座標、視線検出時刻、視線ばらつき度合、まばたき情報、視線角速度、跳躍(別の被写体へ視線が大きくジャンプ)判定情報
視線検出情報(過去複数回の情報を保持):注視点座標、視線検出時刻
<実施例5>
実施例5を図11を用いて説明する。
視線検出情報(過去複数回の情報を保持):注視点座標、視線検出時刻
<実施例5>
実施例5を図11を用いて説明する。
前記注視点位置確定手段は実施例1で説明した通り、撮影者が注視する位置を決定するために用いられる手段である。前記注視点位置確定手段で決定された注視点位置を前記確定注視点情報記録手段により、撮影データと共に記録媒体5へ記録する。
前記注視点位置確定手段による操作は、レリーズタイミングとは異なるため、前記注視点位置確定手段で決定された注視点位置が検出されたタイミングと、撮影データが生成されるタイミングが大きくずれる可能性がある。この場合、視線確定されてからレリーズされるまでの間で、カメラを振ることで撮影シーンが変わってしまうと、視線確定時のシーンが撮影データとして残らないため、視線確定情報が役に立たなくなってしまう。このため、カメラがパンニングされた際には視線確定時の座標や検出時刻をメモリ部4へ記録させない。
以下、図11でフローを説明する。
ステップS401~S404は実施例1の図8、S101~ステップS104と同様のため説明を省略する。
ステップS404が実行されるとS405と進み加速度を取得する。加速度の取得はカメラ内の加速度センサ6またはレンズ内の加速度センサ119から取得する。
一方、まだ注視点位置が確定されていない場合にはステップS406へと進む。S406、S407は実施例1の図8、S105、S106と同等のため説明を省略する。
ステップS408では視線確定から現在まででの間でパンニングを行ったかどうかを判定する。視線確定から現在までのパンニング判定はS405で取得した加速度を用いて、加速度が閾値よりも大きいか否かで判定する。加速度が閾値よりも大きい場合は注視点確定から現在までの間でパンニングしたと判断してステップS409へと進む。
S409では過去複数回の視線検出情報のみを静止画データに関連付けて記録媒体5へ記録する。
一方、S408で加速度が閾値よりも小さいと判定された場合は注視点確定から現在までの間でパンニングしていないと判断してステップS410へと進み、過去複数回の視線検出情報と注視点確定情報の両者を静止画データに関連づけて、記録媒体5へ記録する。
S406で動画撮影モードと判定された場合はステップS411へと進み、撮影が終了したか否かを判定する。S411で撮影終了していない場合には、S401へと戻り視線検出を繰り返す。S411で撮影終了した場合にはステップS412へと進む。
ステップS412では視線確定から現在まででの間でパンニングを行ったかどうかを判定する。視線確定から現在までのパンニング判定はS405で取得した加速度を用いて、加速度が閾値よりも大きいか否かで判定する。加速度が閾値よりも大きい場合は注視点確定から現在までの間でパンニングしたと判断してステップS413へと進む。
S413では過去複数回の視線検出情報のみを動画データに関連付けて記録媒体5へ記録する。
一方、S412で加速度が閾値よりも小さいと判定された場合は注視点確定から現在までの間でパンニングしていないと判断してステップS414へと進み、過去複数回の視線検出情報と注視点確定情報の両者を動画データに関連づけて、記録媒体5へ記録する。
以上のように、実施例5によれば撮影データに対して意味のある注視点位置情報を記録することができる。
<実施例6>
実施例6は実施例5の変形例であり、請求項7に記載の撮像装置に相当する。実施例6では視線確定からレリーズまでの間でパンニングされているか否かで注視点確定情報を撮影データに関連付けるか否かを説明した。
実施例6は実施例5の変形例であり、請求項7に記載の撮像装置に相当する。実施例6では視線確定からレリーズまでの間でパンニングされているか否かで注視点確定情報を撮影データに関連付けるか否かを説明した。
一方で、流し撮りモードのようにカメラをパンニングさせながら撮りたい被写体を画角内に収める撮影手法の場合、パンニングしているけれども視線確定時の注視点位置と被写体の相対的な位置関係が変わらない可能性が高い。この場合は、撮影データに対して前記注視点位置確定手段で決定された注視点位置が意味のある情報となる可能性が高いため、撮影データに関連付ける必要性がある。
図12は流し撮りモード時の撮影データへの注視点位置確定時の注視点位置情報の関連付けを示したフロー図であり、以下にフローを説明する。
ステップS501~S507は実施例5の図11、S401~S407と同様、ステップ512は図11、S412と同様のため説明を省略する。
ステップS508で流し撮りモードと判定した場合にはステップS512へと進み、過去複数回の視線検出情報と視線確定情報の両者を静止画データに関連づけて、記録媒体5へ記録する。
一方、流し撮りモードと判定されない場合にはステップS509へと進む。
流し撮りモードの設定は、図2(b)41~43で示す、操作部材α(タッチパネル対応液晶)、操作部材β(レバー式操作部材)、操作部材γ(ボタン式十字キー)といった、カメラ操作に使用する各種操作部材によって、設定することができる。
S509~S511は実施例5に記載のS408~S410と同様のため説明を省略する。
ステップS513で流し撮りモードと判定した場合にはステップS516へと進み、過去複数回の視線検出情報と視線確定情報の両者を動画データに関連づけて、記録媒体5へ記録する。
一方、流し撮りモードと判定されない場合にはステップS514へと進む。
S514~S516は実施例5に記載のS412~S414と同様のため説明を省略する。
以上のように、実施例6によれば流し撮りモードの場合には撮影データに対して意味のある注視点位置情報を記録することができる。
<実施例7>
実施例7では、前記注視点位置推定手段が有効の時のみ静止画データまたは動画データに関連づけて前記視線検出情報記録手段及び確定注視点情報記録手段でメモリ部4に記録された検出情報を記録する。
実施例7では、前記注視点位置推定手段が有効の時のみ静止画データまたは動画データに関連づけて前記視線検出情報記録手段及び確定注視点情報記録手段でメモリ部4に記録された検出情報を記録する。
注視点位置推定手段の有効・無効の切り替えは、カメラ操作に使用する各種操作部材によって、切り替えることができる。各種操作部材は例えば図2(b)41~43で示す、操作部材α(タッチパネル対応液晶)、操作部材β(レバー式操作部材)、操作部材γ(ボタン式十字キー)等である。
なお、上述の実施例においてはカメラの形態を中心に説明したが、他の装置においても上述の実施例の処理を適用可能である。装置は例えばヘッドマントディスプレイでも良いし、視線検出のための構成、画像の表示のための構成、注視点を確定するための構成、画像やその他の情報を記録するための構成、の各々を別体の装置によって実現する記録システムであっても良い。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
3 CPU
4 メモリ部
5 記録媒体
10 表示素子
14 眼球
17 眼球用撮像素子
119 加速度センサ
4 メモリ部
5 記録媒体
10 表示素子
14 眼球
17 眼球用撮像素子
119 加速度センサ
Claims (10)
- ユーザの眼球画像を取得する撮像素子と、
該撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出手段と、
ユーザの操作によって注視点を確定する確定操作を行う操作部材と、
ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶手段と、を有することを特徴とする記録装置。 - 前記確定操作に関する情報は、前記確定操作が行われたタイミングにおけるユーザの注視点の位置情報を含むことを特徴とする請求項1に記載の記録装置。
- 前記注視点の位置情報は注視点に対応する座標の情報であることを特徴とする請求項2に記載の記録装置。
- 前記確定操作に関する情報は、前記確定操作が行われた時刻に対応する情報を含むことを特徴とする請求項1乃至請求項3のいずれか1項に記載の記録装置。
- 前記記憶手段は、前記確定操作に関する情報に加え、
複数回の視線検出情報を、静止画または動画に対応付けて記録することを特徴とする請求項1乃至請求項4のいずれか1項に記載の記録装置。 - 前記視線検出情報は、注視点の位置情報と当該位置情報を取得した時刻の情報であることを特徴とする請求項5に記載の記録装置。
- 前記記録装置を有する撮像装置であって、
前記確定操作がなされたタイミングにおいて当該撮像装置がパンニングされている場合は、前記確定操作に関する情報を記録しないことを特徴とする請求項1乃至請求項6のいずれか1項に記載の撮像装置。 - ユーザによって前記撮像装置を用いた流し撮り撮影が行われている場合には、当該撮像装置がパンニングされている場合であっても前記確定操作に関する情報を静止画または動画に対応付けて記録することを特徴とする請求項7に記載の撮像装置。
- ユーザの眼球画像を取得する撮像素子を有する記録装置の制御方法であって、
該撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出ステップと、
ユーザの操作によって注視点を確定する確定操作を行う操作ステップと、
ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶ステップと、を有することを特徴とする記録装置の制御方法。 - ユーザの眼球画像を取得する撮像素子と、
該撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出手段と、
ユーザの操作によって注視点を確定する確定操作を行う操作部材と、
ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶手段と、を有することを特徴とする記録システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021076748A JP2022170551A (ja) | 2021-04-28 | 2021-04-28 | 記録装置、撮像装置、制御方法、記録システム |
CN202280031794.0A CN117223280A (zh) | 2021-04-28 | 2022-04-22 | 记录装置、摄像设备、控制方法和记录系统 |
PCT/JP2022/018625 WO2022230783A1 (ja) | 2021-04-28 | 2022-04-22 | 記録装置、撮像装置、制御方法、記録システム |
US18/493,408 US20240085979A1 (en) | 2021-04-28 | 2023-10-24 | Recording device, image-capturing apparatus, control method, and recording system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021076748A JP2022170551A (ja) | 2021-04-28 | 2021-04-28 | 記録装置、撮像装置、制御方法、記録システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022170551A true JP2022170551A (ja) | 2022-11-10 |
Family
ID=83847200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021076748A Pending JP2022170551A (ja) | 2021-04-28 | 2021-04-28 | 記録装置、撮像装置、制御方法、記録システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240085979A1 (ja) |
JP (1) | JP2022170551A (ja) |
CN (1) | CN117223280A (ja) |
WO (1) | WO2022230783A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001036901A (ja) * | 1999-07-15 | 2001-02-09 | Canon Inc | 画像処理装置及び画像処理方法並びにメモリ媒体 |
US7046924B2 (en) * | 2002-11-25 | 2006-05-16 | Eastman Kodak Company | Method and computer program product for determining an area of importance in an image using eye monitoring information |
US11190714B2 (en) * | 2018-03-08 | 2021-11-30 | Sony Interactive Entertainment Inc. | Electronic device, head-mounted display, gaze point detector, and pixel data readout method |
-
2021
- 2021-04-28 JP JP2021076748A patent/JP2022170551A/ja active Pending
-
2022
- 2022-04-22 CN CN202280031794.0A patent/CN117223280A/zh active Pending
- 2022-04-22 WO PCT/JP2022/018625 patent/WO2022230783A1/ja active Application Filing
-
2023
- 2023-10-24 US US18/493,408 patent/US20240085979A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117223280A (zh) | 2023-12-12 |
WO2022230783A1 (ja) | 2022-11-03 |
US20240085979A1 (en) | 2024-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7358530B2 (ja) | 被写体認識装置及び被写体認識装置の制御方法 | |
US11509816B2 (en) | Image processing apparatus, image pickup apparatus, and control method of image processing apparatus | |
WO2022230783A1 (ja) | 記録装置、撮像装置、制御方法、記録システム | |
US20230142934A1 (en) | Electronic device, control method of electronic device, and non-transitory computer readable medium | |
JP2002214659A (ja) | ぶれ補正機能付きカメラ | |
JP2021125867A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、およびプログラム | |
JP3186212B2 (ja) | 視線入力可能なカメラ | |
JP2022096819A (ja) | 視線検出装置 | |
JP5430314B2 (ja) | 撮像装置及びその制御方法 | |
JP4594402B2 (ja) | 自動焦点カメラ | |
JP2023083695A (ja) | 電子機器 | |
US20230186520A1 (en) | Gaze detection apparatus | |
JP3184542B2 (ja) | カメラ | |
JP2024003432A (ja) | 電子機器 | |
JP2022185313A (ja) | 撮像装置 | |
JP2023047605A (ja) | 制御装置、撮像装置、制御方法、およびプログラム | |
JP2023003735A (ja) | 視線検出装置、撮像装置、視線検出方法、プログラム、および、記憶媒体 | |
JP2023006629A (ja) | 制御装置およびその制御方法 | |
JP3647088B2 (ja) | 視線検出手段を有するカメラ | |
JP2022171084A (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2023073758A (ja) | 電子機器、制御方法 | |
JP3406945B2 (ja) | 視線検出機能付光学装置 | |
JP2023063023A (ja) | 電子機器及び電子機器の制御方法 | |
JP3391892B2 (ja) | 視線検出装置、光学装置及び視線検出方法 | |
JP2024053967A (ja) | 視線検出装置、撮像装置、視線検出方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240424 |