JP2023069526A - 電子機器及びその制御方法、プログラム - Google Patents

電子機器及びその制御方法、プログラム Download PDF

Info

Publication number
JP2023069526A
JP2023069526A JP2021181436A JP2021181436A JP2023069526A JP 2023069526 A JP2023069526 A JP 2023069526A JP 2021181436 A JP2021181436 A JP 2021181436A JP 2021181436 A JP2021181436 A JP 2021181436A JP 2023069526 A JP2023069526 A JP 2023069526A
Authority
JP
Japan
Prior art keywords
eye
display
distance
optical system
eyepiece optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021181436A
Other languages
English (en)
Inventor
先 中道
Saki Nakamichi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021181436A priority Critical patent/JP2023069526A/ja
Priority to KR1020220131922A priority patent/KR20230065893A/ko
Priority to US18/050,916 priority patent/US11971552B2/en
Priority to DE102022129075.1A priority patent/DE102022129075A1/de
Priority to CN202211375184.0A priority patent/CN116095452A/zh
Priority to GB2216448.7A priority patent/GB2614592A/en
Publication of JP2023069526A publication Critical patent/JP2023069526A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • G03B13/10Viewfinders adjusting viewfinders field
    • G03B13/14Viewfinders adjusting viewfinders field to compensate for parallax due to short range
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/24Optical objectives specially designed for the purposes specified below for reproducing or copying at short object distances
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • G03B13/04Viewfinders of direct vision type, e.g. frame, sighting mark
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • G03B13/06Viewfinders with lenses with or without reflectors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • G03B13/10Viewfinders adjusting viewfinders field
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Abstract

【課題】ユーザーにとって適度な大きさの表示領域で画像を表示することができる電子機器を提供する。【解決手段】画像を表示する表示部と、表示部を観察するための接眼光学系と、接眼光学系から眼までの距離を取得する取得部と、接眼光学系から眼までの距離に基づいて表示部の表示領域を変更するように表示部を制御する制御部とを備える。【選択図】 図10

Description

本発明は、電子機器が備えるディスプレイの表示領域を変更する技術に関するものである。
デジタルカメラやビデオカメラ等の撮像装置の一部の機種では、被写体の視認のために電子ビューファインダー(EVF)が用いられている。電子ビューファインダーは、カメラの内部に備えられた小型のディスプレイが、複数のレンズで構成された接眼光学系を介して拡大して見えるように構成されている。ユーザーは、この接眼光学系を覗き込むことによって、拡大されたディスプレイ映像を観察することができる。
近年、カメラのファインダーにおいて、表示の高倍率化が望まれる傾向にある。倍率が高いほうが映像を大きく見ることができるため、ピントの合焦具合を確認しやすいというメリットがある。また、大きな視界のファインダーは没入感が高まるため、撮影の楽しさも増す。
しかしながら、ファインダーから眼までの距離が遠くなるような場合(例えば、眼鏡をかけてファインダーを覗く場合等)、表示領域が大きすぎると表示領域の一部がケラレやすくなり、視認性が悪化して、構図を把握しにくくなるという問題がある。
この問題の一つの対策として、特許文献1には、ファインダーの表示領域をユーザーが任意に設定することを可能とした技術が開示されている。
特開2010-016669号公報
しかしながら、特許文献1に開示された従来技術では、ファインダーの表示領域を変更する際に、階層的なメニューから操作する必要がある。そのため、眼鏡で撮影することもあれば裸眼で撮影することもある、というようなユーザーにとっては、表示領域の変更操作が煩わしいという問題があった。
本発明は上述した課題に鑑みてなされたものであり、その目的は、ユーザーにとって適度な大きさの表示領域で画像を表示することができる電子機器を提供することである。
本発明に係わる電子機器は、画像を表示する表示手段と、前記表示手段を観察するための接眼光学系と、前記接眼光学系から眼までの距離を取得する取得手段と、前記接眼光学系から眼までの距離に基づいて前記表示手段の表示領域を変更するように前記表示手段を制御する制御手段と、を備えることを特徴とする。
本発明によれば、ユーザーにとって適度な大きさの表示領域で画像を表示することが可能となる。
本発明の電子機器の第1の実施形態であるレンズ交換式のデジタルカメラの外観を示す図。 第1の実施形態のカメラの断面図。 視線検出機構を含めた光学系の断面図。 視線検出機構を含めた光学系の斜視図。 視線検出機構を用いて視線を検出する場合の光路図。 視野検出方法の原理を説明するための模式図。 眼画像を示す模式図。 視線検出動作を示すフローチャート。 接眼光学系の最終面から眼までの距離について示す模式図。 表示デバイスの表示領域の変え方を示す模式図。 接眼光学系の最終面から眼までの距離に基づいてキャリブレーションに使用する指標の表示を変更することを示す模式図。 表示デバイスの表示領域を変える動作を示すフローチャート。 第2の実施形態における表示デバイスの表示領域の変え方を示す模式図。 第3の実施形態における表示デバイスの表示領域を変える動作を示すフローチャート。 第4の実施形態における表示デバイスの表示領域を変える動作を示すフローチャート。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(第1の実施形態)
<構成の説明>
図1は、本発明の電子機器の第1の実施形態であるレンズ交換式のデジタルカメラ1(以下、カメラ)の外観を示す図である。なお、本発明でいう電子機器は、デジタルカメラに限らず、画像、文字等の情報を表示するデバイスや、接眼光学系を通して光学像を視聴するユーザーの視線を検出することが可能な任意の電子機器を含む。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、ヘッドマウントディスプレイ、双眼鏡などが含まれてもよい。
図1(a)は、カメラ1の正面斜視図であり、図1(b)は、カメラ1の背面斜視図である。
図1(a)に示すように、カメラ1は、撮影レンズユニット1Aとカメラ本体1Bとを有する。カメラ本体1Bには、ユーザー(撮影者)からの撮像操作を受け付ける操作部材であるレリーズボタン5が配置されている。図1(b)に示すように、カメラ本体1Bの背面には、カメラ本体1B内に含まれている後述の表示デバイス6(図3参照)をユーザーが覗き込むための接眼窓枠121が配置されている。
本実施形態における表示部は、表示デバイス6を含む。接眼窓枠121は覗き口13を形成し、カメラ本体1Bに対しては外側(背面側)に突出している。カメラ本体1Bの背面には、ユーザーからの各種操作を受け付ける操作部材41~43も配置されている。例えば、操作部材41はユーザーのタッチ操作を受け付けるタッチパネルであり、操作部材42は各方向に押し倒し可能な操作レバーであり、操作部材43は4方向のそれぞれに押し込み可能な4方向キーである。操作部材41(タッチパネル)は、液晶パネル等の表示パネル40(図3参照)を備えており、画像を表示する機能を有する。
図2は、本実施形態のカメラ1の側断面図であり、カメラ1内の電気的なブロック構成を示す図である。カメラ本体1Bは、被写体像を撮像する撮像素子2を有する。撮像素子2は例えばCCDやCMOSセンサー等からなる撮像素子であり、撮影レンズユニット1Aの光学系により撮像素子2の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をA/D変換し、画像データとして出力する。
撮影レンズユニット1Aは、ズームレンズ、フォーカスレンズ、絞り等を含む光学系を備えて構成され、カメラ本体1Bに装着された状態で、被写体からの光束を撮像素子2に導き、被写体像を撮像素子2の撮像面上に結像させる。絞り制御部118、焦点調節部119、ズーム制御部120は、それぞれマウント接点部117を介してCPU3からの指示信号を受信し、その指示信号に従い、絞り、フォーカスレンズ、ズームレンズを駆動制御する。
カメラ本体1Bが備えるCPU3は、カメラ本体1Bが備える各ブロックに対する制御プログラムをメモリ部4が有するROMから読み出し、メモリ部4が有するRAMに展開して実行する。これによりCPU3は、カメラ本体1Bが備える各ブロックの動作を制御する。CPU3には、視線検出部201、測光部202、自動焦点検出部203、信号入力部204、接眼検知部208、距離算出部209、表示デバイス駆動部210、光源駆動部205等が接続されている。また、CPU3は、撮影レンズユニット1A内に配置された絞り制御部118と焦点調節部119とズーム制御部120とに、マウント接点117を介して信号を伝達する。本実施形態では、メモリ部4は、撮像素子2および視線検出センサー30からの撮像信号の記憶機能を備える。
視線検出部201は、視線検出センサー30(CCD-EYE)上に眼球像が結像した状態での視線検出センサー30の出力(眼球を撮像した眼画像)をA/D変換し、その結果をCPU3に送信する。CPU3は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザーの視線(視認用画像における注視点)を算出する。
また、距離算出部209は、図9に示される接眼光学系16の最終面から眼までの距離32を算出する。距離算出部209は、視線検出センサー30上の角膜反射像の座標に基づいて、接眼光学系16の最終面から眼までの距離32を算出し、出力値をCPU3に送信する。なお、距離算出部209は、角膜反射像の座標に基づいて予め接眼光学系16の最終面から眼までの距離32を算出したテーブルなどから距離32を取得するようにしてもよい。
表示デバイス駆動部210は、距離算出部209が算出した距離に基づいて表示デバイス6の表示領域を決定し、表示を行う。接眼検知部208は、接眼検知センサー50の出力をCPU3に送信する。CPU3は、後述する所定のアルゴリズムに従ってユーザーが接眼したか否かを算出する。光源駆動部205は、CPU3からの指令に従い、光源である赤外LED18~27が所定の発光強度となるように駆動する。
測光部202は、測光センサーの役割を兼ねた撮像素子2から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、A/D変換等を行い、その結果を被写界輝度情報としてCPU3に送る。
自動焦点検出部203は、撮像素子2における画素の中に含まれる、位相差検出のために使用される複数の検出素子(複数の副画素)からの信号電圧をA/D変換し、CPU3に送る。CPU3は、複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を算出する。これは撮像面位相差AFとして知られる公知の技術である。本実施形態では、一例として、ファインダー内の視野像(視認用画像)を分割し、撮像面上の分割された180か所のそれぞれに、焦点検出ポイントがあるものとする。
画像処理部206は、メモリ部4内のRAMに記憶されている画像データに対して、各種画像処理を行う。具体的には、例えば光学系や撮像素子に起因する画素の欠陥補正処理、デモザイキング処理、ホワイトバランス補正処理、色補間処理、ガンマ処理など、デジタル画像データを現像し表示・記録するための様々な画像処理を実行する。
信号入力部204には、レリーズボタン5の第1ストロークでONし、カメラ1の測光、焦点検出、視線検出動作等を開始するためのスイッチSW1と、レリーズボタン5の第2ストロークでONし、撮影動作を開始するためのスイッチSW2が接続されている。スイッチSW1,SW2からのON信号が信号入力部204に入力され、CPU3に送信される。また、信号入力部204は、図1(b)に示した操作部材41(タッチパネル)、42(ボタン)、43(上下左右キー)からの操作入力も受け付ける。
記録/出力部207は、着脱可能なメモリカード等の記録媒体に画像データを含むデータを記録する、または外部インターフェースを介してこれらのデータを外部装置に出力する。
図3は、本実施形態における視線検出機構を含めた光学系の断面図であり、図1(a)に示したY軸とZ軸が成すYZ平面でカメラ1を切断した図である。
シャッター44、撮像素子2は、撮影レンズユニット1Aの光軸方向に順に並ぶ。カメラ本体1Bの背面には、表示パネル40が設けられ、カメラ1の操作やカメラ1で得られた画像を鑑賞・編集するためにメニュー表示や画像表示を行うために用いられる。表示パネル40はバックライト付きの液晶パネルや有機ELパネル等で構成される。
パネルホルダー7は、有機ELパネル等で構成される表示デバイス6を保持するパネルホルダーで、表示デバイス6に接着固定され、表示パネルユニット8を構成している。
第1光路分割プリズム9、第2光路分割プリズム10は貼り付け接着されて光路分割プリズムユニット11(光路分割部材)を構成している。光路分割プリズムユニット11は、表示デバイス6からの光束をユーザーの覗き口13に設けられたアイピース窓17に導き、逆にアイピース窓17から導かれる目(瞳)からの反射光などを図4に示す視線検出センサー30に導く。表示パネルユニット8と光路分割プリズムユニット11は、マスク12を挟んで固定され、一体形成されている。
接眼光学系16は、G1レンズ13、G2レンズ14、G3レンズ15により構成される。電子ビューファインダーは、表示パネルユニット8が、接眼光学系16を介して拡大して見えるように構成されているため、ユーザーは拡大されたディスプレイ映像を観察することができる。
アイピース窓17は、可視光を透過する透明な部材である。表示パネルユニット8に表示された画像は、光路分割プリズムユニット11と接眼光学系16とアイピース窓17を通して観察される。
照明窓20、21は、赤外LED18、19が外から視認できないように隠すための窓で、可視光を吸収し赤外光を透過する樹脂で構成されている。
本実施形態におけるカメラ本体1Bに設けられたEVF(電子ビューファインダー)は、通常のEVFとして表示パネル40のようにメニューや画像の表示が行えることに加えて、EVFを覗くユーザーの視線を検出し、検出結果をカメラ1の制御に反映することが可能に構成されている。
表示デバイス6は、表示パネル40と同様、ユーザーがファインダーを覗いているときに、カメラ1の操作やカメラ1で得られた画像を鑑賞・編集するためのメニュー表示や画像表示を行うために用いられる。表示デバイス6はバックライト付きの液晶パネルや有機ELパネル等で構成される。
図4は、本実施形態における視線検出機構を含めた光学系の斜視図と断面図である。図4(a)は本実施形態におけるEVFの構成を示す斜視図、図4(b)はEVFの光軸についての側断面図である。
アイピース窓17は、可視光を透過する透明な部材である。表示パネル6に表示された画像は、光路分割プリズムユニット11と接眼光学系16とアイピース窓17を通して観察される。
赤外LED18,19,22,23,24,25,26,27は、それぞれ異なる位置・姿勢でユーザーの覗き口13に向けて赤外光を照射するように配置されている。照明窓20,21は、赤外LED18,19,22,23,24,25,26,27が外から視認できないように隠すための窓で、可視光を吸収し赤外光を透過する樹脂で構成されている。
赤外LED18,19,23,25は、近距離照明用の赤外LEDである。赤外LED22,24,26,27は遠距離照明用の赤外LEDである。絞り28、視線結像レンズ29を含む視線検出光学系は、光路分割プリズムユニット11によってアイピース窓17から導かれた赤外反射光をさらに視線検出センサー30に導く。視線検出センサー30は、CCDやCMOSセンサーなどの固体撮像素子で構成される。
接眼検知センサー50は、視線検出用センサー30よりも低電力で駆動可能なフォトダイオードなどで構成される。視線検出用の赤外LED22は、接眼検知用の赤外LEDと兼用されている。赤外LED22はユーザーの眼を照明し、接眼検知センサー50はユーザーからの拡散反射光を受光する。
図4(b)において、赤外LEDにより照明された、覗いているユーザーの眼球像は、アイピース窓17、G3レンズ15、G2レンズ14、G1レンズ13を介し、第2光路分割プリズム10に第2面10aから入射する。この光路を31aで示す。第2光路分割プリズムの第1面10bには、赤外光を反射するダイクロイック膜が形成されている。
図4(a)に示す少なくともいずれかの赤外LEDにより照明された眼球像は、第1面10bにより、第2面10aの方向に反射される。この反射光路を31bで示す。反射光路31bを辿った赤外光は、第2面10aにより全反射され、結像光路31cを辿り、絞り28を介して、視線結像レンズ29により視線検出センサー30に結像される。
視線検出のためには、照明による眼球像と併せて、赤外LEDの角膜による正反射で形成される角膜反射像が用いられる。図5は近距離照明用赤外LED18,19,23,25から出射された光が眼球の角膜611で正反射され、視線検出センサー30で受光されるまでの光路の例を示している。
<視線検出動作の説明>
図6、図7(a)、図7(b)、図8を用いて、視線検出方法について説明する。
図6は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。
図6に示すように、光源601a,601bは受光レンズ618(図4(b)における視線結像レンズ29に対応)の光軸に対して略対称に配置され、ユーザーの眼球610を照らす。光源601a,601bから発せられて眼球610で反射された光の一部は、受光レンズ618によって、視線検出センサー620(図4、図5における視線検出センサー30に対応)に集光される。
図7(a)は、視線検出センサー620で撮像された眼画像(視線検出センサー620に投影された眼球像)の概略図であり、図7(b)は視線検出センサー620における撮像素子の出力強度を示す図である。図8は、視線検出動作の概略フローチャートを示している。
視線検出動作が開始されると、図8のステップS801において、CPU3は、光源601a,601bを発光させ、ユーザーの眼球610に向けて視線検出用の発光強度E2の赤外光を照射する。赤外光によって照明されたユーザーの眼球像は、受光レンズ618を通して視線検出センサー620上に結像され、視線検出センサー620により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。
ステップS802では、CPU3は、視線検出部201を用いて、視線検出センサー620から眼画像(眼画像信号;眼画像の電気信号)を取得する。
ステップS803では、CPU3は、ステップS802で得られた眼画像から、光源601a,601bの角膜反射像Pd,Peと瞳孔中心cに対応する点の座標を求める。
光源601a,601bから発せられた赤外光は、ユーザーの眼球610の角膜611を照明する。このとき、角膜611の表面で反射した赤外光の一部により形成される角膜反射像Pd,Peは、受光レンズ618により集光され、視線検出センサー620上に結像されて、眼画像における角膜反射像Pd’,Pe’となる。同様に瞳孔612の端部a,bからの光束も視線検出センサー620上に結像されて、眼画像における瞳孔端像a’,b’となる。
図7(b)は、図7(a)の眼画像における領域α’の輝度情報(輝度分布)を示す図である。図7(b)では、眼画像の水平方向をX軸方向、垂直方向をY軸方向とし、X軸方向の輝度分布が示されている。本実施形態では、角膜反射像Pd’,Pe’のX軸方向(水平方向)の座標をXd,Xeとし、瞳孔端像a’,b’のX軸方向の座標をXa,Xbとする。
図7(b)に示すように、角膜反射像Pd’,Pe’の座標Xd,Xeでは、極端に高いレベルの輝度が得られる。瞳孔612の領域(瞳孔612からの光束が視線検出センサー620上に結像して得られる瞳孔像の領域)に相当する、座標Xaから座標Xbまでの領域では、座標Xd,Xeを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔612の外側の光彩613の領域(光彩613からの光束が結像して得られる、瞳孔像の外側の光彩像の領域)では、上記2種の輝度の中間の輝度が得られる。具体的には、X座標(X軸方向の座標)が座標Xaより小さい領域と、X座標が座標Xbより大きい領域とで、上記2種の輝度の中間の輝度が得られる。
図7(b)に示すような輝度分布から、角膜反射像Pd’,Pe’のX座標Xd,Xeと、瞳孔端像a’,b’のX座標Xa,Xbを得ることができる。具体的には、輝度が極端に高い座標を角膜反射像Pd’,Pe’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像a’,b’の座標として得ることができる。また、受光レンズ618の光軸に対する眼球610の光軸の回転角θxが小さい場合には、瞳孔中心cからの光束が視線検出センサー30上に結像して得られる瞳孔中心像c’(瞳孔像の中心)の座標Xcは、Xc≒(Xa+Xb)/2と表すことができる。つまり、瞳孔端像a’,b’のX座標Xa,Xbから、瞳孔中心像c’の座標Xcを算出できる。このようにして、角膜反射像Pd’,Pe’の座標と、瞳孔中心像c’の座標とを見積もることができる。
ステップS804では、CPU3は、眼球像の結像倍率βを算出する。結像倍率βは、受光レンズ618に対する眼球610の位置により決まる倍率で、角膜反射像Pd’,Pe’の間隔(Xd-Xe)の関数を用いて求めることができる。
ステップS805では、CPU3は、受光レンズ618の光軸に対する眼球610の光軸の回転角を算出する。角膜反射像Pdと角膜反射像Peの中点のX座標と角膜611の曲率中心OのX座標とはほぼ一致する。このため、角膜611の曲率中心Oから瞳孔612の中心cまでの標準的な距離をOcとすると、Z-X平面(Y軸に垂直な平面)内での眼球610の回転角θXは、以下の(式1)で算出することができる。Z-Y平面(X軸に垂直な平面)内での眼球610の回転角θyも、回転角θxの算出方法と同様の方法で算出することができる。
β×Oc×SINθX≒{(Xd+Xe)/2}-Xc …(式1)
ステップS806では、CPU3は、ステップS805で算出した回転角θx,θyを用いて、表示デバイス6に表示された視認用画像におけるユーザーの視点(視線が注がれた位置;ユーザーが見ている位置)を求める(推定する)。視点の座標(Hx,Hy)が瞳孔中心cに対応する座標であるとすると、視点の座標(Hx,Hy)は以下の(式2)、(式3)で算出することができる。
Hx=m×(Ax×θx+Bx) …(式2)
Hy=m×(Ay×θy+By) …(式3)
(式2)、(式3)のパラメータmは、カメラ1のファインダー光学系(受光レンズ618等)の構成で定まる定数で、回転角θx,θyを視認用画像において瞳孔中心cに対応する座標に変換する変換係数であり、予め決定されてメモリ部4に格納されているものとする。パラメータAx,Bx,Ay,Byは、視線の個人差を補正する視線補正パラメータであり、キャリブレーションを行うことで取得され、視線検出動作が開始される前にメモリ部4に格納されるものとする。
キャリブレーションは、ユーザーの眼の特徴を取得するプロセスであり、回転角から視点の座標を算出する場合に適用するものである。複数の指標をユーザーに注視させた際の眼画像に基づいて、敏感度と視軸ずれの補正パラメータを算出する。敏感度は上記パラメータAx,Ayで、視軸ずれは上記パラメータBx,Byで補正される。
ステップS807では、CPU3は、視点の座標(Hx,Hy)をメモリ部4に格納し、視線検出動作を終了する。
図9は、接眼光学系の最終面から眼までの距離32を示す図である。
接眼光学系16の最終面から眼までの距離32は、角膜反射像Pd’,Pe’の座標や2点の間隔の関数を用いて求めることができる。この関数は、シミュレーションまたは実機での実測結果に基づいて作られる。
図10(a)、図10(b)は、ディスプレイの表示領域の変え方について示す図である。
本実施形態における表示領域とは、ОLED(Organic Light Emitting Diode)が並んでいる表示可能領域全体のうち実際にОLEDが光っている領域のことを意味する。接眼光学系16の最終面からユーザーの眼までの距離32に基づいて、ディスプレイの表示領域を変える。
図10(a)に示されるように、ユーザーの眼が接眼光学系と近ければ、表示領域を広くする。図10(a)には、表示可能領域全体を使って表示がなされている状態が示されている。逆に、図10(b)に示されるように、ユーザーの眼が接眼光学系から遠ければ表示領域を狭くする。なお、本実施形態では、ユーザーの眼と接眼光学系の距離が近いほど、表示領域を相対的に広いサイズに設定し、遠いほど相対的に狭いサイズに設定することを想定している。しかし、ユーザーの眼と接眼光学系の距離が所定の閾値以下であれば、表示領域を広くし(例えば、表示可能領域全体)、所定の閾値より大きければ、所定の閾値以下の場合よりも表示領域を狭くするように切り替えてもよい。また、このような閾値を複数設け、その前後で段階的に表示領域を変更するようにしてもよい。
また、本実施形態においては、ディスプレイの表示領域を変える際に、OSD(On Screen Display)表示とライブビュー表示の両方を変更する。OSD表示には、絞りやシャッタースピード等、撮影時のカメラ設定や、バッテリー残量等の情報が表示されることを想定している。
図11(a)、図11(b)は、接眼光学系16の最終面から眼までの距離32に基づいてキャリブレーション(CAL)に使用する指標の表示を変更することを示した図である。
本実施形態においては、視線検出のキャリブレーション時に、中央指標を見ている状態で接眼光学系16の最終面から眼までの距離32を測定し、その距離に基づいてキャリブレーション内容を変更する。視線検出のキャリブレーションにおいて、ユーザーは指定された複数の指標を一定時間注視することが求められる。
図11(a)に示されるように、ユーザーの眼が接眼光学系と近ければ、その距離に基づいて周辺の指標の配置を変更する。キャリブレーションにおいては、周辺の指標は接眼光学系16の光軸からの像高が高ければ高いほど精度を上げることができる。接眼光学系16の最終面から眼までの距離32が短い場合は、ユーザーが安定して視認できるディスプレイ領域が広いため、図11(a)に示すように周辺指標を対角に配置し、周辺指標の像高を確保することが可能である。
図11(b)に示されるように、ユーザーの眼が接眼光学系16から遠ければ、その距離に基づいて周辺の指標の像高を低く変更する。測定した接眼光学系16の最終面から眼までの距離32に応じて、ユーザーが安定して視認できるディスプレイ領域が変化する。例えば距離が短ければ安定して視認できる領域は広くなり、距離が長ければ安定して視認できる領域は狭くなる。そのため、周辺指標をその領域内に配置することにより、周辺指標を確実にユーザーに注視させることが可能となる。
図12は、ディスプレイの表示領域を変える動作を示すフローチャートである。この動作は、ステップS1201で、ユーザーがカメラ1の電源をONにすることにより開始される。
ステップS1202では、CPU3は、ユーザーにキャリブレーションを実施するか否かを問いかける表示を、例えば表示パネル40に表示する。
ユーザーが「キャリブレーションを実施する」と答えた場合、CPU3は、ステップS1203に処理を進め、キャリブレーションを実施する。この際に、接眼光学系16の最終面から眼までの距離32を算出する。
ステップS1204では、CPU3は、ステップS1203で算出した接眼光学系16の最終面から眼までの距離32に基づいて、そのユーザーに最適化されたディスプレイの表示領域を決定する。
ステップS1202で、ユーザーが「キャリブレーションを実施しない」と答えた場合、CPU3は、ステップS1205に処理を進める。ステップS1205では、CPU3は、以前キャリブレーションを行った際に決定された表示領域の読み出しを行う。この際に、ユーザーはユーザー固有のキャリブレーションデータを選択することが求められる。
ステップS1206では、CPU3は、ステップS1205で読み出された表示領域に基づいて表示領域を決定する。
ステップS1207では、CPU3は、決定された表示領域に基づいて実際に表示デバイス6の表示領域を変更する。
以上説明したように、本実施形態では、電子機器において、接眼光学系の最終面から眼までの距離に基づいて表示部の表示領域を変更する。具体的には、距離が短ければ表示領域を大きく、距離が長ければ表示領域を小さくしている。これにより、煩わしい設定等をすることなく、ユーザーにとって最適な表示領域で画像を表示することができる。
また、本実施形態では、角膜反射像を用いて、接眼光学系の最終面から眼までの距離を算出する。視線検出センサーが取得する画像の角膜反射像の座標に基づいて、接眼光学系の最終面から眼までの距離を算出することが可能である。これにより、視線検出手段と距離算出手段をそれぞれ別に設ける構成と比較して、特別に距離算出のための手段を必要としないため、機器の複雑化や大型化を防止でき、より安価な構成とすることができる。
また、本実施形態では、視線検出用キャリブレーション時に、接眼光学系の最終面から眼までの距離に応じてキャリブレーションに使用する指標の表示を変更する。これにより、接眼光学系の最終面から眼までの距離に応じてキャリブレーションに使用する指標の表示を変更しない構成と比較して、キャリブレーションの確実性や効果を上げることができる。そのため、視線検出の安定性や精度の向上が見込まれる。
また、本実施形態では、表示部の表示領域を変える際に、OSD表示とライブビュー表示の両方を変更する。これにより、ライブビュー表示のみを変更しOSD表示を一定に保つ構成と比較して、ライブビュー表示だけでなくOSD表示も併せて視認性を確保することができる。そのため、ユーザーは撮影時にカメラ設定やバッテリー残量等の情報を把握しやすくなる。
また、本実施形態では、視線検出のキャリブレーション時に接眼光学系の最終面から眼までの距離を算出する。これにより、一度ユーザー固有の距離を取得して記録しておけば、次回以降はキャリブレーションデータを選択するだけで容易にユーザーに最適化された表示領域を読み出すことができる。そのため、ユーザーは迅速に撮影に移行することができる。
(第2の実施形態)
以下、図13(a)、図13(b)を参照して、第2の実施形態について説明する。
第1の実施形態では、ディスプレイの表示領域を変える際に、OSD表示とライブビュー表示の両方を変更した。これに対し、第2の実施形態では、表示領域を変更する際に、ライブビュー表示のみを変更しOSD表示を一定に保つこととする。
図13(a)は、眼が接眼光学系に近い場合を示している。図13(b)は、眼が接眼光学系から遠い場合を示している。
本実施形態では、カメラからの眼の遠近によらず、OSD表示が一定であり、ライブビュー表示の表示領域のみを変化させる。これにより、OSD表示とライブビュー表示の両方を変更する構成と比較して、ライブビュー表示の視認性を確保しつつも、カメラ設定やバッテリー残量等の情報を示す文字のフォントが小さく見えづらくなることを防ぐことができる。
(第3の実施形態)
以下、図14を参照して、第3の実施形態について説明する。
第1の実施形態では、視線検出のキャリブレーション時に接眼光学系16の最終面から眼までの距離32を算出した。これに対し、第3の実施形態では、接眼したと検知された後に距離を算出する。
図14のステップS1401では、CPU3は、接眼検知部208を用いて接眼を検知する。
ステップS1402では、CPU3は、接眼光学系16の最終面から眼までの距離が安定したか否かを判断する。ここでは、接眼検知センサー50が受光する反射光量が接眼判定閾値を超えて安定しているか否かをCPU3が判別する。反射光量が接眼判定閾値を超えて安定している場合は、距離が安定したと判断し、CPU3は、ステップS1403に処理を進める。一方、反射光量が接眼判定閾値を超えていない若しくは安定していない場合は、CPU3は、距離が安定していないと判断し、距離が安定するまでステップS1402の処理を繰り返す。
ステップS1403では、CPU3は、接眼光学系16の最終面から眼までの距離を算出する。
ステップS1404では、CPU3は、ステップS1403で算出した距離に基づいて、ディスプレイの表示領域を決定する。
ステップS1405では、CPU3は、ステップS1404で決定された表示領域に基づいて、ディスプレイを点灯させる。
本実施形態では、ユーザーの眼がカメラに接眼したと検知された後に接眼光学系の最終面から眼までの距離を算出する。これにより、接眼の度に距離を算出し表示領域を変更するため、その時々のユーザーのファインダーの覗き方に最適化された表示領域で表示することができる。
(第4の実施形態)
以下、図15を参照して、第4の実施形態について説明する。
第1の実施形態では、視線検出のキャリブレーション時に接眼光学系16の最終面から眼までの距離32を算出した。これに対し、第4の実施形態では、ディスプレイの表示領域を変更するためのボタンの押下が検知された時に距離を算出する。本実施形態では、カメラ本体1Bの表面に、ディスプレイの表示領域を変更するためのボタンが備えられていることを想定している。
図15のステップS1501では、CPU3は、ディスプレイの表示領域を変更するためのボタンの押下を検知する。
ステップS1502では、CPU3は、接眼光学系16の最終面から眼までの距離32を算出する。
ステップS1503では、CPU3は、ステップS1502で算出された距離に基づいて、ディスプレイの表示領域を決定する。
ステップS1504では、CPU3は、ステップS1503で決定された表示領域に基づいて、ディスプレイの表示領域を変更する。
本実施形態では、ディスプレイの表示領域を変更するためのボタンの押下が検知された時に、接眼光学系の最終面から眼までの距離を算出する。これにより、ユーザーが表示領域を変更したいと思った時に、再度距離算出を行い、適切な表示領域で表示を行うことができる。
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
6:表示デバイス、30:視線検出センサー、32:接眼光学系の最終面から眼までの距離、201:視線検出部、209:距離算出部、210:表示デバイス駆動部

Claims (13)

  1. 画像を表示する表示手段と、
    前記表示手段を観察するための接眼光学系と、
    前記接眼光学系から眼までの距離を取得する取得手段と、
    前記接眼光学系から眼までの距離に基づいて前記表示手段の表示領域を変更するように前記表示手段を制御する制御手段と、
    を備えることを特徴とする電子機器。
  2. 前記制御手段は、前記接眼光学系から眼までの距離が第1の距離の場合、前記表示領域を第1のサイズに設定し、前記接眼光学系から眼までの距離が前記第1の距離よりも長い第2の距離の場合、前記表示領域を前記第1のサイズよりも小さい第2のサイズに設定することを特徴とする請求項1に記載の電子機器。
  3. 前記制御手段は、前記接眼光学系から眼までの距離に応じて、段階的に前記表示領域を変更することを特徴とする請求項1または2に記載の電子機器。
  4. 前記取得手段は、眼の角膜反射像を用いて、前記接眼光学系から眼までの距離を取得することを特徴とする請求項1乃至3のいずれか1項に記載の電子機器。
  5. 視線を検出する視線検出手段をさらに備え、前記取得手段は、前記視線検出手段のキャリブレーションを行うときに、前記接眼光学系から眼までの距離を取得することを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。
  6. 前記視線検出手段は、前記接眼光学系から眼までの距離に応じて、キャリブレーションに使用する指標の表示を変更することを特徴とする請求項5に記載の電子機器。
  7. 前記取得手段は、ユーザーの眼が接眼したと検知された場合に、前記接眼光学系から眼までの距離を取得することを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。
  8. 前記取得手段は、前記表示手段の表示領域を変更するための操作部材が操作された場合に、前記接眼光学系から眼までの距離を取得することを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。
  9. 前記制御手段は、前記表示手段の表示領域を変更する場合に、OSD表示とライブビュー表示の両方を変更することを特徴とする請求項1乃至8のいずれか1項に記載の電子機器。
  10. 前記制御手段は、前記表示手段の表示領域を変更する場合に、ライブビュー表示のみを変更し、OSD表示を一定に保つことを特徴とする請求項1乃至8のいずれか1項に記載の電子機器。
  11. 被写体を撮像する撮像手段をさらに備えることを特徴とする請求項1乃至10のいずれか1項に記載の電子機器。
  12. 画像を表示する表示手段と、前記表示手段を観察するための接眼光学系とを備える電子機器を制御する方法であって、
    前記接眼光学系から眼までの距離を取得する取得工程と、
    前記接眼光学系から眼までの距離に基づいて前記表示手段の表示領域を変更するように前記表示手段を制御する制御工程と、
    を有することを特徴とする電子機器の制御方法。
  13. 請求項12に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2021181436A 2021-11-05 2021-11-05 電子機器及びその制御方法、プログラム Pending JP2023069526A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021181436A JP2023069526A (ja) 2021-11-05 2021-11-05 電子機器及びその制御方法、プログラム
KR1020220131922A KR20230065893A (ko) 2021-11-05 2022-10-14 전자기기, 그 제어 방법, 및 기억매체
US18/050,916 US11971552B2 (en) 2021-11-05 2022-10-28 Electronic device, method of controlling the same, and storage medium
DE102022129075.1A DE102022129075A1 (de) 2021-11-05 2022-11-03 Elektronische Vorrichtung, Verfahren zur Steuerung der elektronischen Vorrichtung und Programm
CN202211375184.0A CN116095452A (zh) 2021-11-05 2022-11-04 电子装置及其控制方法和存储介质
GB2216448.7A GB2614592A (en) 2021-11-05 2022-11-04 Electronic device, method of controlling the same, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021181436A JP2023069526A (ja) 2021-11-05 2021-11-05 電子機器及びその制御方法、プログラム

Publications (1)

Publication Number Publication Date
JP2023069526A true JP2023069526A (ja) 2023-05-18

Family

ID=84839606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021181436A Pending JP2023069526A (ja) 2021-11-05 2021-11-05 電子機器及びその制御方法、プログラム

Country Status (6)

Country Link
US (1) US11971552B2 (ja)
JP (1) JP2023069526A (ja)
KR (1) KR20230065893A (ja)
CN (1) CN116095452A (ja)
DE (1) DE102022129075A1 (ja)
GB (1) GB2614592A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160343A (ja) * 1994-12-05 1996-06-21 Olympus Optical Co Ltd 画像表示装置
US6816313B2 (en) 2000-12-21 2004-11-09 Canon Kabushiki Kaisha Display unit, display method, and display instrument employing the same
JP5078781B2 (ja) 2008-07-04 2012-11-21 オリンパス株式会社 画像表示装置及び撮像装置
US20160116740A1 (en) * 2014-10-24 2016-04-28 Seiko Epson Corporation Display device, control method for display device, display system, and computer program
JP6579899B2 (ja) * 2015-10-09 2019-09-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
EP3771967A3 (en) 2019-08-02 2021-06-02 Canon Kabushiki Kaisha Electronic device, control method, and computer readable medium

Also Published As

Publication number Publication date
GB202216448D0 (en) 2022-12-21
DE102022129075A1 (de) 2023-05-11
CN116095452A (zh) 2023-05-09
US11971552B2 (en) 2024-04-30
GB2614592A (en) 2023-07-12
KR20230065893A (ko) 2023-05-12
US20230148300A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US20210034151A1 (en) Electronic device, control method, and non-transitory computer readable medium
JP2024003037A (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
US20230013134A1 (en) Electronic device
US11822714B2 (en) Electronic device and control method for capturing an image of an eye
JP2023069526A (ja) 電子機器及びその制御方法、プログラム
JP7446898B2 (ja) 電子機器
JP2021125867A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、およびプログラム
JP2023045131A (ja) 検出装置、制御方法およびプログラム
JP2022124778A (ja) 電子機器
JP2021182736A (ja) 電子機器
WO2021085541A1 (ja) 撮像装置、電子機器、ファインダーユニット
JP2023102822A (ja) 表示装置、ファインダ装置、および撮像装置
JPH05183798A (ja) ビデオカメラ
US20240114228A1 (en) Line-of-sight detecting apparatus, image pickup apparatus, line-of-sight detecting method, and storage medium
JP2022096819A (ja) 視線検出装置
JP2022171084A (ja) 撮像装置及びその制御方法、並びにプログラム
JP2023063023A (ja) 電子機器及び電子機器の制御方法
JP2023083695A (ja) 電子機器
JP2021064928A (ja) 電子機器
JP2021076832A (ja) 撮像装置、電子機器、ファインダーユニット
JP2023087377A (ja) 視線検出装置
JPH0943494A (ja) 視線検出手段を有する光学機器
JP2002301031A (ja) 視線検出装置、視線検出機能付き機器及びカメラ