JP2021168449A - Display unit and method for controlling the same, program, and storage medium - Google Patents

Display unit and method for controlling the same, program, and storage medium Download PDF

Info

Publication number
JP2021168449A
JP2021168449A JP2020071197A JP2020071197A JP2021168449A JP 2021168449 A JP2021168449 A JP 2021168449A JP 2020071197 A JP2020071197 A JP 2020071197A JP 2020071197 A JP2020071197 A JP 2020071197A JP 2021168449 A JP2021168449 A JP 2021168449A
Authority
JP
Japan
Prior art keywords
display unit
gradation
display
unit
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020071197A
Other languages
Japanese (ja)
Other versions
JP7497196B2 (en
Inventor
翔平 細田
Shohei Hosoda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020071197A priority Critical patent/JP7497196B2/en
Publication of JP2021168449A publication Critical patent/JP2021168449A/en
Application granted granted Critical
Publication of JP7497196B2 publication Critical patent/JP7497196B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Abstract

To reduce discomfort given to a user due to a difference in an appearance of an image when a plurality of display parts different in a displayable gradation range is switched.SOLUTION: A digital camera has: a first display part that is provided in a finder; a second display part that is provided outside the finder; switching means that switches a display destination to any one of the first display part and the second display part in accordance with a result of eye contact detection detecting a state of eye contact with the finder; a line of sight detection unit that detects a position of a user's line of sight in the first display part; and control means that controls gradation characteristics of a video signal to be output to the first display part or the second display part. When a display destination is the first display part, the control means outputs a video signal having first gradation characteristics to the first display part, and when the display destination is the second display part, outputs, to the second display part, a video signal having second gradation characteristics obtained by converting the first gradation characteristics in accordance with gradation of an area including a user's attention position or a video signal having third gradation characteristics different from the second gradation characteristics.SELECTED DRAWING: None

Description

本発明は、表示可能な階調が異なる複数の表示部の表示制御技術に関する。 The present invention relates to a display control technique for a plurality of display units having different displayable gradations.

デジタルカメラなどの撮像装置で撮影したHDR(High Dynamic Range)画像を忠実に再現しながらカメラ本体で表示するにはHDRに適応した表示装置が必要である。しかしながら、カメラ本体に付属された表示装置がHDR非適応の場合には 、HDR画像を忠実に再現することが難しい。 An HDR-compatible display device is required to faithfully reproduce an HDR (High Dynamic Range) image taken by an imaging device such as a digital camera and display it on the camera body. However, when the display device attached to the camera body is not compatible with HDR, it is difficult to faithfully reproduce the HDR image.

特許文献1には、撮影画像の階調を確認するために表示装置に対して適切なダイナミックレンジを設定し、忠実な再現は難しいまでもHDRを擬似的に再現する技術が開示されている。 Patent Document 1 discloses a technique of setting an appropriate dynamic range for a display device in order to confirm the gradation of a captured image and reproducing HDR in a pseudo manner even if faithful reproduction is difficult.

特開2018−148397号公報JP-A-2018-148397

特許文献1では、カメラが表示可能なダイナミックレンジが異なる複数の表示装置を持つ場合に、一方の表示部がHDR適応、もう一方がHDR非適応であると、ユーザが画面を切り替えて画像を見たときに、各画面に表示される画像の輝度やコントラストの違いに基づく画像の見えの相違からユーザに違和感を与えてしまう。 In Patent Document 1, when a camera has a plurality of display devices having different dynamic ranges that can be displayed, if one display unit is HDR-adaptive and the other is HDR non-adaptive, the user switches the screen to view an image. At that time, the difference in the appearance of the image based on the difference in the brightness and contrast of the image displayed on each screen gives the user a sense of discomfort.

本発明は、上記課題に鑑みてなされ、その目的は、表示可能な階調範囲が異なる複数の表示部を切り替えて画像を見たときに、画像の見えの相違からユーザに与える違和感を軽減できる技術を実現することである。 The present invention has been made in view of the above problems, and an object of the present invention is to reduce the discomfort given to the user due to the difference in the appearance of the image when the image is viewed by switching a plurality of display units having different displayable gradation ranges. It is to realize the technology.

上記課題を解決し、目的を達成するために、本発明の表示装置は、ファインダーに設けられた第1の表示部と、ファインダー外に設けられた第2の表示部と、前記ファインダーに対する接眼状態を検知する接眼検知手段と、前記接眼検知手段による検知結果に応じて、前記第1の表示部と前記第2の表示部のいずれに表示先を切り替える切り替え手段と、前記第1の表示部におけるユーザの視線位置を検出する視線検出手段と、前記第1の表示部または前記第2の表示部に出力する映像信号の階調特性を制御する制御手段と、を有し、前記制御手段は、表示先が前記第1の表示部の場合には第1の階調特性の映像信号を前記第1の表示部に出力し、表示先が前記第2の表示部の場合には、ユーザの注視位置を含む領域の階調に応じて前記第1の階調特性を変換した第2の階調特性の映像信号または前記第2の階調特性とは異なる第3の階調特性の映像信号を前記第2の表示部に出力する。 In order to solve the above problems and achieve the object, the display device of the present invention includes a first display unit provided in the finder, a second display unit provided outside the finder, and an eye contact state with respect to the finder. The eyepiece detecting means for detecting the above, the switching means for switching the display destination to either the first display unit or the second display unit according to the detection result by the eyepiece detecting means, and the first display unit. The control means includes a line-of-sight detecting means for detecting the line-of-sight position of the user and a control means for controlling the gradation characteristics of the video signal output to the first display unit or the second display unit. When the display destination is the first display unit, the video signal having the first gradation characteristic is output to the first display unit, and when the display destination is the second display unit, the user's attention is paid. A video signal having a second gradation characteristic obtained by converting the first gradation characteristic according to the gradation of a region including a position or a video signal having a third gradation characteristic different from the second gradation characteristic. Output to the second display unit.

本発明によれば、表示可能な階調範囲が異なる複数の表示部を切り替えて画像を見たときに、画像の見えの相違からユーザに与える違和感を軽減できる。 According to the present invention, when a plurality of display units having different displayable gradation ranges are switched to view an image, it is possible to reduce a sense of discomfort given to the user due to the difference in the appearance of the image.

本実施形態のデジタルカメラの外観図。The external view of the digital camera of this embodiment. 本実施形態のデジタルカメラの構成を示すブロック図。The block diagram which shows the structure of the digital camera of this embodiment. 実施形態1の表示制御処理を示すフローチャート。The flowchart which shows the display control processing of Embodiment 1. 実施形態1の表示制御処理の説明図。The explanatory view of the display control processing of Embodiment 1. 実施形態1の表示制御処理における階調変換特性を例示する図。The figure which illustrates the gradation conversion characteristic in the display control processing of Embodiment 1. FIG. 図3のステップS304における注視領域判定処理を示すフローチャート。The flowchart which shows the gaze area determination process in step S304 of FIG. 図6の注視領域判定処理の説明図。The explanatory view of the gaze area determination process of FIG. 実施形態2の注視領域判定処理の説明図。The explanatory view of the gaze area determination process of Embodiment 2. 実施形態2の注視領域判定処理を示すフローチャート。The flowchart which shows the gaze area determination process of Embodiment 2. 実施形態3のHDRアシスト表示設定画面を例示する図。The figure which illustrates the HDR assist display setting screen of Embodiment 3. FIG. 実施形態3の再生モード時の表示制御処理を示すフローチャート。The flowchart which shows the display control processing in the reproduction mode of Embodiment 3.

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential to the invention, and the plurality of features may be arbitrarily combined. Further, in the attached drawings, the same or similar configurations are given the same reference numbers, and duplicate explanations are omitted.

[実施形態1]
以下に、本発明の表示装置を、静止画や動画を撮影可能なデジタル一眼レフカメラに適用した実施の形態について、添付図面を参照して詳細に説明する。
[Embodiment 1]
Hereinafter, embodiments in which the display device of the present invention is applied to a digital single-lens reflex camera capable of capturing still images and moving images will be described in detail with reference to the accompanying drawings.

<装置構成>図1及び図2を参照して、本実施形態のデジタルカメラ100の構成および機能について説明する。 <Device Configuration> The configuration and functions of the digital camera 100 of the present embodiment will be described with reference to FIGS. 1 and 2.

図1(a)は、レンズユニット200を取り外した状態のデジタルカメラ100の前面斜視図、図1(b)はデジタルカメラ100の背面斜視図である。 FIG. 1A is a front perspective view of the digital camera 100 with the lens unit 200 removed, and FIG. 1B is a rear perspective view of the digital camera 100.

図1において、背面表示部101は、画像や各種情報を表示するファインダー外表示部であり、カメラ本体の背面に設けられたLCDなどの表示デバイスである。また、背面表示部101は、静止画撮影後の静止画再生や記録中の動画表示、及びライブビュー表示機能を併せ持っている。背面表示部101には、タッチパネル270aが設けられている。タッチパネル270aは、背面表示部101の表示面(タッチパネル270aのタッチ操作面)対する接触(タッチ操作)を検出可能なタッチ操作部材である。 In FIG. 1, the rear display unit 101 is an out-of-finder display unit that displays images and various information, and is a display device such as an LCD provided on the back surface of the camera body. Further, the rear display unit 101 also has a still image reproduction after still image shooting, a moving image display during recording, and a live view display function. The rear display unit 101 is provided with a touch panel 270a. The touch panel 270a is a touch operation member capable of detecting contact (touch operation) with the display surface (touch operation surface of the touch panel 270a) of the rear display unit 101.

ファインダー外表示部243は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン102は撮影指示を行うための操作部である。モード切替スイッチ103は各種モードを切り替えるための回転ダイヤル式の操作部である。端子カバー104は外部機器とデジタルカメラ100をUSBなどのケーブルを介して接続するためのコネクタ(不図示)を保護するカバー部材である。メイン電子ダイヤル105は図2で後述する操作部270に含まれる回転操作部材であり、このメイン電子ダイヤル105を回すことで、シャッター速度や絞りなどの設定値が変更できる。 The display unit outside the viewfinder 243 is a display unit provided on the upper surface of the camera, and various setting values of the camera such as a shutter speed and an aperture are displayed. The shutter button 102 is an operation unit for giving a shooting instruction. The mode changeover switch 103 is a rotary dial type operation unit for switching various modes. The terminal cover 104 is a cover member that protects a connector (not shown) for connecting an external device and the digital camera 100 via a cable such as USB. The main electronic dial 105 is a rotation operation member included in the operation unit 270 described later in FIG. 2, and by turning the main electronic dial 105, set values such as a shutter speed and an aperture can be changed.

電源スイッチ106はデジタルカメラ100の電源のオン/オフを切り替える操作部材である。サブ電子ダイヤル107も図2で後述する操作部270に含まれる回転操作部材であり、選択枠の移動や画像送りなどが行える。十字キー108も図2で後述する操作部270に含まれる移動指示部材であり、上、下、左、右の4方向に押し込み可能な押しボタンを有する4方向操作ボタンである。十字キー108の押下した方向に押した部分に応じた操作が可能である。SETボタン109も図2で後述する操作部270に含まれる押しボタンであり、主に選択項目の決定などに用いられる。 The power switch 106 is an operating member that switches the power of the digital camera 100 on / off. The sub electronic dial 107 is also a rotation operation member included in the operation unit 270 described later in FIG. 2, and can move the selection frame, feed an image, and the like. The cross key 108 is also a movement instruction member included in the operation unit 270 described later in FIG. 2, and is a four-direction operation button having a push button that can be pushed in four directions of up, down, left, and right. The operation can be performed according to the portion of the cross key 108 pressed in the pressed direction. The SET button 109 is also a push button included in the operation unit 270 described later in FIG. 2, and is mainly used for determining selection items and the like.

録画ボタン110も図2で後述する操作部270に含まれ、動画撮影(記録)の開始、停止の指示に用いられる。AEロックボタン112も図2で後述する操作部270に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。拡大/縮小ボタン111も図2で後述する操作部270に含まれ、撮影モードのライブビュー表示において拡大モードのオン、オフを行うための操作ボタンである。拡大モードをオンとしてからメイン電子ダイヤル105を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。 The recording button 110 is also included in the operation unit 270, which will be described later in FIG. 2, and is used for instructing the start and stop of moving image shooting (recording). The AE lock button 112 is also included in the operation unit 270 described later in FIG. 2, and the exposure state can be fixed by pressing the AE lock button 112 in the shooting standby state. The enlargement / reduction button 111 is also included in the operation unit 270 described later in FIG. 2, and is an operation button for turning on / off the enlargement mode in the live view display of the shooting mode. By operating the main electronic dial 105 after turning on the enlargement mode, the live view image can be enlarged or reduced. In the playback mode, it functions as an enlargement button for enlarging the reproduced image and increasing the enlargement ratio.

再生ボタン113も図2で後述する操作部270に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン113を押下することで再生モードに移行し、記録媒体250に記録された画像のうち最新の画像を背面表示部101またはファインダー内表示部229に表示させることができる。メニューボタン114も図2で後述する操作部270に含まれ、押下することにより各種の設定可能なメニュー画面が背面表示部101またはファインダー内表示部229に表示される。ユーザは、背面表示部101またはファインダー内表示部229に表示されたメニュー画面と、十字キー108やSETボタン109を用いて直感的に各種設定を行うことができる。 The playback button 113 is also included in the operation unit 270 described later in FIG. 2, and is an operation button for switching between the shooting mode and the playback mode. By pressing the playback button 113 during the shooting mode, the playback mode can be entered, and the latest image among the images recorded on the recording medium 250 can be displayed on the rear display unit 101 or the display unit 229 in the viewfinder. The menu button 114 is also included in the operation unit 270 described later in FIG. 2, and by pressing the menu button 114, various settable menu screens are displayed on the rear display unit 101 or the display unit 229 in the finder. The user can intuitively make various settings by using the menu screen displayed on the rear display unit 101 or the display unit 229 in the finder, the cross key 108, and the SET button 109.

グリップ部116は、ユーザがデジタルカメラ100を構えた際に右手で握りやすい形状を有する。グリップ部116を右手の小指、薬指、中指で握ってデジタルカメラ100を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン102、メイン電子ダイヤル105が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル107が配置されている。蓋117はデジタルカメラ100に対して記録媒体250を着脱するためにスロットを開閉する部材である。 The grip portion 116 has a shape that is easy to grip with the right hand when the user holds the digital camera 100. The shutter button 102 and the main electronic dial 105 are arranged at positions that can be operated by the index finger of the right hand while holding the digital camera 100 by holding the grip portion 116 with the little finger, ring finger, and middle finger of the right hand. Further, in the same state, the sub electronic dial 107 is arranged at a position where it can be operated with the thumb of the right hand. The lid 117 is a member that opens and closes a slot for attaching and detaching the recording medium 250 to and from the digital camera 100.

通信端子210はデジタルカメラ100がレンズユニット200と通信を行うための電気的接点である。接眼部216は、覗き込み型の接眼ファインダーである。ユーザは、接眼部216を介してファインダー内表示部229である電子ビューファインダー(EVF)に表示された映像を視認可能であり、図2で後述するレンズユニット200を通じて取り込んだ被写体像の焦点や構図の確認を行うことができる。 The communication terminal 210 is an electrical contact for the digital camera 100 to communicate with the lens unit 200. The eyepiece portion 216 is a peep-type eyepiece finder. The user can visually recognize the image displayed on the electronic viewfinder (EVF), which is the display unit 229 in the finder, via the eyepiece 216, and the focus of the subject image captured through the lens unit 200 described later in FIG. You can check the composition.

接眼検知部217は、接眼部216の近傍に配置され、接眼部216への何らかの物体の接近を検知することができる。接眼検知部217は、例えば赤外線近接センサが用いられる。 The eyepiece detection unit 217 is arranged in the vicinity of the eyepiece unit 216, and can detect the approach of some object to the eyepiece unit 216. For the eyepiece detection unit 217, for example, an infrared proximity sensor is used.

次に、図2を参照して、本実施形態のデジタルカメラ100およびレンズユニット200の内部構成について説明する。図2において、図1と共通する構成には同じ符号を付して示している。 Next, with reference to FIG. 2, the internal configurations of the digital camera 100 and the lens unit 200 of the present embodiment will be described. In FIG. 2, the same reference numerals are given to the configurations common to those in FIG.

図2において、レンズユニット200は撮影レンズ207を搭載し、デジタルカメラ100に対して着脱可能である。撮影レンズ207は通常、複数枚のレンズから構成されるが、ここでは簡略化して1枚のレンズのみで示している。通信端子206はレンズユニット200がデジタルカメラ100と通信を行うための電気的接点である。通信端子210はデジタルカメラ100がレンズユニット200と通信を行うための電気的接点である。レンズユニット200は、通信端子206を介してシステム制御部201と通信し、内蔵されたレンズ制御部204が絞り駆動回路202を制御して絞り205を駆動し、AF駆動回路203を制御して撮影レンズ207の位置を変位させることで焦点を合わせる。 In FIG. 2, the lens unit 200 is equipped with a photographing lens 207 and is removable from the digital camera 100. The photographing lens 207 is usually composed of a plurality of lenses, but here, it is shown by only one lens for simplification. The communication terminal 206 is an electrical contact for the lens unit 200 to communicate with the digital camera 100. The communication terminal 210 is an electrical contact for the digital camera 100 to communicate with the lens unit 200. The lens unit 200 communicates with the system control unit 201 via the communication terminal 206, the built-in lens control unit 204 controls the aperture drive circuit 202 to drive the aperture 205, and controls the AF drive circuit 203 for photographing. Focus is achieved by shifting the position of the lens 207.

フォーカルプレーンシャッター221は、システム制御部201の指示に応じて撮像部222での露光時間を自由に制御できる。撮像部222は被写体像を電気信号に変換するCCDやCMOS等の撮像素子で構成されたイメージセンサである。A/D変換器223は、撮像部222から出力されるアナログ信号をデジタル信号に変換する。 The focal plane shutter 221 can freely control the exposure time in the imaging unit 222 according to the instruction of the system control unit 201. The image pickup unit 222 is an image sensor composed of an image pickup element such as a CCD or CMOS that converts a subject image into an electric signal. The A / D converter 223 converts the analog signal output from the imaging unit 222 into a digital signal.

画像処理部224は、A/D変換器223からのデータ、又は、メモリ制御部215からのデータに対して所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部224では、撮像した画像データを用いて所定の演算処理が行われ、システム制御部201は演算結果に基づいて露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部224では更に、撮像した画像データを用いて所定の演算処理を行い、演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。 The image processing unit 224 performs resizing processing such as predetermined pixel interpolation and reduction and color conversion processing on the data from the A / D converter 223 or the data from the memory control unit 215. Further, the image processing unit 224 performs a predetermined calculation process using the captured image data, and the system control unit 201 performs exposure control and distance measurement control based on the calculation result. As a result, TTL (through-the-lens) AF (autofocus) processing, AE (autoexposure) processing, and EF (flash pre-flash) processing are performed. The image processing unit 224 further performs a predetermined calculation process using the captured image data, and also performs a TTL method AWB (auto white balance) process based on the calculation result.

メモリ制御部215は、A/D変換器223、画像処理部224、メモリ232の間のデータの授受を制御する。A/D変換器223から出力されるデジタルデータは、画像処理部224およびメモリ制御部215を介して、あるいは、メモリ制御部215を介してメモリ232に直接書き込まれる。メモリ232は、撮像部222およびA/D変換器223から得られる画像データや、背面表示部101またはファインダー内表示部229に表示するための画像表示用のデータを格納する。メモリ232は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。また、メモリ232は画像表示用のメモリ(ビデオメモリ)を兼ねている。 The memory control unit 215 controls the transfer of data between the A / D converter 223, the image processing unit 224, and the memory 232. The digital data output from the A / D converter 223 is written directly to the memory 232 via the image processing unit 224 and the memory control unit 215, or via the memory control unit 215. The memory 232 stores image data obtained from the image pickup unit 222 and the A / D converter 223, and image display data for display on the rear display unit 101 or the display unit 229 in the viewfinder. The memory 232 has a storage capacity sufficient for storing a predetermined number of still images, moving images for a predetermined time, and audio. Further, the memory 232 also serves as a memory (video memory) for displaying an image.

D/A変換器219は、メモリ232に格納されている画像表示用のデータをアナログ信号に変換して背面表示部101またはファインダー内表示部229に供給する。メモリ232に書き込まれた表示用の画像データはD/A変換器219を介して背面表示部101やファインダー内表示部229により表示される。背面表示部101やファインダー内表示部229は、表示デバイスにD/A変換器219からのアナログ信号に応じた表示を行う。このように、メモリ232に格納されたデジタル信号をアナログ信号に変換し、背面表示部101またはファインダー内表示部229に逐次転送して表示することで、ライブビュー(LV)表示(スルー画像表示)を行うEVFとして機能する。 The D / A converter 219 converts the image display data stored in the memory 232 into an analog signal and supplies it to the rear display unit 101 or the in-finder display unit 229. The image data for display written in the memory 232 is displayed by the rear display unit 101 and the display unit 229 in the finder via the D / A converter 219. The rear display unit 101 and the display unit 229 in the finder display the display device according to the analog signal from the D / A converter 219. In this way, the digital signal stored in the memory 232 is converted into an analog signal and sequentially transferred to the rear display unit 101 or the display unit 229 in the finder for display, thereby displaying the live view (LV) display (through image display). Functions as an EVF to perform.

ファインダー外表示部243には、ファインダー外表示部駆動回路44を介して、撮影時のシャッター速度や絞りなどの様々な情報が表示される。 Various information such as the shutter speed and the aperture at the time of shooting are displayed on the outside viewfinder display unit 243 via the outside viewfinder display unit drive circuit 44.

不揮発性メモリ256は、電気的に消去・記録可能なメモリであり、例えばフラッシュROMなどが用いられる。不揮発性メモリ256には、システム制御部201の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述するフローチャートを実行するためのプログラムのことである。 The non-volatile memory 256 is a memory that can be electrically erased and recorded, and for example, a flash ROM or the like is used. The non-volatile memory 256 stores constants, programs, and the like for the operation of the system control unit 201. The program referred to here is a program for executing the flowchart described later.

システム制御部201は、少なくとも1つのプロセッサまたは回路からなる演算処理装置であり、デジタルカメラ100全体を統括して制御する。システム制御部201は、不揮発性メモリ256に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。システムメモリ252には、例えばRAMが用いられ、システム制御部201の動作用の定数、変数、不揮発性メモリ256から読み出したプログラムなどが展開を展開するワークメモリとしても使用される。また、システム制御部201は、メモリ232、D/A変換器219、背面表示部101、ファインダー内表示部229などを制御することにより表示制御も行う。システムタイマー253は各種制御に用いる時間や、内蔵時計の時間を計測する計時部である。 The system control unit 201 is an arithmetic processing unit including at least one processor or circuit, and controls the entire digital camera 100 in an integrated manner. The system control unit 201 realizes each process of the flowchart described later by executing the program stored in the non-volatile memory 256. For example, a RAM is used as the system memory 252, and it is also used as a work memory in which constants and variables for operation of the system control unit 201, a program read from the non-volatile memory 256, and the like are expanded. The system control unit 201 also controls the display by controlling the memory 232, the D / A converter 219, the rear display unit 101, the display unit 229 in the finder, and the like. The system timer 253 is a time measuring unit that measures the time used for various controls and the time of the built-in clock.

また、システム制御部201は、背面表示部101およびファインダー内表示部229に出力する画像信号の階調特性を制御する出力信号変換部201aを有する。本実施形態では、背面表示部101は、第2の階調特性(階調範囲)の画像信号を表示可能であるが、第2の階調特性よりもダイナミックレンジが広い第1の階調特性の画像信号の表示には適応していない表示デバイスである。また、ファインダー内表示部229は、第1の階調特性と第2の階調特性の画像信号を表示可能な表示デバイスである。 Further, the system control unit 201 has an output signal conversion unit 201a that controls the gradation characteristics of the image signal output to the rear display unit 101 and the display unit 229 in the finder. In the present embodiment, the rear display unit 101 can display the image signal of the second gradation characteristic (gradation range), but the first gradation characteristic having a wider dynamic range than the second gradation characteristic. It is a display device that is not suitable for displaying the image signal of. Further, the display unit 229 in the finder is a display device capable of displaying the image signals of the first gradation characteristic and the second gradation characteristic.

第1の階調特性は、ファインダー内表示部229に出力する画像信号の階調特性をHDR(High Dynamic Range)に制御するためのEOTF特性である。第2の階調特性は、背面表示部101に出力する画像信号の階調特性をSDR(Standard Dynamic Range)に制御するためのEOTF(Electro−Optical Transfer Function)特性である。出力信号変換部201aは、背面表示部101またはファインダー内表示部229に出力する画像信号の階調特性を、第1の階調特性または第2の階調特性に切り替える。 The first gradation characteristic is an EOTF characteristic for controlling the gradation characteristic of the image signal output to the display unit 229 in the finder to HDR (High Dynamic Range). The second gradation characteristic is an EOTF (Electro-Optical Transfer Function) characteristic for controlling the gradation characteristic of the image signal output to the rear display unit 101 to SDR (Standard Dynamic Range). The output signal conversion unit 201a switches the gradation characteristic of the image signal output to the rear display unit 101 or the display unit 229 in the finder to the first gradation characteristic or the second gradation characteristic.

SDRは、従来の表示装置が表示可能なダイナミックレンジに対応する階調特性であって、例えば、ITU−R BT.709という規格で定められている。これに対して、従来の表示装置よりも表示可能なダイナミックレンジが広いHDR(High Dynamic Range)は、Rec.ITU−R BT.2100という規格で定められている。 SDR is a gradation characteristic corresponding to a dynamic range that can be displayed by a conventional display device, and is, for example, ITU-R BT. It is defined by the standard of 709. On the other hand, HDR (High Dynamic Range), which has a wider dynamic range that can be displayed than a conventional display device, is described in Rec. ITU-R BT. It is defined by the standard of 2100.

本実施形態のデジタルカメラ100は、ユーザがメニュー画面などを操作することによって、背面表示部101にSDR画像を表示するSDRモードまたはファインダー内表示部229にHDR画像を表示するHDRモードに設定できる。システム制御部201は、いずれのモードに設定されているかに応じて、出力信号変換部201aが後述する映像信号の階調変換を行う。 The digital camera 100 of the present embodiment can be set to the SDR mode in which the SDR image is displayed on the rear display unit 101 or the HDR mode in which the HDR image is displayed on the display unit 229 in the viewfinder by the user operating the menu screen or the like. The system control unit 201 performs gradation conversion of the video signal described later by the output signal conversion unit 201a according to which mode is set.

また、システム制御部201は、ファインダー内表示部229に対するユーザ(撮影者)の注視位置を含む領域(注視領域)を判定する注視領域判定部201bを有する。注視領域処理の詳細は後述する。 In addition, the system control unit 201 has a gaze area determination unit 201b that determines an area (gaze area) including the gaze position of the user (photographer) with respect to the display unit 229 in the finder. The details of the gaze area processing will be described later.

また、本実施形態のデジタルカメラ100は、ファインダー内表示部229における注視領域の階調に応じて背面表示部101に出力する映像信号の階調を変換して擬似的にHDRアシスト表示を行うモードが設定可能である。HDRアシスト表示の詳細は後述する。 Further, the digital camera 100 of the present embodiment is a mode in which the gradation of the video signal output to the rear display unit 101 is converted according to the gradation of the gaze area in the display unit 229 in the finder to perform a pseudo HDR assist display. Can be set. The details of the HDR assist display will be described later.

モード切替スイッチ103、第1シャッタースイッチ211、第2シャッタースイッチ212、操作部270はシステム制御部201に各種の指示を入力するための操作手段である。モード切替スイッチ103は、システム制御部201の動作モードを、静止画撮影モード、動画撮影モード、再生モードのいずれかに切り替える。静止画撮影モードには、例えば、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)が含まれる。また、静止画撮影モードには、例えば、撮影シーン別の撮影設定となる各種シーンモード、カスタムモードなどが含まれる。 The mode changeover switch 103, the first shutter switch 211, the second shutter switch 212, and the operation unit 270 are operation means for inputting various instructions to the system control unit 201. The mode changeover switch 103 switches the operation mode of the system control unit 201 to any one of a still image shooting mode, a moving image shooting mode, and a playback mode. The still image shooting mode includes, for example, an auto shooting mode, an auto scene discrimination mode, a manual mode, an aperture priority mode (Av mode), a shutter speed priority mode (Tv mode), and a program AE mode (P mode). Further, the still image shooting mode includes, for example, various scene modes and custom modes that are shooting settings for each shooting scene.

ユーザは、モード切替スイッチ103を操作することにより、これらの撮影モードのいずれかに直接切り替えるか、モード切替スイッチ103で動作モードの一覧画面に一旦切り替えた後に、一覧表示された複数の撮影モードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画記録モードや再生モードにも複数のモードが含まれていてもよい。 The user can directly switch to one of these shooting modes by operating the mode changeover switch 103, or once switch to the operation mode list screen with the mode changeover switch 103, and then switch to the list of multiple shooting modes. Either one may be selected and switched using another operating member. Similarly, the moving image recording mode and the playback mode may include a plurality of modes.

第1シャッタースイッチ211は、デジタルカメラ100に設けられたシャッターボタン102の操作途中、いわゆる半押し(撮影準備指示)でオンとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。 The first shutter switch 211 is turned on by a so-called half-press (shooting preparation instruction) during the operation of the shutter button 102 provided on the digital camera 100, and the first shutter switch signal SW1 is generated. The first shutter switch signal SW1 starts shooting preparation operations such as AF (autofocus) processing, AE (autoexposure) processing, AWB (auto white balance) processing, and EF (flash pre-flash) processing.

第2シャッタースイッチ212は、シャッターボタン102の操作完了、いわゆる全押し(撮影指示)でオンとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部201は、第2シャッタースイッチ信号SW2により、撮像部222からの信号読み出しから撮像された画像を画像ファイルとして記録媒体250に書き込むまでの一連の撮影処理の動作を開始する。 The second shutter switch 212 is turned on when the operation of the shutter button 102 is completed, that is, when the shutter button 102 is fully pressed (shooting instruction), and the second shutter switch signal SW2 is generated. The system control unit 201 starts a series of shooting processes from reading the signal from the image pickup unit 222 to writing the captured image as an image file on the recording medium 250 by the second shutter switch signal SW2.

操作部270は、ユーザからの各種操作を受け付けて、システム制御部201へ通知する各種スイッチ、ボタンなどの操作部材からなり、少なくとも以下の操作部材が含まれる。シャッターボタン102、モード切替スイッチ103、メイン電子ダイヤル105、電源スイッチ106、サブ電子ダイヤル107、十字キー108、SETボタン109、録画ボタン110、AEロックボタン112、拡大/縮小ボタン111、再生ボタン113、メニューボタン114。 The operation unit 270 includes operation members such as various switches and buttons that receive various operations from the user and notify the system control unit 201, and include at least the following operation members. Shutter button 102, mode changeover switch 103, main electronic dial 105, power switch 106, sub electronic dial 107, cross key 108, SET button 109, record button 110, AE lock button 112, enlargement / reduction button 111, play button 113, Menu button 114.

電源制御部280は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部280は、その検出結果およびシステム制御部201の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体250を含む各部へ供給する。 The power supply control unit 280 is composed of a battery detection circuit, a DC-DC converter, a switch circuit for switching a block to be energized, and the like, and detects whether or not a battery is installed, the type of battery, and the remaining battery level. Further, the power supply control unit 280 controls the DC-DC converter based on the detection result and the instruction of the system control unit 201, and supplies a necessary voltage to each unit including the recording medium 250 for a necessary period.

電源部230は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプタ等からなる。記録媒体I/F218は、メモリカードやハードディスク等の記録媒体250とのインターフェースである。記録媒体250は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。 The power supply unit 230 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li ion battery, an AC adapter, or the like. The recording medium I / F 218 is an interface with a recording medium 250 such as a memory card or a hard disk. The recording medium 250 is a recording medium such as a memory card for recording a captured image, and is composed of a semiconductor memory, a magnetic disk, or the like.

通信部254は、無線アンテナや有線ケーブルによって外部機器と通信可能に接続し、画像や音声の送受信を行う。通信部254は無線LAN(Local Area Network)やインターネットにも接続可能である。通信部254は撮像部222で撮像された画像データ(ライブビュー画像を含む)や、記録媒体250に記録されている画像ファイルを外部機器に送信でき、また、外部機器から画像データやその他の各種情報を受信できる。なお、通信部254は、無線LANに限らず、赤外線通信、Bluetooth(登録商標)、Bluetooth(登録商標) Low Energy、WirelessUSBなどの無線通信モジュール、あるいは、USBケーブルやHDMI(登録商標)、IEEE1394などの有線接続手段を用いてもよい。 The communication unit 254 connects to an external device in a communicable manner by a wireless antenna or a wired cable, and transmits / receives images and sounds. The communication unit 254 can also be connected to a wireless LAN (Local Area Network) and the Internet. The communication unit 254 can transmit the image data (including the live view image) captured by the image pickup unit 222 and the image file recorded on the recording medium 250 to an external device, and the image data and other various types from the external device. You can receive information. The communication unit 254 is not limited to wireless LAN, but is not limited to wireless LAN, but is a wireless communication module such as infrared communication, Bluetooth (registered trademark), Bluetooth (registered trademark) Low Energy, WirelessUSB, USB cable, HDMI (registered trademark), IEEE1394, etc. Wired connection means may be used.

姿勢検知部255は重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部255で検知された姿勢に基づいて、撮像部222で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部201は、姿勢検知部255で検知された姿勢に応じた向き情報を撮像部222で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部255としては、加速度センサやジャイロセンサなどを用いることができる。姿勢検知部255は、加速度センサやジャイロセンサを用いることで、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止など)を検知することも可能である。 The posture detection unit 255 detects the posture of the digital camera 100 with respect to the direction of gravity. Based on the posture detected by the posture detection unit 255, whether the image taken by the image pickup unit 222 is an image taken by holding the digital camera 100 horizontally or an image taken by holding the digital camera 100 vertically. It can be discriminated. The system control unit 201 can add orientation information according to the posture detected by the posture detection unit 255 to the image file of the image captured by the image pickup unit 222, or rotate and record the image. be. As the posture detection unit 255, an acceleration sensor, a gyro sensor, or the like can be used. The posture detection unit 255 can also detect the movement (pan, tilt, lift, stationary, etc.) of the digital camera 100 by using an acceleration sensor or a gyro sensor.

音声入力部257は、デジタルカメラ100に内蔵されたマイクまたは音声入力端子に接続された外部マイクなどにより集音された音声信号をシステム制御部201に出力し、システム制御部201は、入力された音声信号を必要に応じて選択し、デジタル信号に変換し、レベルの適正化処理、特定周波数の低減処理など行い音声データを生成する。 The audio input unit 257 outputs an audio signal collected by a microphone built in the digital camera 100 or an external microphone connected to the audio input terminal to the system control unit 201, and the system control unit 201 inputs the sound signal. The audio signal is selected as necessary, converted into a digital signal, level optimization processing, specific frequency reduction processing, etc. are performed to generate audio data.

また、背面表示部101には、表示画面に対するタッチ操作を検出可能なタッチセンサを有するタッチパネル270aが設けられている。タッチパネル270aは、背面表示部101の表示画面に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。システム制御部201は、タッチパネル270aに対する以下の操作を検出できる。タッチパネル270aを指やペンで触れたこと(タッチダウン)。タッチパネル270aを指やペンで触れている状態であること(タッチオン)。タッチパネル270aを指やペンで触れたまま移動していること(ムーブ)。タッチパネル270aに触れていた指やペンを離したこと(タッチアップ)。タッチパネル270aに何も触れていない状態(タッチオフ)。タッチパネル270aに指やペンでタッチダウンとタッチアップを連続して行うことをタップと称する。これらの操作や、タッチパネルに指やペンが触れている位置座標は、システム制御部201に通知され、システム制御部201は通知された情報に基づいてタッチパネルにどのような操作が行われたかを判定する。ムーブについてはタッチパネル270aで移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル270aの垂直成分・水平成分ごとに判定できる。またタッチパネル270aをタッチダウンから所定の距離以上のムーブを経てタッチアップをしたとき、ドラッグを経てドロップが行われたこととする(ドラッグアンドドロップ)。タッチパネル270aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。 Further, the rear display unit 101 is provided with a touch panel 270a having a touch sensor capable of detecting a touch operation on the display screen. The touch panel 270a is an input device that is superposed on the display screen of the rear display unit 101 and is configured in a plane so that coordinate information corresponding to the contacted position is output. The system control unit 201 can detect the following operations on the touch panel 270a. Touching the touch panel 270a with a finger or pen (touchdown). The touch panel 270a is being touched with a finger or a pen (touch-on). Moving while touching the touch panel 270a with a finger or pen (move). The finger or pen that was touching the touch panel 270a was released (touch-up). A state in which nothing is touched on the touch panel 270a (touch-off). Continuously performing touchdown and touchup on the touch panel 270a with a finger or a pen is called a tap. These operations and the position coordinates where the finger or pen is touching the touch panel are notified to the system control unit 201, and the system control unit 201 determines what kind of operation has been performed on the touch panel based on the notified information. do. Regarding the move, the moving direction of the finger or pen moving on the touch panel 270a can also be determined for each of the vertical component and the horizontal component of the touch panel 270a based on the change in the position coordinates. Further, when the touch panel 270a is touched up after a move of a predetermined distance or more from the touchdown, it is assumed that the touch panel is dropped after being dragged (drag and drop). The touch panel 270a may be any of various types of touch panels such as a resistive film method, a capacitance method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, an image recognition method, and an optical sensor method. good.

なお、本実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、PDA(Personal Digital Assistant)、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダなど、表示部を備え、外部機器にデータを転送可能な装置であれば、本発明は適用可能である。 In the present embodiment, the case where the present invention is applied to a digital camera has been described as an example, but this is not limited to this example. That is, it is equipped with a display unit such as a PDA (Personal Digital Assistant), a mobile phone terminal, a portable image viewer, a printer device equipped with a display, a digital photo frame, a music player, a game machine, and an electronic book reader, and data is transmitted to an external device. The present invention is applicable as long as it is a transferable device.

接眼検知部217は接眼部216に対する目(物体)の接近(接眼)および離反(離眼)を検知する(接近検知)。システム制御部201は、接眼検知部217で検知された状態に応じて、背面表示部101とファインダー内表示部229の表示(表示状態)/非表示(非表示状態)を切り替える。システム制御部201は、少なくとも撮影モード、かつ、表示先の切替が自動である場合において、非接眼中は表示先を背面表示部101とし、ファインダー内表示部229は非表示とする。また、接眼中は表示先をファインダー内表示部229とし、背面表示部101は非表示とする。なお、表示先の切り替えは、接眼検知結果に限定されず、例えば操作部270に表示先切替機能を割り当てることで切り替えが可能な構成であってもよい。 The eyepiece detection unit 217 detects the approach (eyepiece) and separation (eyepiece) of the eye (object) with respect to the eyepiece 216 (approach detection). The system control unit 201 switches between display (display state) and non-display (non-display state) of the rear display unit 101 and the display unit 229 in the viewfinder according to the state detected by the eyepiece detection unit 217. The system control unit 201 sets the display destination to the rear display unit 101 and hides the display unit 229 in the viewfinder during non-eye contact, at least in the shooting mode and when the display destination is automatically switched. Further, during eye contact, the display destination is the display unit 229 in the viewfinder, and the rear display unit 101 is hidden. The switching of the display destination is not limited to the eyepiece detection result, and may be configured so that the display destination can be switched by assigning the display destination switching function to the operation unit 270, for example.

物体が接近した場合は、接眼検知部217の投光部(図示せず)から照射された赤外光が反射して赤外線近接センサの受光部(図示せず)に入射される。赤外線近接センサで受光される赤外光の入射光量によって、接眼部216への何らかの物体の接近の検出と、物体が接眼部216からどの程度の距離まで近づいているか(接眼距離)を判別することができる。接眼部216への物体の接近を検知するとシステム制御部201がファインダー内表示部229の表示を開始させることが可能となる。これにより、ユーザが接眼部216を覗いたときにファインダー内表示部229を極力遅延なく表示可能となる。 When an object approaches, the infrared light emitted from the light projecting unit (not shown) of the eyepiece detection unit 217 is reflected and incident on the light receiving unit (not shown) of the infrared proximity sensor. The amount of infrared light received by the infrared proximity sensor detects the approach of some object to the eyepiece 216 and determines how close the object is from the eyepiece 216 (eyepiece distance). can do. When the approach of the object to the eyepiece 216 is detected, the system control unit 201 can start the display of the display unit 229 in the finder. As a result, when the user looks into the eyepiece 216, the display unit 229 in the finder can be displayed without delay as much as possible.

また、接眼検知部217は、非接眼状態(非接近状態)から、接眼部216に対して所定距離以内に近づく物体を検出した場合に接眼を検出したと判定し、システム制御部201に接眼検知通知を送信する。また、接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に離眼を検出したと判定し、システム制御部201に離眼検知通知を送信する。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。これにより、システム制御部201は、接眼検知部217が検出した接眼状態もしくは離眼状態に応じて背面表示部101とファインダー内表示部229の表示制御を行う。 Further, the eyepiece detection unit 217 determines that the eyepiece has been detected when an object approaching the eyepiece unit 216 within a predetermined distance from the non-eyepiece state (non-approaching state) is detected, and the system control unit 201 receives the eyepiece. Send a detection notification. Further, from the eyepiece state (approaching state), it is determined that the eyepiece has been detected when the object that has detected the approach is separated by a predetermined distance or more, and the eyepiece detection notification is transmitted to the system control unit 201. The threshold value for detecting the eyepiece and the threshold value for detecting the eyepiece may be different, for example, by providing hysteresis. In addition, after the eyepiece is detected, the eyepiece is assumed to be in the eyepiece state until the eyepiece is detected. After the eyepiece is detected, it is assumed that the eyepiece is not in the eyepiece state until the eyepiece is detected. As a result, the system control unit 201 controls the display of the rear display unit 101 and the display unit 229 in the viewfinder according to the eyepiece state or the eyepiece release state detected by the eyepiece detection unit 217.

なお、接眼検知部217は赤外線近接センサに限らず、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサ(イメージセンサなど)を用いてもよい。 The eyepiece detection unit 217 is not limited to the infrared proximity sensor, and another sensor (image sensor or the like) may be used as long as it can detect the approach of an eye or an object that can be regarded as an eyepiece.

視線検出部260は、次のダイクロイックミラー262、結像レンズ263、視線検出センサ264、視線検出回路265、赤外発光素子266を含み、ユーザの視線の有無だけでなく視線の位置や動きを検出する。 The line-of-sight detection unit 260 includes the following dichroic mirror 262, an imaging lens 263, a line-of-sight detection sensor 264, a line-of-sight detection circuit 265, and an infrared light emitting element 266, and detects not only the presence or absence of the user's line of sight but also the position and movement of the line of sight. do.

赤外発光素子266は、ファインダー画面内におけるユーザの視線位置を検出するための赤外光を発光するダイオードであり、ユーザの眼球(目)261に赤外光を接眼部216の中央付近に向けて照射する。赤外発光素子266から照射された赤外光は眼球(目)261で反射し、反射した赤外光はダイクロイックミラー262に到達する。ダイクロイックミラー262は赤外光だけを反射して可視光を透過させる機能を有し、光路を変更された反射赤外光は、結像レンズ263を介して視線検出センサ264の撮像面に結像する。 The infrared light emitting element 266 is a diode that emits infrared light for detecting the position of the user's line of sight in the finder screen, and emits infrared light to the user's eyeball (eye) 261 near the center of the eyepiece 216. Irradiate toward. The infrared light emitted from the infrared light emitting element 266 is reflected by the eyeball (eye) 261 and the reflected infrared light reaches the dichroic mirror 262. The dichroic mirror 262 has a function of reflecting only infrared light and transmitting visible light, and the reflected infrared light whose optical path is changed is imaged on the imaging surface of the line-of-sight detection sensor 264 via the imaging lens 263. do.

結像レンズ263は視線検出光学系を構成する光学部材である。視線検出センサ264は、CCDやCMOSなどからなるイメージセンサを含む。視線検出センサ264は、入射された反射赤外光を電気信号に光電変換して視線検出回路265へ出力する。視線検出回路265は、視線検出センサ264の出力信号に基づき、ユーザの眼球(目)261の動きや瞳孔の位置からユーザの視線位置を検出し、検出した情報をシステム制御部201に出力する。視線検出センサ264は、人の目の瞳孔の検知が可能であるため、他の物体が接眼部216に接近または接触していても、人の視線が入力されていることを検知しない。これにより接眼部216は視線操作部としての機能を有するが、視線検出部は別の構成であってもよい。なお、視線検出部260による視線入力機能の有効/無効は、例えば、メニュー画面を介してユーザが設定可能である。 The imaging lens 263 is an optical member that constitutes the line-of-sight detection optical system. The line-of-sight detection sensor 264 includes an image sensor made of a CCD, CMOS, or the like. The line-of-sight detection sensor 264 photoelectrically converts the incident reflected infrared light into an electric signal and outputs it to the line-of-sight detection circuit 265. The line-of-sight detection circuit 265 detects the user's line-of-sight position from the movement of the user's eyeball (eye) 261 and the position of the pupil based on the output signal of the line-of-sight detection sensor 264, and outputs the detected information to the system control unit 201. Since the line-of-sight detection sensor 264 can detect the pupil of the human eye, it does not detect that the line of sight of the person is input even if another object is approaching or in contact with the eyepiece 216. As a result, the eyepiece portion 216 has a function as a line-of-sight operation unit, but the line-of-sight detection unit may have a different configuration. The enable / disable of the line-of-sight input function by the line-of-sight detection unit 260 can be set by the user, for example, via the menu screen.

注視判定部267は所定の閾値を有し、視線検出回路265から受け取った検出情報に基づき、ユーザの視線がある領域に固定されている時間が所定の閾値を越えた場合に、その領域を注視していると判定する。なお、所定の閾値は任意に変更可能である。 The gaze determination unit 267 has a predetermined threshold value, and based on the detection information received from the line-of-sight detection circuit 265, when the time fixed in the area where the user's line of sight is fixed exceeds the predetermined threshold value, the gaze determination unit 267 gazes at the area. Judge that it is. The predetermined threshold value can be arbitrarily changed.

<表示制御処理>次に、図3から図5を参照して、実施形態1の表示制御処理について説明する。 <Display Control Process> Next, the display control process of the first embodiment will be described with reference to FIGS. 3 to 5.

図3は、実施形態1の表示制御処理を示すフローチャートである。図3の処理は、デジタルカメラ100の電源がオンされ、システム制御部201が、不揮発性メモリ256に格納されたプログラムをシステムメモリ252に展開して実行し、各部を制御することにより実現される。また、図3の処理は、デジタルカメラ100の電源がオンされ、撮影モードが選択され、背面表示部101またはファインダー内表示部229にライブビューが表示されると開始される。 FIG. 3 is a flowchart showing the display control process of the first embodiment. The process of FIG. 3 is realized by turning on the power of the digital camera 100, the system control unit 201 expanding the program stored in the non-volatile memory 256 into the system memory 252, executing the program, and controlling each unit. .. Further, the process of FIG. 3 is started when the power of the digital camera 100 is turned on, the shooting mode is selected, and the live view is displayed on the rear display unit 101 or the display unit 229 in the viewfinder.

ステップS301では、システム制御部201は、接眼検知部217が接眼部216に対する接眼を検知したか否かを判定する。接眼検知部217が接眼を検知したと判定した場合はステップS302に進み、接眼を検知していないと判定した場合はステップS303に進む。 In step S301, the system control unit 201 determines whether or not the eyepiece detection unit 217 has detected an eyepiece on the eyepiece unit 216. If it is determined that the eyepiece detection unit 217 has detected the eyepiece, the process proceeds to step S302, and if it is determined that the eyepiece has not been detected, the process proceeds to step S303.

ステップS302では、システム制御部201は、表示先をファインダー内表示部229に切り替え、ライブビューを表示する。 In step S302, the system control unit 201 switches the display destination to the display unit 229 in the finder and displays the live view.

ステップS303では、システム制御部201は、表示先を背面表示部101に切り替え、ライブビューを表示する。 In step S303, the system control unit 201 switches the display destination to the rear display unit 101 and displays the live view.

ステップS304では、システム制御部201は、注視領域判定部201bがファインダー内表示部229におけるユーザの注視領域を判定する。 In step S304, the system control unit 201 determines the user's gaze area on the in-finder display unit 229 by the gaze area determination unit 201b.

ステップS305では、システム制御部201は、接眼検知部217が接眼部216に対する離眼を検知したか否かを判定する。接眼検知部217が離眼を検知したと判定した場合はステップS306に進み、離眼を検知していないと判定した場合はステップS304に戻り、離眼を検知するまでファインダー内表示部229へのライブビューの表示および注視領域の判定を継続する。 In step S305, the system control unit 201 determines whether or not the eyepiece detection unit 217 has detected the eyepiece separation from the eyepiece unit 216. If the eyepiece detection unit 217 determines that the eyepiece has been removed, the process proceeds to step S306, and if it is determined that the eyepiece has not been detected, the process returns to step S304, and the display on the finder display unit 229 is displayed until the eyepiece is detected. Continue displaying the live view and determining the gaze area.

ステップS306では、システム制御部201は、注視領域判定部201bがファインダー内表示部229においてユーザが離眼する前に注視していた領域の階調情報を取得する。そして、システム制御部201は、注視領域内の平均階調が所定値未満であると判定した場合はステップS307に進み、注視領域内の平均階調が所定値以上であると判定した場合はステップS308に進む。 In step S306, the system control unit 201 acquires the gradation information of the region that the gaze area determination unit 201b was gazing at before the user took his eyes off the display unit 229 in the finder. Then, the system control unit 201 proceeds to step S307 when it determines that the average gradation in the gaze area is less than a predetermined value, and steps S307 when it determines that the average gradation in the gaze area is equal to or more than a predetermined value. Proceed to S308.

ステップS307では、システム制御部201は、表示先をファインダー内表示部229から背面表示部101に切り替え、出力信号変換部201aが背面表示部101に対して低階調優先の階調変換特性を適用した映像信号を出力すると共に、ファインダー内表示部229を消灯する。 In step S307, the system control unit 201 switches the display destination from the display unit 229 in the finder to the rear display unit 101, and the output signal conversion unit 201a applies the gradation conversion characteristic of low gradation priority to the rear display unit 101. The video signal is output and the display unit 229 in the viewfinder is turned off.

ステップS308では、システム制御部201は、表示先をファインダー内表示部229から背面表示部101に切り替え、出力信号変換部201aが背面表示部101に対して高階調優先の階調変換特性を適用した映像信号を出力すると共に、ファインダー内表示部229を消灯する。 In step S308, the system control unit 201 switches the display destination from the display unit 229 in the finder to the rear display unit 101, and the output signal conversion unit 201a applies the gradation conversion characteristic of high gradation priority to the rear display unit 101. The video signal is output and the display unit 229 in the viewfinder is turned off.

ここで、図4を参照して、実施形態1の表示制御処理について説明する。本実施形態では夜景シーンを撮影することを想定している。 Here, the display control process of the first embodiment will be described with reference to FIG. In this embodiment, it is assumed that a night view scene is photographed.

図4(a1)における400はHDRモードにおけるファインダー内表示部229の表示画面を例示している。図4(a2)における410は低階調優先モードにおける背面表示部101の表示画面を例示している。 Reference numeral 400 in FIG. 4A illustrates the display screen of the display unit 229 in the finder in the HDR mode. 410 in FIG. 4A illustrates the display screen of the rear display unit 101 in the low gradation priority mode.

図4(a1)、(b1)における401a、401bは注視領域判定部201bが判定したユーザ注視領域を表す枠を例示している。 401a and 401b in FIGS. 4 (a1) and 4 (b1) exemplify a frame representing a user gaze area determined by the gaze area determination unit 201b.

図4(a1)、(b1)の402はファインダー内表示部229に表示されている画像の明るさ情報を表すヒストグラムを例示している。 402 in FIGS. 4 (a1) and 4 (b1) exemplifies a histogram representing the brightness information of the image displayed on the display unit 229 in the finder.

図4(a1)、(b1)の403はヒストグラム402のうち、ユーザ注視領域の明るさに対応する位置を表す枠を例示している。なお、本実施形態では説明の便宜上、枠403でユーザ注視領域の明るさに対応する位置を示しているが、必ずしも表示しなくてもよい。 403 of FIGS. 4 (a1) and 4 (b1) exemplifies a frame representing a position corresponding to the brightness of the user's gaze area in the histogram 402. In this embodiment, for convenience of explanation, the frame 403 indicates the position corresponding to the brightness of the user's gaze area, but it does not necessarily have to be displayed.

図4(a1)では、ユーザはファインダー内表示部229に表示されている画像のうち低階調領域(建物と夜空の境目付近)を注視している。この場合、ファインダー内表示部229から背面表示部101に表示先が切り替えられた場合、図4(a2)に示すように、出力信号変換部201aが背面表示部101に対して低階調優先の階調変換特性(後述する図5の第2の階調変換特性504)を適用した映像信号を出力する。 In FIG. 4A1, the user is gazing at a low gradation region (near the boundary between the building and the night sky) in the image displayed on the display unit 229 in the finder. In this case, when the display destination is switched from the display unit 229 in the finder to the rear display unit 101, the output signal conversion unit 201a gives priority to the rear display unit 101 in low gradation as shown in FIG. 4A2. A video signal to which the gradation conversion characteristic (second gradation conversion characteristic 504 of FIG. 5 described later) is applied is output.

図4(b1)では、ユーザはファインダー内表示部229に表示されている画像のうち高階調領域(観覧車のゴンドラ)を注視している。この場合、ファインダー内表示部229から背面表示部101に表示先が切り替えられた場合、図4(b2)に示すように、出力信号変換部201aが背面表示部101に対して高階調優先の階調変換特性(後述する図5の第3の階調変換特性505)を適用した映像信号を出力する。 In FIG. 4 (b1), the user is gazing at the high gradation region (gondola of the Ferris wheel) in the image displayed on the display unit 229 in the finder. In this case, when the display destination is switched from the display unit 229 in the finder to the rear display unit 101, the output signal conversion unit 201a has a higher gradation priority than the rear display unit 101 as shown in FIG. 4 (b2). A video signal to which the key conversion characteristic (the third gradation conversion characteristic 505 of FIG. 5 described later) is applied is output.

図5は、実施形態1の表示制御処理における階調変換特性を例示しており、横軸はシステム制御部201の出力信号変換部201aからファインダー内表示部229または背面表示部101に出力される映像信号の階調(入力階調)を示し、縦軸はファインダー内表示部229または背面表示部101の表示輝度を示している。 FIG. 5 illustrates the gradation conversion characteristic in the display control process of the first embodiment, and the horizontal axis is output from the output signal conversion unit 201a of the system control unit 201 to the display unit 229 or the rear display unit 101 in the finder. The gradation (input gradation) of the video signal is shown, and the vertical axis shows the display brightness of the display unit 229 or the rear display unit 101 in the finder.

501はHDRモードにおけるファインダー内表示部229で表示可能な最大輝度を例示している。502はHDR非適応の背面表示部101で表示可能な最大輝度を例示している。 501 exemplifies the maximum brightness that can be displayed by the display unit 229 in the viewfinder in the HDR mode. Reference numeral 502 exemplifies the maximum brightness that can be displayed by the rear display unit 101 that is not adapted for HDR.

503は第1の階調変換特性を例示している。第1の階調変換特性503はHDRモード用の特性であり、ファインダー内表示部229に適用される。 Reference numeral 503 exemplifies the first gradation conversion characteristic. The first gradation conversion characteristic 503 is a characteristic for HDR mode, and is applied to the display unit 229 in the finder.

504は第2の階調変換特性を例示している。第2の階調特変換性504はHDR非適応のモード用の特性であって、第3の階調変換特性505よりも低階調側が優先された階調特性であり、背面表示部101に適用される。 Reference numeral 504 illustrates the second gradation conversion characteristic. The second gradation special conversion property 504 is a characteristic for a mode in which HDR is not applied, and is a gradation characteristic in which the low gradation side is prioritized over the third gradation conversion characteristic 505. Applies.

505は第3の階調変換特性を示している。第3の階調変換特性505はHDR非適応のモード用の特性であり、第2の階調変換特性504よりも高階調側が優先された階調特性であり、背面表示部101に適用される。なお、第3の階調変換特性505は、第2の階調変換特性504よりも高階調側の階調特性に限らず、第2の階調変換特性504よりも低階調側の階調特性であってもよい。つまり、第3の階調変換特性505は、第2の階調変換特性504とは異なる階調特性であれば、どのような階調特性であってもよい。 Reference numeral 505 indicates a third gradation conversion characteristic. The third gradation conversion characteristic 505 is a characteristic for the HDR non-adaptive mode, and is a gradation characteristic in which the high gradation side is prioritized over the second gradation conversion characteristic 504, and is applied to the rear display unit 101. .. The third gradation conversion characteristic 505 is not limited to the gradation characteristic on the higher gradation side than the second gradation conversion characteristic 504, and the gradation on the lower gradation side than the second gradation conversion characteristic 504. It may be a characteristic. That is, the third gradation conversion characteristic 505 may be any gradation characteristic as long as it is a gradation characteristic different from the second gradation conversion characteristic 504.

なお、図5の階調変換特性はリニアであってもよい。 The gradation conversion characteristic of FIG. 5 may be linear.

実施形態1によれば、表示先がファインダー内表示部229から背面表示部101に切り替えられる場合に、ファインダー内表示部229におけるユーザ注視領域の階調に応じて背面表示部101に出力される映像信号の階調が変換される。詳しくは、ファインダー内表示部229におけるユーザ注視領域が低階調領域の場合には背面表示部101に対して低階調優先の階調特性に変換された映像信号が出力される。また、ファインダー内表示部229におけるユーザ注視領域が高階調領域の場合には背面表示部101に対して高階調優先の階調特性に変換された映像信号が出力される。これにより、HDR適応のファインダー内表示部229からHDR非適応の背面表示部101に表示先を切り替えた場合にユーザが受ける見えの差による違和感を軽減することができる。 According to the first embodiment, when the display destination is switched from the display unit 229 in the finder to the rear display unit 101, the image output to the rear display unit 101 according to the gradation of the user's gaze area in the display unit 229 in the finder. The gradation of the signal is converted. Specifically, when the user's gaze area in the display unit 229 in the finder is a low gradation area, a video signal converted into a gradation characteristic having priority on low gradation is output to the rear display unit 101. Further, when the user's gaze area in the display unit 229 in the finder is a high gradation area, a video signal converted into a gradation characteristic having high gradation priority is output to the rear display unit 101. As a result, it is possible to reduce the discomfort caused by the difference in appearance that the user receives when the display destination is switched from the HDR-adaptive in-finder display unit 229 to the HDR non-adaptive rear display unit 101.

<注視領域判定処理>次に、図6および図7を参照して、図3のステップS304における注視領域判定処理について説明する。 <Gaze area determination process> Next, the gaze area determination process in step S304 of FIG. 3 will be described with reference to FIGS. 6 and 7.

図6は、図3のステップS304における注視領域判定処理を示すフローである。 FIG. 6 is a flow showing the gaze area determination process in step S304 of FIG.

図6(a)は、ユーザの視線位置に基づいて注視領域を判定する処理を示している。 FIG. 6A shows a process of determining the gaze area based on the line-of-sight position of the user.

ステップS650では、システム制御部201は、視線検出部260がファインダー内表示部229におけるユーザの視線位置の情報を取得する。 In step S650, the system control unit 201 causes the line-of-sight detection unit 260 to acquire information on the user's line-of-sight position on the display unit 229 in the finder.

ステップS651では、システム制御部201は、ユーザの視線位置が移動したか否かを判定し、移動したと判定した場合はステップS50に戻り、再度視線位置情報を取得し、移動していないと判定した場合はステップS652に進む。 In step S651, the system control unit 201 determines whether or not the user's line-of-sight position has moved, and if it determines that the user's line-of-sight position has moved, returns to step S50, acquires the line-of-sight position information again, and determines that the user has not moved. If so, the process proceeds to step S652.

ステップS652では、システム制御部201は、ステップS650で取得した視線位置の情報に基づき、ユーザの注視領域を判定し、判定結果である注視領域情報をシステムメモリ252に記憶する。また、ユーザ操作により撮影処理が指示された場合は、注視領域情報は撮影された画像ファイルにメタデータとして埋め込まれる。 In step S652, the system control unit 201 determines the gaze area of the user based on the line-of-sight position information acquired in step S650, and stores the gaze area information which is the determination result in the system memory 252. Further, when the shooting process is instructed by the user operation, the gaze area information is embedded as metadata in the shot image file.

図6(b)は、撮影時のAF制御におけるAF枠の位置(AF位置)によって注視領域を判定する処理を示している。 FIG. 6B shows a process of determining the gaze area based on the position of the AF frame (AF position) in the AF control during shooting.

ステップS660では、システム制御部201は、注視領域判定部201bがライブビューにおける現在のAF位置の情報を取得する。 In step S660, the system control unit 201 causes the gaze area determination unit 201b to acquire information on the current AF position in the live view.

ステップS651では、システム制御部201は、AF位置が移動したか否かを判定し、移動したと判定した場合はステップS650に戻り、再度AF位置情報を取得し、移動していないと判定した場合はステップS652に進む。なお、AF位置はユーザが操作部270に含まれるタッチパネル270aなどを操作することで画面上に表示されているAF枠を任意の被写体に変更することが可能である。 In step S651, the system control unit 201 determines whether or not the AF position has moved, and if it determines that the AF position has moved, returns to step S650, acquires AF position information again, and determines that the AF position has not moved. Proceeds to step S652. The AF position can be changed to an arbitrary subject by the user operating the touch panel 270a or the like included in the operation unit 270 to change the AF frame displayed on the screen to an arbitrary subject.

ステップS652では、システム制御部201は、ステップS660で取得したAF位置情報に基づき、ユーザの注視領域を判定し、判定結果である注視領域情報をシステムメモリ252に記憶する。また、ユーザ操作により撮影処理が指示された場合は、注視領域情報は撮影された画像ファイルにメタデータとして埋め込まれる。 In step S652, the system control unit 201 determines the gaze area of the user based on the AF position information acquired in step S660, and stores the gaze area information which is the determination result in the system memory 252. Further, when the shooting process is instructed by the user operation, the gaze area information is embedded as metadata in the shot image file.

図7(a)は、ユーザの視線位置によって注視領域を判定する方法を説明する図である。 FIG. 7A is a diagram illustrating a method of determining a gaze area based on a user's line-of-sight position.

701はファインダー内表示部229においてユーザの視線位置を示すポインタであり、710は注視領域判定部201bが判定した注視領域を表す枠である。 Reference numeral 701 is a pointer indicating the line-of-sight position of the user on the display unit 229 in the finder, and reference numeral 710 is a frame representing the gaze area determined by the gaze area determination unit 201b.

視線検出部260がファインダー内表示部229におけるユーザの視線位置を検出し、検出された視線位置情報は、システム制御部201の注視領域判定部201bへ出力される。注視領域判定部201bは受け取った視線位置情報に基づいて注視領域を判定する。 The line-of-sight detection unit 260 detects the user's line-of-sight position on the display unit 229 in the finder, and the detected line-of-sight position information is output to the gaze area determination unit 201b of the system control unit 201. The gaze area determination unit 201b determines the gaze area based on the received line-of-sight position information.

図7(b)は、撮影時のAF位置に基づいて注視領域を判定する方法を説明する図である。 FIG. 7B is a diagram illustrating a method of determining a gaze area based on an AF position at the time of photographing.

702はAF位置を表し、710は注視領域判定部201bが判定した注視領域を表す枠である。 702 is a frame representing the AF position, and 710 is a frame representing the gaze area determined by the gaze area determination unit 201b.

撮影モードであれば、AF位置(AF枠)が移動するのに合わせてリアルタイムに注視領域が移動する。再生モードであれば、再生画像に埋め込まれたAF位置情報に基づいて注視領域が判定される。 In the shooting mode, the gaze area moves in real time as the AF position (AF frame) moves. In the reproduction mode, the gaze area is determined based on the AF position information embedded in the reproduced image.

このように、ユーザの視線位置もしくはAF位置によってファインダー内表示部229におけるユーザの注視領域を判定することができる。 In this way, the user's gaze area on the display unit 229 in the finder can be determined based on the user's line-of-sight position or AF position.

[実施形態2]次に、図8および図9を参照して、実施形態2について説明する。 [Embodiment 2] Next, the second embodiment will be described with reference to FIGS. 8 and 9.

実施形態2では、ファインダー内表示部229におけるユーザの視線位置の移動軌跡に基づいて注視領域を判定する。 In the second embodiment, the gaze area is determined based on the movement locus of the user's line-of-sight position on the display unit 229 in the finder.

図8は、ユーザの視線位置の移動軌跡情報に基づく注視領域判定処理の説明図である。 FIG. 8 is an explanatory diagram of the gaze area determination process based on the movement locus information of the line-of-sight position of the user.

800はファインダー内表示部229の表示画面を例示している。 Reference numeral 800 illustrates the display screen of the display unit 229 in the finder.

801a〜801iはユーザの視線位置の移動を所定時間間隔でプロットした軌跡を例示し、802は離眼直前のユーザの視線位置を示している。 801a to 801i exemplify a locus in which the movement of the user's line-of-sight position is plotted at predetermined time intervals, and 802 indicates the user's line-of-sight position immediately before the eye is removed.

810a、810bは注視領域判定部201bが判定した注視領域を表す枠である。 810a and 810b are frames representing the gaze area determined by the gaze area determination unit 201b.

ユーザの視線位置の移動軌跡情報から注視領域を判定する方法は以下の2つの方法がある。 There are the following two methods for determining the gaze area from the movement locus information of the user's line-of-sight position.

第1の方法は、図8(a)のように、注視領域判定部201bが離眼直前にユーザの視線が入力されていた領域810aを注視領域と判定する。この場合、注視領域判定方法は図6(a)のフローチャートに従う。 In the first method, as shown in FIG. 8A, the gaze area determination unit 201b determines the area 810a in which the user's line of sight is input immediately before the eye is removed as the gaze area. In this case, the gaze area determination method follows the flowchart of FIG. 6A.

第2の方法では、図8(b)のように、注視領域判定部201bが第1の所定時間内でユーザの注視時間が長かった領域810bを注視領域と判定する。この場合は、注視領域判定方法は図9に示すフローチャートに従う。 In the second method, as shown in FIG. 8B, the gaze area determination unit 201b determines the area 810b in which the user's gaze time is long within the first predetermined time as the gaze area. In this case, the gaze area determination method follows the flowchart shown in FIG.

図9は、第2の方法による注視領域判定処理であって、図3のステップS304における注視領域判定処理を示すフローチャートである。 FIG. 9 is a flowchart showing the gaze area determination process according to the second method, showing the gaze area determination process in step S304 of FIG.

ステップS950では、視線検出部260がファインダー内表示部229におけるユーザの視線位置情報を取得する。 In step S950, the line-of-sight detection unit 260 acquires the user's line-of-sight position information on the display unit 229 in the finder.

ステップS951では、システム制御部201は、注視領域判定部201bが第2の所定時間が経過したか否かを判定し、第2の所定時間が経過した場合はステップS952に進み、第2の所定時間が経過していない場合はステップS950に戻り、視線位置情報の取得を繰り返す。なお、第2の所定時間は第1の所定時間よりも短いものとする。 In step S951, the system control unit 201 determines whether or not the second predetermined time has elapsed, and if the second predetermined time has elapsed, the system control unit 201 proceeds to step S952 and proceeds to the second predetermined time. If the time has not elapsed, the process returns to step S950, and the acquisition of the line-of-sight position information is repeated. The second predetermined time is shorter than the first predetermined time.

ステップS952では、システム制御部201は、ステップS950で取得した視線位置情報を移動軌跡情報としてシステムメモリ252に記憶し、ステップS953に進む。 In step S952, the system control unit 201 stores the line-of-sight position information acquired in step S950 as movement locus information in the system memory 252, and proceeds to step S953.

ステップS953では、システム制御部201は、ステップS952で取得した視線位置の移動軌跡情報に基づいてユーザの注視領域を判定する。注視領域判定部201bは、第1の所定時間内において移動軌跡情報が最も多く記録された領域を注視領域と判定し、注視領域情報をシステムメモリ252に記憶する。また、ユーザ操作により撮影処理が指示された場合は、注視領域情報は撮影された画像ファイルにメタデータとして埋め込まれる。 In step S953, the system control unit 201 determines the user's gaze area based on the movement locus information of the line-of-sight position acquired in step S952. The gaze area determination unit 201b determines that the area in which the most movement locus information is recorded within the first predetermined time is the gaze area, and stores the gaze area information in the system memory 252. Further, when the shooting process is instructed by the user operation, the gaze area information is embedded as metadata in the shot image file.

実施形態としては、第1の方法のみを実施する場合と第2の方法のみを実施する場合と第1および第2の方法をユーザが設定で切り替えて実施する場合がある。 As an embodiment, there are a case where only the first method is implemented, a case where only the second method is implemented, and a case where the user switches between the first and second methods by setting.

なお、実施形態2において、視線位置情報に基づいた注視領域判定方法以外の処理は実施形態1と同じである。 In the second embodiment, the processing other than the gaze area determination method based on the line-of-sight position information is the same as that in the first embodiment.

実施形態2によれば、ユーザの注視領域を視線位置の移動軌跡によって判定することができ、実施形態1と同様に、HDR適応のファインダー内表示部229からHDR非適応の背面表示部101に表示先を切り替えた場合にユーザが受ける見えの差による違和感を軽減することができる。 According to the second embodiment, the gaze area of the user can be determined by the movement locus of the line-of-sight position, and is displayed from the HDR-adaptive viewfinder display unit 229 to the HDR non-adaptive rear display unit 101 as in the first embodiment. It is possible to reduce the discomfort caused by the difference in appearance that the user receives when switching the destination.

[実施形態3]次に、図10および図11を参照して、実施形態3について説明する。 [Embodiment 3] Next, the third embodiment will be described with reference to FIGS. 10 and 11.

実施形態3では、実施形態1、2のHDRアシスト表示を行うか否かをカメラの動作モードなどに応じてユーザが任意に設定できる。図10は実施形態3のHDRアシスト表示の設定画面を例示している。 In the third embodiment, the user can arbitrarily set whether or not to perform the HDR assist display of the first and second embodiments according to the operation mode of the camera and the like. FIG. 10 illustrates a setting screen for HDR assist display according to the third embodiment.

1000は背面表示部101のHDRアシスト表示の設定画面であり、1001〜1004は設定画面1000で選択可能な項目一覧である。 Reference numeral 1000 denotes an HDR assist display setting screen of the rear display unit 101, and 1001 to 1004 are a list of items that can be selected on the setting screen 1000.

項目801は、撮影直後の画像表示時(クイックレビュー表示時)においてのみファインダー内表示部229における注視領域の階調に応じて背面表示部101の映像信号の階調を変換するHDRアシスト表示を行う設定である。 Item 801 performs HDR assist display that converts the gradation of the video signal of the rear display unit 101 according to the gradation of the gaze area in the viewfinder display unit 229 only when the image is displayed immediately after shooting (when the quick review is displayed). It is a setting.

項目802は、撮影モード時および再生モード時においてのみファインダー内表示部229における注視領域の階調に応じて背面表示部101の映像信号の階調を変換するHDRアシスト表示を行う設定である。よって、例えばメニュー画面の表示中は、ファインダー内表示部229に応じた背面表示部101のHDRアシスト表示は行わない。 Item 802 is a setting for performing HDR assist display that converts the gradation of the video signal of the rear display unit 101 according to the gradation of the gaze area on the display unit 229 in the viewfinder only in the shooting mode and the reproduction mode. Therefore, for example, during the display of the menu screen, the HDR assist display of the rear display unit 101 corresponding to the display unit 229 in the finder is not performed.

項目803は、カメラの動作モードなどに関わらず、常にファインダー内表示部229における注視領域の階調に応じて背面表示部101の映像信号の階調を変換するHDRアシスト表示を行う設定である。 Item 803 is a setting for performing HDR assist display that always converts the gradation of the video signal of the rear display unit 101 according to the gradation of the gaze area in the display unit 229 in the viewfinder regardless of the operation mode of the camera.

項目803は、カメラの動作モードなどに関わらず、常にファインダー内表示部229における注視領域の階調に応じて背面表示部101の映像信号の階調を変換するHDRアシスト表示は行わない設定である。 Item 803 is a setting that does not perform HDR assist display that always converts the gradation of the video signal of the rear display unit 101 according to the gradation of the gaze area in the display unit 229 in the viewfinder regardless of the operation mode of the camera. ..

なお、再生モード時においてファインダー内表示部229に応じた背面表示部101のHDRアシスト表示を行う場合の制御処理を、図11を参照して説明する。 The control process for performing HDR assist display of the rear display unit 101 according to the display unit 229 in the finder in the playback mode will be described with reference to FIG.

図11は、実施形態3の再生モード時の表示制御処理を示している。 FIG. 11 shows the display control process in the reproduction mode of the third embodiment.

ステップS1101では、システム制御部201は、接眼検知部217が接眼部216に対する接眼を検知したか否かを判定する。接眼検知部217が接眼を検知したと判定した場合はステップS1102に進み、接眼を検知していないと判定した場合はステップS1104に進む。 In step S1101, the system control unit 201 determines whether or not the eyepiece detection unit 217 has detected an eyepiece on the eyepiece unit 216. If it is determined that the eyepiece detection unit 217 has detected the eyepiece, the process proceeds to step S1102, and if it is determined that the eyepiece has not been detected, the process proceeds to step S1104.

ステップS1102では、システム制御部201は、表示先をファインダー内表示部229に切り替え、ライブビューを表示する。 In step S1102, the system control unit 201 switches the display destination to the display unit 229 in the finder and displays the live view.

ステップS1103では、システム制御部201は、接眼検知部217が接眼部216に対する離眼を検知したか否かを判定する。接眼検知部217が離眼を検知したと判定した場合はステップS1104に進み、離眼を検知していないと判定した場合は、離眼を検知するまでファインダー内表示部229へのライブビューの表示を継続する。 In step S1103, the system control unit 201 determines whether or not the eyepiece detection unit 217 has detected the eyepiece separation from the eyepiece unit 216. If it is determined that the eyepiece detection unit 217 has detected the eyepiece separation, the process proceeds to step S1104. To continue.

ステップS1104では、システム制御部201は、注視領域判定部201bが再生画像に埋め込まれている注視領域情報を取得し、ステップS1105に進む。 In step S1104, the system control unit 201 acquires the gaze area information embedded in the reproduced image by the gaze area determination unit 201b, and proceeds to step S1105.

ステップS1105では、システム制御部201は、ステップS114で取得した注視領域内の平均階調が所定値未満であると判定した場合はステップS1106に進み、注視領域内の平均階調が所定値以上であると判定した場合はステップS1107に進む。 In step S1105, if the system control unit 201 determines that the average gradation in the gaze area acquired in step S114 is less than a predetermined value, the system control unit 201 proceeds to step S1106, and the average gradation in the gaze area is equal to or more than a predetermined value. If it is determined that there is, the process proceeds to step S1107.

ステップS1106では、システム制御部201は、出力信号変換部201aが背面表示部101に対して低階調優先の階調変換特性を適用した映像信号を出力すると共に、ファインダー内表示部229を消灯する。 In step S1106, the system control unit 201 outputs a video signal to which the low gradation priority gradation conversion characteristic is applied to the rear display unit 101 by the output signal conversion unit 201a, and turns off the display unit 229 in the finder. ..

ステップS1107では、システム制御部201は、出力信号変換部201aが背面表示部101に対して高階調優先の階調変換特性を適用した映像信号を出力すると共に、ファインダー内表示部229を消灯する。 In step S1107, the system control unit 201 outputs a video signal to which the high gradation priority gradation conversion characteristic is applied to the rear display unit 101 by the output signal conversion unit 201a, and turns off the display unit 229 in the finder.

なお、実施形態3において、ファインダー内表示部229における注視領域の階調に応じて背面表示部101の映像信号の階調を変換する処理は実施形態1と同じである。 In the third embodiment, the process of converting the gradation of the video signal of the rear display unit 101 according to the gradation of the gaze area in the display unit 229 in the finder is the same as that of the first embodiment.

実施形態3によれば、ファインダー内表示部229における注視領域の階調に応じて背面表示部101に出力する映像信号の階調特性を変換するHDRアシスト表示を行うか否かをカメラの動作モードなどに応じてユーザが任意に設定できる。 According to the third embodiment, the operation mode of the camera determines whether or not to perform HDR assist display that converts the gradation characteristics of the video signal output to the rear display unit 101 according to the gradation of the gaze area in the display unit 229 in the viewfinder. The user can set it arbitrarily according to the above.

また、再生モード時においても、HDR適応のファインダー内表示部229からHDR非適応の背面表示部101に表示先を切り替えた場合にユーザが受ける見えの差による違和感を軽減することができる。 Further, even in the playback mode, it is possible to reduce the discomfort caused by the difference in appearance that the user receives when the display destination is switched from the HDR-adaptive viewfinder display unit 229 to the HDR non-adaptive rear display unit 101.

[他の実施形態]
上述した各実施形態において、注視領域内の階調判定は、平均階調を使用する場合に限定されず、注視領域内の最大階調や最小階調を使用して判定する構成であってもよい。また、注視領域内に占める面積が多い階調を注視領域内の階調と判定してもよい。
[Other Embodiments]
In each of the above-described embodiments, the gradation determination in the gaze area is not limited to the case where the average gradation is used, and the determination is made by using the maximum gradation or the minimum gradation in the gaze area. good. Further, the gradation that occupies a large area in the gaze area may be determined as the gradation in the gaze area.

また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention also supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device implement the program. It can also be realized by the process of reading and executing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiments, and various modifications and modifications can be made without departing from the spirit and scope of the invention. Therefore, a claim is attached to make the scope of the invention public.

100…デジタルカメラ、101…背面表示部、201…システム制御部、201a…出力信号変換部、201b…注視領域判定部、216…接眼部、217…接眼検知部、229…ファインダー内表示部、260…視線検出部 100 ... Digital camera, 101 ... Rear display unit, 201 ... System control unit, 201a ... Output signal conversion unit, 201b ... Gaze area determination unit, 216 ... Eyepiece unit, 217 ... Eyepiece detection unit, 229 ... Display unit in viewfinder, 260 ... Line-of-sight detector

Claims (12)

ファインダーに設けられた第1の表示部と、
ファインダー外に設けられた第2の表示部と、
前記ファインダーに対する接眼状態を検知する接眼検知手段と、
前記接眼検知手段による検知結果に応じて、前記第1の表示部と前記第2の表示部のいずれに表示先を切り替える切り替え手段と、
前記第1の表示部におけるユーザの視線位置を検出する視線検出手段と、
前記第1の表示部または前記第2の表示部に出力する映像信号の階調特性を制御する制御手段と、を有し、
前記制御手段は、表示先が前記第1の表示部の場合には第1の階調特性の映像信号を前記第1の表示部に出力し、
表示先が前記第2の表示部の場合には、ユーザの注視位置を含む領域の階調に応じて前記第1の階調特性を変換した第2の階調特性の映像信号または前記第2の階調特性とは異なる第3の階調特性の映像信号を前記第2の表示部に出力することを特徴とする表示装置。
The first display unit provided in the viewfinder and
A second display located outside the viewfinder and
An eyepiece detection means for detecting the eyepiece state with respect to the finder,
A switching means for switching the display destination to either the first display unit or the second display unit according to the detection result by the eyepiece detection means.
A line-of-sight detection means for detecting a user's line-of-sight position on the first display unit,
It has a control means for controlling the gradation characteristics of a video signal output to the first display unit or the second display unit.
When the display destination is the first display unit, the control means outputs a video signal having the first gradation characteristic to the first display unit.
When the display destination is the second display unit, the video signal having the second gradation characteristic or the second gradation characteristic obtained by converting the first gradation characteristic according to the gradation of the region including the gaze position of the user. A display device characterized by outputting a video signal having a third gradation characteristic different from the gradation characteristic of the above to the second display unit.
前記制御手段は、表示先が前記第2の表示部の場合であって、前記注視位置を含む領域の階調が所定値未満の場合は前記第2の表示部に前記第2の階調特性の映像信号を出力し、
前記注視位置を含む領域の階調が所定値以上の場合は前記第2の表示部に前記第3の階調特性の映像信号を出力することを特徴とする請求項1に記載の表示装置。
When the display destination is the second display unit and the gradation of the region including the gaze position is less than a predetermined value, the control means displays the second gradation characteristic on the second display unit. Output the video signal of
The display device according to claim 1, wherein when the gradation of the region including the gaze position is equal to or higher than a predetermined value, a video signal having the third gradation characteristic is output to the second display unit.
前記第1の表示部は、前記第2の表示部よりも表示可能な階調範囲が広い、覗き込み型の電子ビューファインダーであり、
前記第2の表示部は、ファインダー外から視認可能な電子ビューファインダーであることを特徴とする請求項1または2に記載の表示装置。
The first display unit is a peep-type electronic viewfinder having a wider gradation range that can be displayed than the second display unit.
The display device according to claim 1 or 2, wherein the second display unit is an electronic viewfinder that can be visually recognized from outside the finder.
前記第1の階調特性はHDR(High Dynamic Range)の階調変換特性であり、
前記第2の階調特性は前記第3の階調特性よりも低階調側の階調特性を優先して擬似的にHDRの表示を行うための特性であり、
前記第3の階調特性は前記第2の階調特性よりも高階調側の階調特性を優先して擬似的にHDRの表示を行うための特性であることを特徴とする請求項1から3のいずれか1項に記載の表示装置。
The first gradation characteristic is an HDR (High Dynamic Range) gradation conversion characteristic.
The second gradation characteristic is a characteristic for displaying HDR in a pseudo manner by giving priority to the gradation characteristic on the low gradation side over the third gradation characteristic.
From claim 1, the third gradation characteristic is a characteristic for displaying HDR in a pseudo manner by giving priority to the gradation characteristic on the high gradation side over the second gradation characteristic. The display device according to any one of 3.
撮影直後の画像表示時に、前記第1の表示部における注視領域情報に基づいて前記第2の表示部の階調特性が変換される第1の設定と、
撮影モードまたは再生モード時に、前記第1の表示部における注視領域情報に基づいて前記第2の表示部の階調特性が変換される第2の設定と、
動作モードに関わらず、前記第1の表示部における注視領域情報に基づいて前記第2の表示部の階調特性が変換される第3の設定と、
前記第1の表示部における注視領域情報に基づく前記第2の表示部の階調特性の変換を行わない第4の設定のいずれかが、ユーザにより選択可能であることを特徴とする請求項1から4のいずれか1項に記載の表示装置。
The first setting in which the gradation characteristics of the second display unit are converted based on the gaze area information in the first display unit when the image is displayed immediately after shooting.
In the shooting mode or the playback mode, the second setting in which the gradation characteristic of the second display unit is converted based on the gaze area information in the first display unit, and
Regardless of the operation mode, the third setting in which the gradation characteristic of the second display unit is converted based on the gaze area information in the first display unit, and
Claim 1 is characterized in that any one of the fourth settings that do not convert the gradation characteristics of the second display unit based on the gaze area information in the first display unit can be selected by the user. The display device according to any one of 4 to 4.
前記制御手段は、前記視線検出手段により検出された視線位置に基づいて、注視位置に対応する領域の判定を行うことを特徴とする請求項1から5のいずれか1項に記載の表示装置。 The display device according to any one of claims 1 to 5, wherein the control means determines a region corresponding to the gaze position based on the line-of-sight position detected by the line-of-sight detection means. 前記制御手段は、前記視線検出手段により検出された視線位置の情報に基づき、所定時間内における注視時間が最も長かった領域を注視領域と判定することを特徴とする請求項6に記載の表示装置。 The display device according to claim 6, wherein the control means determines the region having the longest gaze time within a predetermined time as the gaze region based on the information of the gaze position detected by the gaze detecting means. .. 前記制御手段は、前記視線検出手段により検出された視線位置の情報に基づき、前記接眼検知手段が離眼を検知する直前の視線位置を注視領域と判定することを特徴とする請求項6に記載の表示装置。 The sixth aspect of claim 6 is characterized in that the control means determines the line-of-sight position immediately before the eyepiece detection means detects eye separation as a gaze area based on the information on the line-of-sight position detected by the line-of-sight detection means. Display device. 前記表示装置は、被写体に自動で焦点を合わせるAF制御を行う撮像装置に接続されており、
前記制御手段は、AF位置を注視領域と判定することを特徴とする請求項1から6のいずれか1項に記載の表示装置。
The display device is connected to an image pickup device that performs AF control that automatically focuses on the subject.
The display device according to any one of claims 1 to 6, wherein the control means determines the AF position as a gaze area.
ファインダーに設けられた第1の表示部と、
ファインダー外に設けられた第2の表示部と、
前記ファインダーに対する接眼状態を検知する接眼検知手段と、
前記第1の表示部におけるユーザの視線位置を検出する視線検出手段と、を有する表示装置の制御方法であって、
前記接眼検知手段による検知結果に応じて、前記第1の表示部と前記第2の表示部のいずれに表示先を切り替えるステップと、
前記第1の表示部または前記第2の表示部に出力する映像信号の階調特性を制御するステップと、を有し、
前記制御するステップでは、表示先が前記第1の表示部の場合には第1の階調特性の映像信号を前記第1の表示部に出力し、
表示先が前記第2の表示部の場合には、注視位置を含む領域の階調に応じて第2の階調特性の映像信号または前記第2の階調特性とは異なる第3の階調特性の映像信号を前記第2の表示部に出力することを特徴とする制御方法。
The first display unit provided in the viewfinder and
A second display located outside the viewfinder and
An eyepiece detection means for detecting the eyepiece state with respect to the finder,
A control method for a display device including a line-of-sight detection means for detecting a user's line-of-sight position on the first display unit.
A step of switching the display destination to either the first display unit or the second display unit according to the detection result by the eyepiece detection means, and
It has a step of controlling the gradation characteristic of a video signal output to the first display unit or the second display unit.
In the control step, when the display destination is the first display unit, the video signal having the first gradation characteristic is output to the first display unit.
When the display destination is the second display unit, the video signal having the second gradation characteristic or the third gradation different from the second gradation characteristic depends on the gradation of the region including the gaze position. A control method characterized by outputting a characteristic video signal to the second display unit.
コンピュータに、請求項10に記載された制御方法を実行させるためのプログラム。 A program for causing a computer to execute the control method according to claim 10. コンピュータに、請求項10に記載された制御方法を実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。 A computer-readable storage medium that stores a program for causing a computer to execute the control method according to claim 10.
JP2020071197A 2020-04-10 2020-04-10 Display device, control method thereof, program, and storage medium Active JP7497196B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020071197A JP7497196B2 (en) 2020-04-10 2020-04-10 Display device, control method thereof, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020071197A JP7497196B2 (en) 2020-04-10 2020-04-10 Display device, control method thereof, program, and storage medium

Publications (2)

Publication Number Publication Date
JP2021168449A true JP2021168449A (en) 2021-10-21
JP7497196B2 JP7497196B2 (en) 2024-06-10

Family

ID=78079838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020071197A Active JP7497196B2 (en) 2020-04-10 2020-04-10 Display device, control method thereof, program, and storage medium

Country Status (1)

Country Link
JP (1) JP7497196B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4192418B2 (en) 2000-10-27 2008-12-10 ソニー株式会社 Image processing apparatus and method, and recording medium
JP2009038818A (en) 2008-09-22 2009-02-19 Fujifilm Corp Image processing method and digital camera
JP5457217B2 (en) 2010-02-02 2014-04-02 オリンパスイメージング株式会社 camera
JP2012023723A (en) 2010-06-18 2012-02-02 Panasonic Corp Imaging apparatus
US11221707B2 (en) 2016-01-28 2022-01-11 Maxell, Ltd. Imaging device
JP2017139613A (en) 2016-02-03 2017-08-10 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6991746B2 (en) 2017-06-09 2022-01-13 キヤノン株式会社 Imaging device

Also Published As

Publication number Publication date
JP7497196B2 (en) 2024-06-10

Similar Documents

Publication Publication Date Title
US11240419B2 (en) Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
US20230300446A1 (en) Electronic device, control method thereof, and recording medium
CN113364945A (en) Electronic apparatus, control method, and computer-readable medium
JP7442331B2 (en) Voice input device and its control method and program
JP7442330B2 (en) Voice input device and its control method and program
JP2021145191A (en) Imaging device and control method thereof, program and storage medium
JP2021114731A (en) Imaging control device and control method thereof
JP2021170066A (en) Display control apparatus and method, program, and storage medium
JP2021152597A (en) Imaging apparatus and method for controlling the same, program, and storage medium
JP2020178273A (en) Display control device and control method thereof
US11526208B2 (en) Electronic device and method for controlling electronic device
US11375115B2 (en) Image capturing apparatus, control method thereof, and recording medium thereof
JP7497196B2 (en) Display device, control method thereof, program, and storage medium
JP2021180433A (en) Imaging apparatus, information processing device, control method thereof, program, and storage medium
JP2021093624A (en) Electronic device and control method thereof, programs, and storage media
JP2021097356A (en) Imaging control device
JP7418233B2 (en) Display device, control method and program
US11582379B2 (en) Image capturing apparatus, control method for image capturing apparatus, and storage medium
JP7451255B2 (en) Electronic equipment and its control method
JP2019070759A (en) Display control device and control method therefor
US20240323520A1 (en) Electronic device
WO2023007904A1 (en) Electronic device, electronic device control method, program, and storage medium
WO2024095888A1 (en) Imaging device, control method, and program
JP2022095306A (en) Display control device and method for controlling the same
JP2022095264A (en) Display control device and method for controlling the same

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240529

R150 Certificate of patent or registration of utility model

Ref document number: 7497196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150