JP2015192363A - Image reproducing device, image reproducing method, and program for controlling computer of image reproducing device - Google Patents

Image reproducing device, image reproducing method, and program for controlling computer of image reproducing device Download PDF

Info

Publication number
JP2015192363A
JP2015192363A JP2014069121A JP2014069121A JP2015192363A JP 2015192363 A JP2015192363 A JP 2015192363A JP 2014069121 A JP2014069121 A JP 2014069121A JP 2014069121 A JP2014069121 A JP 2014069121A JP 2015192363 A JP2015192363 A JP 2015192363A
Authority
JP
Japan
Prior art keywords
image
display screen
focus
display
main subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014069121A
Other languages
Japanese (ja)
Other versions
JP6126037B2 (en
Inventor
大久保 猛
Takeshi Okubo
猛 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014069121A priority Critical patent/JP6126037B2/en
Publication of JP2015192363A publication Critical patent/JP2015192363A/en
Application granted granted Critical
Publication of JP6126037B2 publication Critical patent/JP6126037B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image reproducing device which prevents a line of sight from wandering when switching an image, an image reproducing method, and a program therefor.SOLUTION: In a first image 41B, a position 50 of a focused main subject image 43 on a display screen 40 is detected. When the first image 41B is switched to a second image, the second image is generated in such a manner that an image portion being present at the position 50 is focused. The generated second image is displayed on the display screen 40. The position of the focused image portion on the display screen 40 is not changed, thereby preventing a line of sight of a user from wandering in image switching.

Description

この発明は,画像再生装置,画像再生方法および画像再生装置のコンピュータを制御するプログラムに関する。   The present invention relates to an image reproduction apparatus, an image reproduction method, and a program for controlling a computer of the image reproduction apparatus.

ライトフィールドカメラと呼ばれるカメラが実現されている。ライトフィールドカメラでは,撮像素子から得られる画像データに,受光面における光の強度分布に加えて,その光の進行方向の情報も含まれる。これにより,複数の視点,方向からの観察画像を再構築できる。ライトフィールドカメラでは,撮像後にリフォーカスをすることにより,所望の部分がぼけの無い画像を再構築できる。このために,撮影後にフォーカス位置を任意に変更するものがある(特許文献1)。また,マルチフォーカス連写画像を表示する際に,合焦位置の移動距離にもとづいて表示時間を決定するものもある(特許文献2)。   A camera called a light field camera has been realized. In the light field camera, the image data obtained from the image sensor includes information on the light traveling direction in addition to the light intensity distribution on the light receiving surface. As a result, observation images from a plurality of viewpoints and directions can be reconstructed. In a light field camera, an image in which a desired portion is not blurred can be reconstructed by performing refocusing after imaging. For this reason, there is one in which the focus position is arbitrarily changed after photographing (Patent Document 1). In addition, when displaying a multi-focus continuous shot image, there is one that determines the display time based on the moving distance of the in-focus position (Patent Document 2).

特開2013-255172号公報JP 2013-255172 A 特開2011-228814号公報JP 2011-228814 A

しかしながら,特許文献1に記載の発明においては,異なる画像を順次切り替えて表示することは考えられていない。このために,表示画像の切替時に画像平面上の合焦位置が変わると,観賞者は本能的に合焦位置を探そうとして視線が画面上をさまよってしまうために,観賞しづらい。特に,スライドショー再生などの際に。不要な視線移動を生じさせることで,再生効果の自然さを損ねてしまうことは特許文献1では全く想定していない。また,特許文献2では,画像切替時に視線を移動するための時間的猶予が与えられるだけであり,視線が画面上をさまようことに変わりはない。   However, in the invention described in Patent Document 1, it is not considered to sequentially switch and display different images. For this reason, if the focus position on the image plane changes at the time of switching the display image, the viewer will instinctively look for the focus position and the line of sight will wander on the screen, making it difficult to view. Especially when playing slideshows. In Patent Document 1, it is not assumed at all that the naturalness of the reproduction effect is lost by causing unnecessary line-of-sight movement. Moreover, in patent document 2, only the time delay for moving a visual line at the time of image switching is given, and it does not change that a visual line wanders on a screen.

この発明は,画像の切替時に視線がさまよってしまうことを未然に防止することを目的とする。   An object of the present invention is to prevent the line of sight from wandering when switching images.

この発明による画像再生装置は,第1の画像を表示装置の表示画面に表示させる第1の画像表示制御手段,第1の画像が合焦している部分の表示画面における位置を検出する合焦位置検出手段,および第1の画像から,合焦部分を変更可能な第2の画像に切り替えて表示画面に表示させる場合に,合焦位置検出手段によって検出された,表示画面における位置の画像部分を合焦させて第2の画像を表示画面に表示させる第2の画像表示制御手段を備えていることを特徴とする。   The image reproduction apparatus according to the present invention has a first image display control means for displaying a first image on a display screen of a display device, and a focus for detecting a position on the display screen of a portion where the first image is focused. The position detection means and the image portion of the position on the display screen detected by the focus position detection means when the focus image is switched from the first image to the changeable second image and displayed on the display screen. And a second image display control means for displaying the second image on the display screen.

この発明は,画像再生方法も提供している。すなわち,その方法は,第1の画像表示制御手段が,第1の画像を表示装置の表示画面に表示させ,合焦位置検出手段が,第1の画像が合焦している部分の表示画面における位置を検出し,第2の画像表示制御手段が,第1の画像から,合焦部分を変更可能な第2の画像に切り替えて表示画面に表示させる場合に,合焦位置検出手段によって検出された,表示画面における位置の画像部分を合焦させて第2の画像を上記表示画面に表示させるものである。   The present invention also provides an image reproduction method. That is, in this method, the first image display control means displays the first image on the display screen of the display device, and the focus position detection means displays the display screen of the portion in which the first image is in focus. Is detected by the in-focus position detecting means when the second image display control means switches from the first image to the second image in which the in-focus portion can be changed and displayed on the display screen. The second image is displayed on the display screen by focusing the image portion at the position on the display screen.

この発明は,画像再生装置のコンピュータを制御するプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。   The present invention also provides a program for controlling the computer of the image reproducing apparatus. A recording medium storing such a program may be provided.

第2の画像表示制御手段は,たとえば,合焦位置検出手段によって検出された,表示画面における位置の画像部分を合焦させた後に,合焦させる画像部分を連続的または段階的に変更しながら,第2の画像を表示画面に表示させるものでもよい。   The second image display control means, for example, focuses the image portion at the position on the display screen detected by the focus position detection means, and then changes the focused image portion continuously or stepwise. The second image may be displayed on the display screen.

第2の画像において,合焦位置検出手段によって検出された,表示画面における位置に主要被写体像が存在するか非存在かを判定する主要被写体像判定手段をさらに備えてもよい。その場合,第2の画像表示制御手段は,主要被写体像判定手段によって主要被写体像が存在すると判定されたことにより,合焦位置検出手段によって検出された,表示画面における位置の画像部分を合焦させて第2の画像を表示画面に表示させるものとなろう。   The second image may further include main subject image determination means for determining whether or not the main subject image exists at a position on the display screen detected by the focus position detection means. In this case, the second image display control means focuses the image portion at the position on the display screen detected by the focus position detection means when the main subject image determination means determines that the main subject image exists. The second image will be displayed on the display screen.

第2の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備えてもよい。この場合,第2の表示制御手段は,たとえば,主要被写体像検出手段によって主要被写体像が非検出であったことにより,第2の画像全体を合焦させて上記表示画面に表示させるものとなる。   Main subject image detection means for detecting a main subject image included in the second image may be further provided. In this case, the second display control means focuses the entire second image and displays it on the display screen, for example, when the main subject image is not detected by the main subject image detection means. .

第1の画像は,合焦部分を変更可能でもよい。その場合,第1の表示制御手段は,たとえば,合焦部分を変更しながら,第1の画像を上記表示画面に表示させ,合焦位置検出手段は,第1の画像から第2の画像に切り替えて表示画面に表示させる直前の,第1の画像が合焦している部分の表示画面における位置を検出するものとなろう。   The first image may be capable of changing the in-focus portion. In that case, for example, the first display control means displays the first image on the display screen while changing the in-focus portion, and the in-focus position detection means changes from the first image to the second image. The position on the display screen of the portion where the first image is in focus immediately before switching and displaying on the display screen will be detected.

第2の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備えてもよい。この場合,第2の画像表示制御手段は,たとえば,合焦位置検出手段によって検出された,表示画面における位置の画像部分の合焦から,主要被写体像検出手段において検出された主要被写体像へ,合焦させる画像部分を連続的または段階的に変更しながら第2の画像を表示画面に表示させるものとなる。   Main subject image detection means for detecting a main subject image included in the second image may be further provided. In this case, the second image display control means, for example, from the focus of the image portion at the position on the display screen detected by the focus position detection means to the main subject image detected by the main subject image detection means. The second image is displayed on the display screen while changing the focused image portion continuously or stepwise.

第2の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備えてもよい。この場合,第2の画像表示制御手段は,たとえば,主要被写体像検出手段によって検出された主要被写体像のうち少なくとも一つの主要被写体像に合焦させ,かつ合焦位置検出手段によって検出された表示画面における位置に主要被写体像が表示されるように,第2の画像の表示位置と表示倍率との少なくとも一方を変更して表示画面に表示させるものである。   Main subject image detection means for detecting a main subject image included in the second image may be further provided. In this case, the second image display control means, for example, focuses on at least one main subject image among the main subject images detected by the main subject image detection means, and the display detected by the focus position detection means. At least one of the display position and display magnification of the second image is changed and displayed on the display screen so that the main subject image is displayed at the position on the screen.

第2の画像表示制御手段は,合焦位置検出手段によって検出された,表示画面における位置に位置決めされた主要被写体像の合焦状態を維持しつつ,第2の画像全体を表示画面に表示するまで第2の画像の表示位置と表示倍率との少なくとも一方を連続的または段階的に変更するものでもよい。   The second image display control means displays the entire second image on the display screen while maintaining the in-focus state of the main subject image positioned at the position on the display screen detected by the focus position detecting means. Up to this point, at least one of the display position and display magnification of the second image may be changed continuously or stepwise.

第2の画像表示制御手段は,合焦位置検出手段によって検出された,表示画面における位置の合焦状態を維持しつつ,第2の画像全体が表示画面に表示するまで,第2の画像の表示位置と表示倍率との少なくとも一方を連続的または段階的に変更するものでもよい。   The second image display control means maintains the in-focus state of the position on the display screen detected by the in-focus position detection means, until the entire second image is displayed on the display screen. At least one of the display position and the display magnification may be changed continuously or stepwise.

第1の画像および第2の画像の少なくとも一方を表す画像データを取得する撮像装置をさらに備えてもよい。   You may further provide the imaging device which acquires the image data showing at least one of a 1st image and a 2nd image.

この発明によると,第1の画像が表示画面に表示され,その第1の画像が合焦している部分の表示画面における位置が検出される。第1の画像の表示から第2の画像の表示に切り替えられる場合には,検出された位置の画像部分を合焦させて第2の画像が表示される。第1の画像から第2の画像に切り替わる場合に,合焦している部分の位置が変わらないから,画像の切替時に視線がさまよってしまうことが防止される。   According to the present invention, the first image is displayed on the display screen, and the position on the display screen of the portion where the first image is in focus is detected. When switching from the display of the first image to the display of the second image, the second image is displayed with the image portion at the detected position in focus. When switching from the first image to the second image, the position of the in-focus portion does not change, so that the line of sight is prevented from wobbling during image switching.

ライトフィールドカメラの電気的構成を示すブロック図である。It is a block diagram which shows the electric constitution of a light field camera. ライトフィールドデータが格納されているファイルのファイル構造である。This is a file structure of a file in which light field data is stored. 撮像装置の撮像範囲を示している。The imaging range of an imaging device is shown. 注目画像と点光源の像との関係を示している。The relationship between an attention image and the image of a point light source is shown. ライトフィールドカメラの処理手順の一部を示すフローチャートである。It is a flowchart which shows a part of process sequence of a light field camera. ライトフィールドカメラの処理手順の一部を示すフローチャートである。It is a flowchart which shows a part of process sequence of a light field camera. ライトフィールドカメラの処理手順の一部を示すフローチャートである。It is a flowchart which shows a part of process sequence of a light field camera. 第1の画像の一例である。It is an example of a 1st image. 第1の画像の一例である。It is an example of a 1st image. 第2の画像の一例である。It is an example of a 2nd image. 第2の画像の一例である。It is an example of a 2nd image. ライトフィールドカメラの処理手順の一部を示すフローチャートである。It is a flowchart which shows a part of process sequence of a light field camera. 第2の画像の一例である。It is an example of a 2nd image. ライトフィールドカメラの処理手順の一部を示すフローチャートである。It is a flowchart which shows a part of process sequence of a light field camera. 第2の画像の一例である。It is an example of a 2nd image. 第2の画像の一例である。It is an example of a 2nd image. ライトフィールドカメラの処理手順の一部を示すフローチャートである。It is a flowchart which shows a part of process sequence of a light field camera. 第2の画像の一例である。It is an example of a 2nd image.

図1は,この発明の実施例を示すもので,ライトフィールドカメラ(画像再生装置)1の電気的構成を示すブロック図である。   FIG. 1 shows an embodiment of the present invention, and is a block diagram showing an electrical configuration of a light field camera (image reproduction apparatus) 1.

ライトフィールドカメラ1の全体の動作は,CPU10によって統括される。   The entire operation of the light field camera 1 is controlled by the CPU 10.

ライトフィールドカメラ1には,指令等を出力するスイッチ,ボタン,操作機器等のユーザインターフェイス13が設けられている。ユーザインターフェイス13から出力された指令等は,CPU10に与えられる。   The light field camera 1 is provided with a user interface 13 such as a switch for outputting a command or the like, a button, an operation device or the like. Commands and the like output from the user interface 13 are given to the CPU 10.

ライトフィールドカメラ1には,撮像装置4が含まれている。この撮像装置4には,多数の光電変換素子を含む撮像素子,メインレンズおよびメインレンズと撮像素子との間に設けられたマイクロレンズアレイ(いずれも図示略)が含まれている。マイクロレンズアレイには,多数のマイクロレンズが形成されており,一つのマイクロレンズに対応して複数の光電変換素子が対応付けられている。このような撮像装置4を用いて被写体を撮像することにより,複数の視点位置から被写体を撮像でき,ライトフィールドデータ(多視点画像データ)が得られる。ライトフィールドデータを用いて,リフォーカス処理が行われることにより,所望の部分が合焦した画像(所望の画像部分がぼけていないような画像)を生成できる。すなわち,撮像範囲の中に存在する所望の被写体にピントを合わせて撮像した場合に得られる画像(ピント面に相当する画像)を,ライトフィールドデータを用いて撮像後に生成できるようになる。   The light field camera 1 includes an imaging device 4. The imaging device 4 includes an imaging element including a large number of photoelectric conversion elements, a main lens, and a microlens array (all not shown) provided between the main lens and the imaging element. A number of microlenses are formed in the microlens array, and a plurality of photoelectric conversion elements are associated with one microlens. By imaging the subject using such an imaging device 4, the subject can be imaged from a plurality of viewpoint positions, and light field data (multi-viewpoint image data) can be obtained. By performing refocus processing using light field data, an image in which a desired portion is in focus (an image in which the desired image portion is not blurred) can be generated. That is, an image (an image corresponding to the focus plane) obtained when focusing on a desired subject existing in the imaging range can be generated after imaging using the light field data.

図3および図4を参照して,合焦の意味を説明する。図3に示すように,撮像装置4の撮影範囲内に,理想的な点光源16が被写体として含まれている状態を想定する。撮像装置4において,点光源16からの入射光は光学系(図示略)を介して結像点にて結像するが,その結像点が撮像装置4の撮像素子の撮像面上にあるとき,撮像面上における点光源16の像の直径は実質的にゼロであって撮像素子の許容錯乱円径よりも小さい。一方,その結像点が撮像素子の撮像面上にない場合,撮像面上において点光源16の光学像はぼけ,結果,撮像面上における点光源16の像の直径が許容錯乱円径よりも大きくなりうる。撮像面上における点光源16の像の直径が許容錯乱円径以下であるとき,点光源16としての被写体は撮像面上で合焦しており,撮像面上における点光源16の像の直径が許容錯乱円径よりも大きいとき,点光源16としての被写体は撮像面上で合焦していないということとなる。   The meaning of focusing will be described with reference to FIGS. As shown in FIG. 3, it is assumed that an ideal point light source 16 is included as a subject within the imaging range of the imaging device 4. In the imaging device 4, incident light from the point light source 16 forms an image at an imaging point via an optical system (not shown), and the imaging point is on the imaging surface of the imaging element of the imaging device 4. The diameter of the image of the point light source 16 on the imaging surface is substantially zero and is smaller than the allowable confusion circle diameter of the imaging device. On the other hand, when the imaging point is not on the imaging surface of the image sensor, the optical image of the point light source 16 is blurred on the imaging surface, and as a result, the diameter of the image of the point light source 16 on the imaging surface is larger than the permissible circle of confusion. Can grow. When the diameter of the image of the point light source 16 on the imaging surface is less than or equal to the permissible circle of confusion, the subject as the point light source 16 is in focus on the imaging surface, and the diameter of the image of the point light source 16 on the imaging surface is When the diameter is larger than the permissible circle of confusion, the subject as the point light source 16 is not focused on the imaging surface.

同様に考えて,図4に示すように,注目画像17に点光源16の像16Aが被写体の像として含まれている場合において,像16Aの直径が許容錯乱円径に相当する基準径以下であるとき,注目画像17において点光源16としての被写体は合焦しており,像16Aの直径が基準径よりも大きいとき,注目画像17において点光源16としての被写体は合焦していない。ある被写体が注目画像17の被写界深度内に位置している場合(ある被写体の被写体距離が注目画像17の被写界深度に属している場合),その被写体は注目画像17上において合焦被写体(合焦している画像部分)である。ある被写体が注目画像17の被写界深度内に位置していない場合(ある被写体の被写体距離が注目画像17の被写界深度に属していない場合),その被写体は注目画像17上において非合焦被写体(合焦しておらず,ぼけている画像部分)である。   Similarly, as shown in FIG. 4, when the image 16A of the point light source 16 is included in the target image 17 as the subject image, the diameter of the image 16A is equal to or less than the reference diameter corresponding to the allowable circle of confusion circle. At some point, the subject as the point light source 16 is in focus in the target image 17, and when the diameter of the image 16A is larger than the reference diameter, the subject as the point light source 16 is not in focus in the target image 17. When a certain subject is located within the depth of field of the target image 17 (when the subject distance of a certain subject belongs to the depth of field of the target image 17), the subject is focused on the target image 17 This is the subject (the focused image part). When a subject is not located within the depth of field of the target image 17 (when the subject distance of the subject does not belong to the depth of field of the target image 17), the subject is inconsistent on the target image 17. It is a focused subject (image portion that is out of focus and blurred).

図1に戻って,撮像装置4から出力されたライトフィールドデータは,メモリ制御装置7の制御のもとに,メモリカードのような外部メモリ(記録媒体)5に記録される。ライトフィールドデータからは,画素ごとに位相差を表すデータが得られることとなるから,その位相差を表すデータから,被写体までの距離を算出できる。   Returning to FIG. 1, the light field data output from the imaging device 4 is recorded in an external memory (recording medium) 5 such as a memory card under the control of the memory control device 7. From the light field data, data representing the phase difference is obtained for each pixel, and the distance to the subject can be calculated from the data representing the phase difference.

図1に示すライトフィールドカメラ1は再生機能も有している。ユーザインターフェイス13によって再生モードが指定され,かつ再生する画像が指定されると,その指定された画像に対応するライトフィールドデータが外部メモリ5から読み取られる。読み取られたライトフィールドデータは,リフォーカス演算装置11においてリフォーカス処理される。リフォーカス処理により,あらかじめ定められた距離に存在する被写体にピントを合わせた画像を表わす画像データが得られる。リフォーカス処理により得られた画像データによって表わされる画像が,グラフィックプロセッサ8により,表示装置9の表示画面に表示される。もちろん,あらかじめ定められた距離に存在する被写体にピントを表わせた画像が表示されるのではなく,その他の被写体にピントを合わせた画像が表示されるようにしてもよいのはいうまでもない。また,画像解析装置6によって,画像の中に含まれる特定の被写体(人物,顔,動物,建物など)を検出し,検出された特定の被写体にピントを合わせた画像が表示されるようにしてもよい。さらに,ライトフィールドデータは,所望の部分を合焦させることができ,合焦させる部分を変更することもできる。   The light field camera 1 shown in FIG. 1 also has a playback function. When the reproduction mode is designated by the user interface 13 and an image to be reproduced is designated, light field data corresponding to the designated image is read from the external memory 5. The read light field data is subjected to refocus processing in the refocus arithmetic unit 11. By the refocus processing, image data representing an image in which a subject existing at a predetermined distance is in focus is obtained. An image represented by the image data obtained by the refocus processing is displayed on the display screen of the display device 9 by the graphic processor 8. Of course, it is needless to say that an image obtained by focusing on a subject existing at a predetermined distance may not be displayed, but an image obtained by focusing on another subject may be displayed. Further, the image analysis device 6 detects a specific subject (person, face, animal, building, etc.) included in the image, and displays an image in which the detected specific subject is focused. Also good. Further, the light field data can focus on a desired portion and can change the portion to be focused.

また,ライトフィールドカメラ1には,インターネットなどと接続するためのネットワークインターフェイス2,データを一時的に記憶するRAM3,メモリ14,タイマ15なども含まれている。後述する動作を制御するプログラムが外部メモリ5に格納されている場合には,そのプログラムが外部メモリ5から読み出され,ライトフィールドカメラ1にインストールされるようにしてもよい。また,そのようなプログラムは,ネットワークを介してライトフィールドカメラ1において受信し,ライトフィールドカメラ1にインストールされるようにしてもよい。もっとも,カメラ機能を持たない再生装置に後述する動作を行わせるようにしてもよい。   The light field camera 1 also includes a network interface 2 for connection to the Internet and the like, a RAM 3 for temporarily storing data, a memory 14, a timer 15, and the like. When a program for controlling operations described later is stored in the external memory 5, the program may be read from the external memory 5 and installed in the light field camera 1. Further, such a program may be received by the light field camera 1 via a network and installed in the light field camera 1. Of course, a playback apparatus having no camera function may be made to perform an operation described later.

図2は,外部メモリ5に記録されたファイルのファイル構造(データ構造)の一例である。   FIG. 2 is an example of a file structure (data structure) of a file recorded in the external memory 5.

ファイルには,ヘッダ領域および画像データ記録領域が含まれている。ヘッダ領域には,ファイルを管理するデータが記録される。画像データ記録領域には,上述したライトフィールドデータが記録される。   The file includes a header area and an image data recording area. Data for managing files is recorded in the header area. The light field data described above is recorded in the image data recording area.

図5から図7は,ライトフィールドカメラ1の再生処理手順を示すフローチャートである。   5 to 7 are flowcharts showing the playback processing procedure of the light field camera 1.

外部メモリ5には,複数の異なる被写体を表す複数のライトフィールド画像(ライトフィールドデータによって表される画像をいい,撮像後に所望の部分を合焦させることができる,ピントを合わせることができる,ぼけの無い部分を作ることができる画像である。)を表すライトフィールドデータが記憶されている。このライトフィールドデータは,撮像装置4によって取得されたものである。   The external memory 5 has a plurality of light field images representing a plurality of different subjects (an image represented by light field data, which can focus on a desired part after imaging, can be focused, The light field data representing the image that can create a portion having no symbol is stored. This light field data is obtained by the imaging device 4.

ユーザインターフェイス13に含まれるモードスイッチにより再生モードが設定され,所望の再生画像が選択されると,その選択された再生画像を表すライトフィールドデータ(第1のライトフィールドデータ)がメモリ制御装置7によって外部メモリ5から読み取られる(ステップ21)。読み取られた第1のライトフィールドデータによって表される第1の画像のうち,合焦させる部分が決定される(ステップ22)。合焦させる部分は,あらかじめ定められた部分でもよいし,画像解析装置6によって第1の画像に含まれる主要被写体を検出し,検出された主要被写体に合焦させるようにしてもよい。複数の主要被写体が検出された場合には,すべての主要被写体が合焦させるようにしてもよいし,いずれかの一の主要被写体に合焦させるようにしてもよい。また,顔検出,人物検出などにより検出された顔,人物などに合焦させるようにしてもよい。   When a playback mode is set by a mode switch included in the user interface 13 and a desired playback image is selected, light field data (first light field data) representing the selected playback image is displayed by the memory control device 7. It is read from the external memory 5 (step 21). Of the first image represented by the read first light field data, a portion to be focused is determined (step 22). The portion to be focused may be a predetermined portion, or the main subject included in the first image may be detected by the image analysis device 6, and the detected main subject may be focused. When a plurality of main subjects are detected, all the main subjects may be focused, or one of the main subjects may be focused. Further, it may be focused on a face or person detected by face detection or person detection.

決定された部分が合焦するように,リフォーカス演算装置11によって,第1のライトフィールドデータから第1の画像が生成される(ステップ23)。生成された第1の画像が表示装置9の表示画面に表示される(ステップ24)。   A first image is generated from the first light field data by the refocus arithmetic unit 11 so that the determined portion is in focus (step 23). The generated first image is displayed on the display screen of the display device 9 (step 24).

図8は,表示画面40に表示された第1の画像41A(第1の画像)の一例である。   FIG. 8 is an example of the first image 41A (first image) displayed on the display screen 40.

第1の画像40Aには,主要被写体像42,43および44が含まれている。第1の画像40Aでは,主要被写体像42が合焦しており(ぼけていない),主要被写体像43および44はぼけている。合焦していることを示すために主要被写体像42は実線で示されており,ぼけていることを示すために主要被写体像43および44は波線で示されている。図8に示す第1の画像41Aにおいては,第1の画像41Aに含まれている主要被写体像42,43および44が検出され,検出された主要被写体像42,43および44のうち,最初に,もっとも遠方に存在する被写体像42が合焦するように定められている。もちろん,最初に,その他の主要被写体像43または44が合焦するように規定されていてもよいし,すべての主要被写体像42,43および44が最初に合焦するように定められていてもよい。また,中央または端部に存在する主要被写体像が最初に合焦するように定められていてもよい。   The first image 40A includes main subject images 42, 43 and 44. In the first image 40A, the main subject image 42 is in focus (not blurred), and the main subject images 43 and 44 are blurred. The main subject image 42 is shown as a solid line to show that it is in focus, and the main subject images 43 and 44 are shown as wavy lines to show that it is blurred. In the first image 41A shown in FIG. 8, main subject images 42, 43, and 44 included in the first image 41A are detected, and first of the detected main subject images 42, 43, and 44, , The subject image 42 that is present at the farthest point is determined to be in focus. Of course, it may be specified that the other main subject images 43 or 44 are initially focused, or all the main subject images 42, 43, and 44 are determined to be focused first. Good. Further, it may be determined so that the main subject image existing at the center or the end is first focused.

第1のライトフィールドデータによって表される画像は,合焦部分を変更できる。このために,例えば,タッチパネル12を用いて,所望の部分を指定することにより,合焦部分の変更指令をライトフィールドカメラ1に与えることができる。タッチパネル12以外の他の方法により合焦部分の変更指令をライトフィールドカメラ1に与えてもよい。また,時間の経過とともに合焦部分が自動的に変わってもよい。リフォーカス演算装置11により合焦部分が変えられた画像が生成されるのはいうまでもない。ここでは,図9の第1の画像41B(第1の画像)に示すように,主要被写体像43が合焦するようにユーザによって指定されたものとする。表示画面40における位置50の画像部分が合焦していることとなる。図9においても主要被写体像43が合焦していることを示すために主要被写体像43が実線で示されており,主要被写体像42および44がぼけていることを示すために主要被写体像42および44は波線で示されている。   The focused portion of the image represented by the first light field data can be changed. For this reason, for example, by designating a desired portion using the touch panel 12, a command for changing the in-focus portion can be given to the light field camera 1. A command for changing the in-focus portion may be given to the light field camera 1 by a method other than the touch panel 12. Further, the in-focus portion may change automatically with the passage of time. Needless to say, the refocus calculation device 11 generates an image with the in-focus portion changed. Here, as shown in the first image 41B (first image) in FIG. 9, it is assumed that the user has designated the main subject image 43 to be in focus. The image portion at the position 50 on the display screen 40 is in focus. In FIG. 9 also, the main subject image 43 is shown by a solid line to show that the main subject image 43 is in focus, and the main subject image 42 is shown to show that the main subject images 42 and 44 are blurred. And 44 are shown as wavy lines.

合焦部分の変更指令があると(ステップ25でYES),その変更指令にもとづいて指定された部分が合焦部分と決定され(ステップ22),その部分が合焦するような第1の画像41Bがリフォーカス演算装置11により生成される。図9に示すように,合焦部分が主要被写体像42から43に変更された第1の画像41Bがグラフィックプロセッサ(第1の画像表示制御手段)8の制御のもとに表示画面40に表示される(ステップ24)。上述のように時間の経過ともに合焦部分が変わる場合には,一定時間の経過により合焦部分の変更指令が,ライトフィールドカメラ1において生成され,その変更指令に応じて合焦部分が変更されたライトフィールド画像が表示画面40に表示されるようになる。   If there is a command for changing the in-focus part (YES in step 25), the part designated based on the change instruction is determined as the in-focus part (step 22), and the first image in which that part is in focus 41B is generated by the refocus arithmetic unit 11. As shown in FIG. 9, the first image 41B in which the in-focus portion is changed from the main subject image 42 to 43 is displayed on the display screen 40 under the control of the graphic processor (first image display control means) 8. (Step 24). As described above, when the in-focus portion changes with the passage of time, an in-focus portion change command is generated in the light field camera 1 with the passage of a fixed time, and the in-focus portion is changed in accordance with the change instruction. The light field image is displayed on the display screen 40.

合焦部分の変更指令が無く(ステップ25でNO),かつ画像の切替指令が与えられなければ(ステップ26でNO),合焦部分が変更することなく,ライトフィールド画像が表示画面40に表示されつづける。   If there is no command to change the in-focus portion (NO in step 25) and no image switching command is given (NO in step 26), the light field image is displayed on the display screen 40 without changing the in-focus portion. Continue to be done.

ユーザインターフェイス13から画像の切替指令が与えられると(ステップ26でYES),外部メモリ5から第2のライトフィールドデータが読み取られる(ステップ27)。また,第1の画像41Bが合焦している部分(主要被写体像43)の表示画面40における位置50がCPU10(合焦位置検出手段)によって検出される(ステップ28)。位置50は,ある点の位置だけでなく,領域をもっていてもよい。また,第1の画像41Bにおいて合焦部分が複数存在する場合には,主要な合焦部分(最大面積の合焦部分,顔,人物などの画像を含む合焦部分)にもとづいて位置50が決定されればよい。   When an image switching command is given from the user interface 13 (YES in step 26), the second light field data is read from the external memory 5 (step 27). Also, the position 50 on the display screen 40 of the portion (main subject image 43) where the first image 41B is in focus is detected by the CPU 10 (focus position detection means) (step 28). The position 50 may have a region as well as the position of a certain point. When there are a plurality of in-focus portions in the first image 41B, the position 50 is based on the main in-focus portion (the in-focus portion including the in-focus portion of the maximum area, the face, the person, etc.). It only has to be decided.

つづいて,上述のようにして検出された表示画面40における位置50の画像部分を合焦させた第2の画像が第2のライトフィールドデータから生成される(ステップ29)。切替前後の位置50は,完全に一致していなくとも,一部が一致していればよい。また,第1の画像41Bにおいて合焦部分として決定された位置50に存在する被写体までの距離と所定距離以内にある被写体を表わす画像部分を第2の画像51Aにおける位置50としてもよい。図10に示すように,第1の画像41Bから切り替えられた場合に,第1の画像41Bにおいて合焦していた画像部分の表示画面40における位置50が合焦する第2の画像51Aが表示画面40に表示される(ステップ30)。第2の画像51Aには,主要被写体像52および53が含まれている。主要被写体像52は合焦しており,合焦していることを示すために実線で表されている。これに対して主要被写体像53はぼけており,ぼけていることを示すために波線で示されている。第1の画像41Bから,合焦部分を変更可能な第2の画像51Aに切り替えて表示画面40に表示させる場合に,第1の画像41Bから第2の画像51Aに切り替えて表示画面に表示させる直前の,第1の画像の合焦している部分の表示画面40における位置50を検出し,検出された表示画面40における位置50の画像部分52を合焦させて第2の画像51Aが表示させられることとなる。   Subsequently, a second image obtained by focusing the image portion at the position 50 on the display screen 40 detected as described above is generated from the second light field data (step 29). Even if the positions 50 before and after the switching are not completely coincident, it is only necessary to partially coincide. Alternatively, an image portion representing a subject within a predetermined distance from the distance to the subject existing at the position 50 determined as the in-focus portion in the first image 41B may be set as the position 50 in the second image 51A. As shown in FIG. 10, when switched from the first image 41B, a second image 51A in which the position 50 on the display screen 40 of the image portion focused on the first image 41B is focused is displayed. It is displayed on the screen 40 (step 30). The second image 51A includes main subject images 52 and 53. The main subject image 52 is in focus and is represented by a solid line to indicate that it is in focus. On the other hand, the main subject image 53 is blurred, and is shown by a wavy line to show that it is blurred. When switching from the first image 41B to the second image 51A where the in-focus portion can be changed and displayed on the display screen 40, the first image 41B is switched to the second image 51A and displayed on the display screen. The position 50 on the display screen 40 of the immediately focused portion of the first image is detected, and the second image 51A is displayed by focusing the image portion 52 of the position 50 on the detected display screen 40. Will be allowed to.

第2の画像51Aも合焦部分を変更することができる。合焦部分の変更指令があると(ステップ31でYES),変更前の合焦部分から変更後の合焦部分まで段階的または連続的に合焦部分が移動する。このために,変更前の画像部分から変更後の合焦部分までの距離が複数に分けられる(ステップ32)。   The second image 51A can also change the in-focus portion. When there is a command to change the in-focus part (YES in step 31), the in-focus part moves stepwise or continuously from the in-focus part before the change to the in-focus part after the change. For this reason, the distance from the image portion before the change to the focused portion after the change is divided into a plurality of distances (step 32).

図10において,変更前の合焦部分は主要被写体像52であり,変更指令が与えられた変更後の合焦部分は主要被写体像53であるとする。すると,変更前の合焦部分52から変更後の合焦部分53までの距離が複数に分けられ,合焦位置50A,50Bおよび50Cが見つけられる。合焦位置が50,50A,50Bおよび50Cに連続的に(段階的に)移動する。   In FIG. 10, it is assumed that the in-focus portion before the change is the main subject image 52, and the in-focus portion after the change given the change command is the main subject image 53. Then, the distance from the in-focus part 52 before the change to the in-focus part 53 after the change is divided into a plurality of positions, and the in-focus positions 50A, 50B and 50C are found. The in-focus position moves continuously (stepwise) to 50, 50A, 50B and 50C.

まず,合焦位置が位置50から位置50Aに移動させられ(ステップ33),その位置50Aの画像部分を合焦させた第2の画像が第2のライトフィールドデータから生成される(ステップ34)。位置50Aの画像部分が合焦した第2の画像が表示画面40に表示される(ステップ35)。指定された部分が合焦していなければ(ステップ36でNO),(合焦しているか非合焦かは,たとえば,画像部分の空間周波数にもとづいて判断することもできる。たとえば,空間周波数が高ければ合焦しており,空間周波数が低ければ非合焦である。)再びステップ33から35までの処理が繰り返される。同様に,位置50Bの画像部分が合焦した第2の画像が表示画面40に表示され,その後,図11に示すように,指定された部分である位置50Cの画像部分(主要被写体像53)が合焦した第2の画像が表示画面40に表示される。このようにして指定された部分53が合焦するようになる(ステップ36でYES)。図11においても,主要被写体像53が合焦していることを示すために主要被写体像53は実線で示されており,主要被写体像52がぼけていることを示すために主要被写体像52は破線で示されている。   First, the in-focus position is moved from position 50 to position 50A (step 33), and a second image in which the image portion at position 50A is in focus is generated from the second light field data (step 34). . A second image in which the image portion at the position 50A is focused is displayed on the display screen 40 (step 35). If the designated portion is not in focus (NO in step 36), it can also be determined based on, for example, the spatial frequency of the image portion (for example, spatial frequency). If it is high, it is in focus, and if the spatial frequency is low, it is out of focus.) The processing from step 33 to step 35 is repeated again. Similarly, the second image in which the image portion at the position 50B is focused is displayed on the display screen 40, and then, as shown in FIG. 11, the image portion (main subject image 53) at the position 50C that is the designated portion. A second image focused on is displayed on the display screen 40. The portion 53 designated in this way comes into focus (YES in step 36). Also in FIG. 11, the main subject image 53 is shown by a solid line to show that the main subject image 53 is in focus, and the main subject image 52 is shown to show that the main subject image 52 is blurred. It is indicated by a broken line.

このようにして,表示画面40における位置50の画像部分52を合焦させた後に,合焦させた画像部分を連続的にまたは段階的に変更しながら第2の画像51Aが表示画面40に表示されるようになる。   Thus, after focusing the image portion 52 at the position 50 on the display screen 40, the second image 51A is displayed on the display screen 40 while changing the focused image portion continuously or stepwise. Will come to be.

図12および図13は,変形例を示すもので,第2の画像において主要被写体像を検出するものである。図12は,ライトフィールドカメラ1に再生モードが設定された場合の処理手順の一部を示すフローチャートであり,図6の処理に対応している。図12において,図6に示す処理と同一の処理については同一符号が付されている。図13は,表示画面40に表示される第2の画像の一例である。   FIG. 12 and FIG. 13 show a modification, in which the main subject image is detected in the second image. FIG. 12 is a flowchart showing a part of the processing procedure when the reproduction mode is set in the light field camera 1, and corresponds to the processing in FIG. In FIG. 12, the same processes as those shown in FIG. 6 are denoted by the same reference numerals. FIG. 13 is an example of a second image displayed on the display screen 40.

上述のように,第1の画像から第2の画像への切替指令があると(図5ステップ26),外部メモリ5から第2のライトフィールドデータが読み取られる(ステップ27)。また,第1の画像が合焦している41B(図9参照)の表示画面40における位置が検出される(ステップ28)。   As described above, when there is a command to switch from the first image to the second image (step 26 in FIG. 5), the second light field data is read from the external memory 5 (step 27). Further, the position on the display screen 40 of 41B (see FIG. 9) where the first image is focused is detected (step 28).

つづいて,画像解析装置6(主要被写体像検出手段)によって,第2の画像から主要被写体像を検出する処理が行われる(ステップ61)。CPU10によって第2の画像に主要被写体像が存在するか非存在かの判定が行われる(ステップ62)。   Subsequently, a process of detecting a main subject image from the second image is performed by the image analysis device 6 (main subject image detection means) (step 61). The CPU 10 determines whether or not the main subject image exists in the second image (step 62).

第2の画像から主要被写体像が検出されなかった場合(非検出の場合)には(ステップ62でNO),全体を合焦させた第2の画像がリフォーカス演算装置11において生成される(ステップ64)。グラフィックプロセッサ8によって,全体が合焦している第2の画像が表示画面40に表示させられる(ステップ30)。   If the main subject image is not detected from the second image (in the case of non-detection) (NO in step 62), the refocusing calculation device 11 generates a second image with the whole in focus ( Step 64). The graphic processor 8 causes the second image that is entirely focused to be displayed on the display screen 40 (step 30).

第2の画像から主要被写体像が検出されると(ステップ62でYES),さらに,第1の画像が合焦している部分の表示画面40における位置50に,主要被写体像が存在するか非存在かがCPU10(主要被写体像判定手段)によって判定される(ステップ63)。図10に示したように,その位置50に主要被写体像(図10の場合,主要被写体像52)が存在する場合には(ステップ63でYES),その位置50に存在する主要被写体像の画像部分を合焦させた第2の画像がリフォーカス演算装置11において生成される(ステップ29)。このようにして生成された第2のライトフォーカス画像51A(図10参照)が表示画面40に表示される(ステップ30)。図13の第2の画像51Cに示すように,その位置50に主要被写体像が存在しない場合には(ステップ63でNO),検出された主要被写体像53が合焦するような第2の画像がリフォーカス演算装置11によって生成される(ステップ65)。生成された第2の画像が表示画面40に表示される(ステップ30)。   When the main subject image is detected from the second image (YES in step 62), whether or not the main subject image exists at the position 50 on the display screen 40 in the portion where the first image is in focus. The existence is determined by the CPU 10 (main subject image determination means) (step 63). As shown in FIG. 10, when the main subject image (main subject image 52 in FIG. 10) exists at the position 50 (YES in step 63), the image of the main subject image existing at the position 50 A second image in which the portion is focused is generated in the refocus calculation device 11 (step 29). The second light focus image 51A (see FIG. 10) generated in this way is displayed on the display screen 40 (step 30). As shown in the second image 51C in FIG. 13, when the main subject image does not exist at the position 50 (NO in step 63), the second image in which the detected main subject image 53 is in focus. Is generated by the refocus arithmetic unit 11 (step 65). The generated second image is displayed on the display screen 40 (step 30).

上述した実施例では,検出された位置50に主要被写体像が存在しない場合には,検出された主要被写体像が合焦するような第2の画像が生成されているが,その位置に主要被写体像が存在するかどうかにかかわらず,その位置50の画像部分から,図10に示すように第2の画像に含まれる主要被写体像53のように,検出された主要被写体像まで合焦させる画像部分を連続的または段階的に変更しながら,第2の画像を表示させるようにしてもよい。連続的または段階的に変更させるには図7のステップ32から35までの処理を繰り返せばよいのはいうまでもない。   In the above-described embodiment, when the main subject image does not exist at the detected position 50, the second image is generated so that the detected main subject image is in focus. Regardless of whether or not an image exists, an image that focuses from the image portion at the position 50 to the detected main subject image, such as the main subject image 53 included in the second image as shown in FIG. You may make it display a 2nd image, changing a part continuously or in steps. Needless to say, the process from steps 32 to 35 in FIG. 7 may be repeated in order to change continuously or stepwise.

図14から図16は,さらに他の変形例を示している。図14は,ライトフィールドカメラ1の再生モードの処理手順の一部を示すフローチャートであり,図6の処理に対応している。図14において,図6の処理と同一の処理については同一符号が付されている。図15および図16は,第2の画像の一例である。   14 to 16 show still another modification. FIG. 14 is a flowchart showing a part of the processing procedure in the playback mode of the light field camera 1, and corresponds to the processing of FIG. In FIG. 14, the same processes as those in FIG. 6 are denoted by the same reference numerals. 15 and 16 are examples of the second image.

上述のように,第2のライトフィールドデータが外部メモリ5から読み取られ(ステップ27),第1の画像が合焦している部分の表示画面40における位置50が検出される(ステップ28)。第2の画像から主要被写体像が検出され(ステップ71),検出された主要被写体像が,検出された表示画面40における位置50となるように,表示画面40における第2の画像の表示位置が位置決めされる。そのようにして位置決めされた第2の画像が表示画面40に表示される(ステップ72)。図15に示すように,第2の画像51Eには,主要被写体像52および53が含まれており,それらの主要被写体像52および53が検出されたものとする。すると,主要被写体像53が検出された位置50に位置決めされる。表示画面40には,第2の画像51Eの一部が表示され(第2の画像51F),主要被写体像52が存在したとしても主要被写体像52は表示画面40に表示されない。検出された位置50に表示される被写体像は,主要被写体像53ではなく,主要被写体像52でもよい。第2の画像から検出された主要被写体像が複数存在する場合には,検出された位置50に表示される主要被写体像は,相対的に最も大きい主要被写体像,中心に近い主要被写体像,端に近い主要被写体像,顔画像または人物像の被写体像など,どの主要被写体像でもよい。   As described above, the second light field data is read from the external memory 5 (step 27), and the position 50 on the display screen 40 where the first image is in focus is detected (step 28). The main subject image is detected from the second image (step 71), and the display position of the second image on the display screen 40 is such that the detected main subject image is the detected position 50 on the display screen 40. Positioned. The second image thus positioned is displayed on the display screen 40 (step 72). As shown in FIG. 15, the second image 51E includes main subject images 52 and 53, and these main subject images 52 and 53 are detected. Then, the main subject image 53 is positioned at the detected position 50. A part of the second image 51E is displayed on the display screen 40 (second image 51F), and the main subject image 52 is not displayed on the display screen 40 even if the main subject image 52 exists. The subject image displayed at the detected position 50 may be the main subject image 52 instead of the main subject image 53. When there are a plurality of main subject images detected from the second image, the main subject image displayed at the detected position 50 is the largest main subject image, the main subject image close to the center, and the end image. Any main subject image such as a main subject image close to, a face image or a human subject image may be used.

その後,主要被写体像53を合焦させつつ,第2の画像51Eが,表示画面40の全体に表示されるまで連続的または段階的に移動させられる(ステップ74)。図16に示すように,主要被写体像53が合焦した第2の画像51Eが表示画面40の全体に表示されるようになる。   Thereafter, the second subject image 51E is moved continuously or stepwise until it is displayed on the entire display screen 40 while focusing on the main subject image 53 (step 74). As shown in FIG. 16, the second image 51E in which the main subject image 53 is focused is displayed on the entire display screen 40.

図17および図18は,さらに他の変形例を示している。図17は,ライトフィールドカメラ1の再生モードの処理手順の一部を示すフローチャートであり,図6および図14に対応している。図17において,図6または図14に示す処理と同一の処理については同一符号を付して説明を省略する。図18は,第2の画像の一例である。   17 and 18 show still another modification. FIG. 17 is a flowchart showing a part of the processing procedure of the reproduction mode of the light field camera 1 and corresponds to FIG. 6 and FIG. In FIG. 17, the same processes as those shown in FIG. 6 or FIG. FIG. 18 is an example of the second image.

図14に示す処理は,上述したように検出された位置に存在する主要被写体像53が合焦している状態を維持しながら第2の画像51Eの全体が表示されるように第2の画像51Eがシフトされている。これに対して,図17に示す処理では,図15に示すように,検出された位置50に,検出された主要被写体像53が位置決めされるように第2の画像51Eが位置決めされ,第2の画像51E全体が表示画面40に表示されるようにシフトされる際には,その検出された位置50は動かずに,その検出された位置50にある画像部分が合焦する第2の画像の全体が表示されるように第2の画像がシフトされる(ステップ73A)。図18に示すように,第2の画像51Eの全体が表示された場合にも,位置50の画像部分である主要被写体像52が合焦する。このように,その位置50の合焦状態を維持しつつ,第2の画像51E全体が表示画面40に表示されるまで,第2の画像の表示位置を連続的または段階的に変更するようにしてもよい。   In the process shown in FIG. 14, the second image 51E is displayed so that the entire second image 51E is displayed while the main subject image 53 existing at the detected position is in focus. 51E has been shifted. On the other hand, in the processing shown in FIG. 17, as shown in FIG. 15, the second image 51E is positioned so that the detected main subject image 53 is positioned at the detected position 50, and the second image 51E is positioned. When the entire image 51E is shifted so as to be displayed on the display screen 40, the detected position 50 does not move, and the image portion at the detected position 50 is focused. The second image is shifted so that the entire image is displayed (step 73A). As shown in FIG. 18, even when the entire second image 51E is displayed, the main subject image 52 that is the image portion at the position 50 is in focus. In this way, the display position of the second image is changed continuously or stepwise until the entire second image 51E is displayed on the display screen 40 while maintaining the focused state of the position 50. May be.

上述した実施例では,第2の画像51Eの表示位置を連続的または段階的に変更しているが,第2の画像51Eの表示位置を変更する代わりに,第2の画像51の表示倍率を連続的または段階的に変更することにより,上述したように,検出された位置50に存在する主要被写体像53の合焦状態を維持しつつ表示画面40の全体に第2の画像51Eが表示されるようにしてもよい。また,位置50に存在する画像部分が合焦するように第2の画像51Eの表示倍率を変更するようにしてもよい。   In the above-described embodiment, the display position of the second image 51E is changed continuously or stepwise, but instead of changing the display position of the second image 51E, the display magnification of the second image 51 is changed. By changing continuously or stepwise, as described above, the second image 51E is displayed on the entire display screen 40 while maintaining the focus state of the main subject image 53 existing at the detected position 50. You may make it do. Further, the display magnification of the second image 51E may be changed so that the image portion existing at the position 50 is in focus.

上述した実施例においては,第2の画像の前に表示されている第1の画像は,所望の部分を合焦させることができるものであるが,第2の画像の前に表示されている画像(第1の画像)は必ずしも,所望の部分を合焦できなくともよい。そのような第1の画像であっても,画像が切り替わって第2の画像が表示される場合には,第1の画像で合焦している部分の表示画面における位置が検出され,その位置に応じて上述した処理を行うことができる。   In the above-described embodiment, the first image displayed before the second image can focus on a desired portion, but is displayed before the second image. The image (first image) does not necessarily have to focus on a desired portion. Even in such a first image, when the image is switched and the second image is displayed, the position on the display screen of the portion in focus in the first image is detected, and the position The above-described processing can be performed according to the above.

1 ライトフィールドカメラ(画像再生装置)
4 撮像装置
6 画像解析装置(主要被写体像検出手段)
8 グラフィックプロセッサ(第1の画像表示制御手段,第2の画像表示制御手段)
10 CPU(合焦位置検出手段,主要被写体像判定手段)
1 Light field camera (image playback device)
4 Imaging device 6 Image analysis device (main subject image detection means)
8 graphic processor (first image display control means, second image display control means)
10 CPU (focus position detection means, main subject image determination means)

Claims (12)

第1の画像を表示装置の表示画面に表示させる第1の画像表示制御手段,
上記第1の画像が合焦している部分の上記表示画面における位置を検出する合焦位置検出手段,および
上記第1の画像から,合焦部分を変更可能な第2の画像に切り替えて上記表示画面に表示させる場合に,上記合焦位置検出手段によって検出された,上記表示画面における位置の画像部分を合焦させて上記第2の画像を上記表示画面に表示させる第2の画像表示制御手段,
を備えた画像再生装置。
First image display control means for displaying a first image on a display screen of a display device;
A focus position detecting means for detecting a position on the display screen of a portion where the first image is in focus, and switching from the first image to a second image capable of changing a focus portion; Second image display control for displaying the second image on the display screen by focusing the image portion at the position on the display screen, which is detected by the in-focus position detecting means when displaying on the display screen. means,
An image reproducing apparatus comprising:
上記第2の画像表示制御手段は,
上記合焦位置検出手段によって検出された,上記表示画面における位置の画像部分を合焦させた後に,合焦させる画像部分を連続的または段階的に変更しながら,上記第2の画像を上記表示画面に表示させる,
請求項1に記載の画像再生装置。
The second image display control means includes:
After the image portion at the position on the display screen detected by the focus position detecting means is focused, the second image is displayed while changing the focused image portion continuously or stepwise. Display on screen,
The image reproduction apparatus according to claim 1.
上記第2の画像において,上記合焦位置検出手段によって検出された,上記表示画面における位置に主要被写体像が存在するか非存在かを判定する主要被写体像判定手段をさらに備え,
上記第2の画像表示制御手段は,
上記主要被写体像判定手段によって主要被写体像が存在すると判定されたことにより,上記合焦位置検出手段によって検出された,上記表示画面における位置の画像部分を合焦させて上記第2の画像を上記表示画面に表示させる,
請求項1または2に記載の画像再生装置。
Main object image determination means for determining whether or not a main subject image exists at a position on the display screen detected by the focus position detection means in the second image;
The second image display control means includes:
When the main subject image determination unit determines that the main subject image exists, the image portion at the position on the display screen detected by the focus position detection unit is focused and the second image is converted into the second image. Display on the display screen,
The image reproducing apparatus according to claim 1 or 2.
上記第2の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備え,
上記第2の表示制御手段は,
上記主要被写体像検出手段によって主要被写体像が非検出であったことにより,上記第2の画像全体を合焦させて上記表示画面に表示させる,
請求項1に記載の画像再生装置。
A main subject image detecting means for detecting a main subject image included in the second image;
The second display control means includes:
The main subject image detecting means has not detected the main subject image, so that the entire second image is focused and displayed on the display screen;
The image reproduction apparatus according to claim 1.
上記第1の画像は,合焦部分を変更可能であり,
上記第1の表示制御手段は,
合焦部分を変更しながら,上記第1の画像を上記表示画面に表示させ,
上記合焦位置検出手段は,
上記第1の画像から上記第2の画像に切り替えて上記表示画面に表示させる直前の,上記第1の画像が合焦している部分の上記表示画面における位置を検出する,
請求項1から4のうち,いずれか一項に記載の画像再生装置。
In the first image, the in-focus portion can be changed,
The first display control means includes:
While changing the in-focus portion, the first image is displayed on the display screen,
The in-focus position detecting means is
Detecting a position on the display screen of a portion where the first image is focused immediately before switching from the first image to the second image and displaying on the display screen;
The image reproducing device according to any one of claims 1 to 4.
上記第2の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備え,
上記第2の画像表示制御手段は,
上記合焦位置検出手段によって検出された,上記表示画面における位置の画像部分の合焦から,上記主要被写体像検出手段において検出された主要被写体像へ,合焦させる画像部分を連続的または段階的に変更しながら上記第2の画像を上記表示画面に表示させる,
請求項1から5のうち,いずれか一項に記載の画像再生装置。
A main subject image detecting means for detecting a main subject image included in the second image;
The second image display control means includes:
The image portion to be focused is continuously or stepwise from the focus of the image portion at the position on the display screen detected by the focus position detection means to the main subject image detected by the main subject image detection means. Display the second image on the display screen while changing to
The image reproducing device according to any one of claims 1 to 5.
上記第2の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備え,
上記第2の画像表示制御手段は,
上記主要被写体像検出手段によって検出された主要被写体像のうち少なくとも一つの主要被写体像に合焦させ,かつ上記合焦位置検出手段によって検出された上記表示画面における位置に上記主要被写体像が表示されるように,上記第2の画像の表示位置と表示倍率との少なくとも一方を変更して上記表示画面に表示させる,
請求項1から6のうち,いずれか一項に記載の画像再生装置。
A main subject image detecting means for detecting a main subject image included in the second image;
The second image display control means includes:
The main subject image is displayed at a position on the display screen that is focused on at least one main subject image detected by the main subject image detection unit and detected by the focus position detection unit. As described above, at least one of the display position and the display magnification of the second image is changed and displayed on the display screen.
The image reproducing device according to any one of claims 1 to 6.
上記第2の画像表示制御手段は,
上記合焦位置検出手段によって検出された,上記表示画面における位置に位置決めされた主要被写体像の合焦状態を維持しつつ,上記第2の画像全体を上記表示画面に表示するまで上記第2の画像の表示位置と表示倍率との少なくとも一方を連続的または段階的に変更する,
請求項7に記載の画像再生装置。
The second image display control means includes:
While maintaining the in-focus state of the main subject image positioned at the position on the display screen detected by the focus position detecting means, the second image is displayed until the entire second image is displayed on the display screen. Changing at least one of image display position and display magnification continuously or stepwise,
The image reproducing device according to claim 7.
上記第2の画像表示制御手段は,
上記合焦位置検出手段によって検出された,上記表示画面における位置の合焦状態を維持しつつ,上記第2の画像全体が上記表示画面に表示するまで,上記第2の画像の表示位置と表示倍率との少なくとも一方を連続的または段階的に変更する,
請求項7に記載の画像再生装置。
The second image display control means includes:
Display position and display of the second image until the entire second image is displayed on the display screen while maintaining the focus state of the position on the display screen detected by the focus position detecting means. Changing at least one of the magnification continuously or stepwise,
The image reproducing device according to claim 7.
上記第1の画像および上記第2の画像の少なくとも一方を表す画像データを取得する撮像装置,
をさらに備えた請求項1から9のうち,いずれか一項に記載の画像再生装置。
An imaging device that acquires image data representing at least one of the first image and the second image;
The image reproducing device according to claim 1, further comprising:
第1の画像表示制御手段が,第1の画像を表示装置の表示画面に表示させ,
合焦位置検出手段が,上記第1の画像が合焦している部分の上記表示画面における位置を検出し,
第2の画像表示制御手段が,上記第1の画像から,合焦部分を変更可能な第2の画像に切り替えて上記表示画面に表示させる場合に,上記合焦位置検出手段によって検出された,上記表示画面における位置の画像部分を合焦させて上記第2の画像を上記表示画面に表示させる,
画像再生方法。
The first image display control means displays the first image on the display screen of the display device,
A focus position detecting means detects a position on the display screen of a portion where the first image is focused;
When the second image display control means switches from the first image to the second image whose focus portion can be changed and displayed on the display screen, the focus position detection means detects the second image display control means. Focusing the image portion at the position on the display screen to display the second image on the display screen;
Image playback method.
画像再生装置のコンピュータを制御するコンピュータ読み取り可能なプログラムであって,
第1の画像を表示装置の表示画面に表示させ,
上記第1の画像が合焦している部分の上記表示画面における位置を検出させ,
上記第1の画像から,合焦部分を変更可能な第2の画像に切り替えて上記表示画面に表示させる場合に,検出された,上記表示画面における位置の画像部分を合焦させて上記第2の画像を上記表示画面に表示させるように画像再生装置のコンピュータを制御するプログラム。
A computer-readable program for controlling a computer of an image reproduction device,
Displaying the first image on the display screen of the display device;
Detecting the position on the display screen where the first image is in focus;
When the first image is switched to the second image whose focus portion can be changed and displayed on the display screen, the detected image portion at the position on the display screen is focused and the second image is displayed. A program for controlling the computer of the image reproducing apparatus to display the image on the display screen.
JP2014069121A 2014-03-28 2014-03-28 Image playback device, image playback method, and program for controlling computer of image playback device Active JP6126037B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014069121A JP6126037B2 (en) 2014-03-28 2014-03-28 Image playback device, image playback method, and program for controlling computer of image playback device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014069121A JP6126037B2 (en) 2014-03-28 2014-03-28 Image playback device, image playback method, and program for controlling computer of image playback device

Publications (2)

Publication Number Publication Date
JP2015192363A true JP2015192363A (en) 2015-11-02
JP6126037B2 JP6126037B2 (en) 2017-05-10

Family

ID=54426534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014069121A Active JP6126037B2 (en) 2014-03-28 2014-03-28 Image playback device, image playback method, and program for controlling computer of image playback device

Country Status (1)

Country Link
JP (1) JP6126037B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017184144A (en) * 2016-03-31 2017-10-05 株式会社ニコン Image processing system, imaging apparatus, and image processing program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009224982A (en) * 2008-03-14 2009-10-01 Sony Corp Image processing apparatus, image processing program, and display apparatus
JP2014217037A (en) * 2013-04-30 2014-11-17 キヤノン株式会社 Image processing device and control method therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009224982A (en) * 2008-03-14 2009-10-01 Sony Corp Image processing apparatus, image processing program, and display apparatus
JP2014217037A (en) * 2013-04-30 2014-11-17 キヤノン株式会社 Image processing device and control method therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017184144A (en) * 2016-03-31 2017-10-05 株式会社ニコン Image processing system, imaging apparatus, and image processing program

Also Published As

Publication number Publication date
JP6126037B2 (en) 2017-05-10

Similar Documents

Publication Publication Date Title
JP5178553B2 (en) Imaging device
US8995785B2 (en) Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
JP6202910B2 (en) Video processing apparatus, control method therefor, and program
JP2011022796A (en) Image processing method and image processor
JP2014197824A (en) Image processing apparatus, image capturing apparatus, image processing method, and program
JP6159097B2 (en) Image processing apparatus, imaging apparatus, control method, and program
KR20140055061A (en) Imaging apparatus and control method
US9197870B1 (en) Automatic projection focusing
JP2016024489A (en) Image processing apparatus, imaging device, image processing method, and program
JP2013088579A (en) Imaging apparatus
JP6548436B2 (en) Focus detection apparatus and control method thereof
JP6774233B2 (en) Focus detector, control method and program
JP2009047497A (en) Stereoscopic imaging device, control method of stereoscopic imaging device, and program
JP2016206352A (en) Focus adjustment device and its control method, its program, its recording medium and imaging device
WO2017130522A1 (en) Image processing device, image capturing device, image processing method and program
JP2014126612A (en) Imaging device and control method therefore
JP2015026880A (en) Imaging apparatus
JP2008281385A (en) Image processing device
US20160295101A1 (en) Image capturing apparatus and control method thereof
JP6581333B2 (en) Image processing apparatus, imaging apparatus, and program
JP6126037B2 (en) Image playback device, image playback method, and program for controlling computer of image playback device
JP2013213903A (en) Imaging device
JP2019032370A (en) Imaging device and control method thereof
JP2015158736A (en) image processing apparatus, control method, program, and recording medium
JP2017184007A (en) Image processing apparatus, imaging apparatus, control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170406

R150 Certificate of patent or registration of utility model

Ref document number: 6126037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250