JP2013110556A - Prenoptic camera - Google Patents
Prenoptic camera Download PDFInfo
- Publication number
- JP2013110556A JP2013110556A JP2011253641A JP2011253641A JP2013110556A JP 2013110556 A JP2013110556 A JP 2013110556A JP 2011253641 A JP2011253641 A JP 2011253641A JP 2011253641 A JP2011253641 A JP 2011253641A JP 2013110556 A JP2013110556 A JP 2013110556A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- reconstruction
- reconfiguration
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、プレノプティックカメラ（Plenoptic Camera）で撮像して生成されたライトフィールド画像データを再構成処理して表示する技術に関する。 The present invention relates to a technique for reconstructing and displaying light field image data generated by imaging with a plenoptic camera.
プレノプティックカメラでは、カメラの撮影光学系に入射する光線の方向の分布についても記録することにより、被写体に関する三次元の画像情報を含む画像データを記録することができる。ここで、三次元の画像情報とは、通常のカメラで得られる二次元の画像情報に加えて、深度方向の情報が含まれることを意味する。三次元の画像情報を含む画像データを処理して、撮影光学系に入射する光線のうち、任意の方向からのものを抽出して二次元の画像を再構成することにより、例えば任意の撮影距離に位置する被写体にピントの合った画像を生成することが可能となる。 In a plenoptic camera, image data including three-dimensional image information about a subject can be recorded by recording the distribution of the direction of light rays incident on the photographing optical system of the camera. Here, the three-dimensional image information means that information in the depth direction is included in addition to the two-dimensional image information obtained by a normal camera. By processing image data including three-dimensional image information, extracting light rays from any direction among light rays incident on the photographing optical system, and reconstructing a two-dimensional image, for example, any photographing distance It is possible to generate an image focused on the subject located at.
比較的小型で一般ユーザにも使いやすいプレノプティックカメラとして、二次元に配列された多数のマイクロレンズによって構成されたマイクロレンズアレイを撮像素子の受光面近傍に配設し、撮影レンズによって形成された被写体像をマイクロレンズアレイで分割し、撮像素子上に導くタイプのものが知られている。 As a plenoptic camera that is relatively small and easy to use for general users, a microlens array composed of a large number of microlenses arranged in two dimensions is placed near the light-receiving surface of the image sensor and formed by a photographic lens. There is known a type in which a subject image is divided by a microlens array and guided onto an image sensor.
このようなプレノプティックカメラで撮影して得られた画像データに基づく画像を当該カメラ上で再生する際に、「リフォーカス」と称される画像生成処理が行われて、撮影範囲内における所望の撮影距離に位置する被写体にピントの合った画像が生成される。このような画像生成処理は、パーソナルコンピュータやオンラインサービス等により行うことも可能である。 When an image based on image data obtained by photographing with such a plenoptic camera is reproduced on the camera, an image generation process called “refocus” is performed, An image focused on a subject located at a desired shooting distance is generated. Such image generation processing can also be performed by a personal computer, an online service, or the like.
特許文献１には、プレノプティックカメラで得られた画像データを用い、ユーザによって指定されたフォーカス値に対応した画像生成処理を行って表示用の画像を生成し、表示する技術が開示される。 Patent Document 1 discloses a technique for generating and displaying an image for display by performing image generation processing corresponding to a focus value designated by a user using image data obtained by a plenoptic camera. The
プレノプティックカメラで得られた画像データを後処理し、所望の被写体にピントの合った画像を生成する場合を例に説明すると、撮影範囲内に写る被写体中、ユーザの指定した任意の被写体に対してピントの合った画像を常に生成できる訳ではない。つまり、プレノプティックカメラで撮影をする際に設定されていた撮影レンズの焦点調節位置（距離）や撮影レンズの被写界深度等に応じて、遠すぎる位置の被写体や近すぎる位置の被写体に対してはピントの合った画像を生成することができない場合がある。 An example of post-processing image data obtained with a plenoptic camera and generating an image focused on a desired subject will be described as an example. However, it is not always possible to generate an image in focus. In other words, depending on the focus adjustment position (distance) of the photographic lens and the depth of field of the photographic lens that were set when shooting with the plenoptic camera, the subject is too far or too close In some cases, an in-focus image cannot be generated.
したがって、後で処理をしようとしたときに、所望の被写体にピントの合った画像を生成することができない場合がある。つまり、プレノプティックカメラであっても、後からピントの合った画像を得ることができる範囲には制限がある。例えば、手前の花にピントを合わせ、背景をぼかして撮影した方が良いのか、手前の花はぼかして背景にピントを合わせた方が良いのか、撮影者が迷うことがある。プレノプティックカメラで撮影をする場合、後で仮にどちらにもピントが合った画像が得られることが判っていれば、ユーザはピント位置に気を遣うことなく、構図に集中して撮影をすることができる。しかし、上述したように、プレノプティックカメラで撮影した画像であっても後でピントを合わせることが可能な距離範囲には限りがある。したがって、後で所望の画像を確実に得られるようにするためには、撮影者は結局、撮影レンズの焦点調節位置を変えるか、撮影距離を変えるか、撮影レンズの焦点距離を変えるかをしながら複数回の撮影を行う必要を生じる場合がある。 Therefore, when processing is to be performed later, an image focused on a desired subject may not be generated. That is, even in the plenoptic camera, there is a limit to the range in which an in-focus image can be obtained later. For example, the photographer may be wondering whether it is better to focus on the flower in front and blur the background, or to focus on the background with the flower in front blurred. When shooting with a plenoptic camera, if you know later that you will get an image that is both in focus, the user will focus on the composition without worrying about the focus position. can do. However, as described above, there is a limit to the distance range that can be focused later even with an image taken with a plenoptic camera. Therefore, in order to ensure that the desired image can be obtained later, the photographer must eventually change the focus adjustment position of the photographic lens, change the shooting distance, or change the focal length of the photographic lens. However, it may be necessary to take multiple shots.
本発明は、上記の課題に鑑みてなされたものであり、プレノプティックカメラで撮影して得られる画像に対して後処理をした場合に、どのような仕上がりの画像を得ることができるのかを、撮影時に提示可能とすることを目的とする。 The present invention has been made in view of the above problems, and what kind of finished image can be obtained when post-processing is performed on an image obtained by photographing with a plenoptic camera. Is intended to be presented at the time of shooting.
本発明のある態様によれば、プレノプティックカメラが、
被写体の奥行き方向の情報も得ることの可能なライトフィールド画像に対して、所定の再構成パラメータに基づく再構成処理を行い、完成画像を生成する再構成処理部と、
画像を表示可能な表示部と、
前記再構成処理部で前記再構成処理をする際の再構成パラメータとしてとりうる範囲から複数の異なる再構成パラメータを選択して設定する再構成パラメータ設定部と、
前記再構成パラメータ設定部で設定された前記複数の異なる再構成パラメータのそれぞれに対応して前記再構成処理部で生成された複数の完成画像に基づく表示画像を前記表示部に表示する処理を行う表示処理部と
を備える。
According to an aspect of the present invention, a plenoptic camera comprises:
A reconstruction processing unit that performs a reconstruction process based on a predetermined reconstruction parameter for a light field image that can also obtain information on the depth direction of the subject, and generates a completed image;
A display unit capable of displaying an image;
A reconfiguration parameter setting unit that selects and sets a plurality of different reconfiguration parameters from a range that can be taken as a reconfiguration parameter when the reconfiguration processing is performed in the reconfiguration processing unit;
A process of displaying on the display unit a display image based on a plurality of completed images generated by the reconstruction processing unit corresponding to each of the plurality of different reconstruction parameters set by the reconstruction parameter setting unit. A display processing unit.
本発明によれば、プレノプティックカメラで撮影して得られる画像に対して後処理をした場合に、どのような仕上がりの画像を得ることができるのかを、撮影時に確認することが可能となる。 According to the present invention, it is possible to confirm at the time of shooting what kind of finished image can be obtained when post-processing is performed on an image obtained by photographing with a plenoptic camera. Become.
図１および図２は、本発明の実施の形態に係るプレノプティックカメラの光学素子の配置例を説明する概念図である。図１と図２とでは、マイクロレンズアレイの、撮影レンズの光軸方向に沿う配置位置が異なる。図１、図２においては、実際の寸法と異なる大きさで各構成要素が描かれている。 1 and 2 are conceptual diagrams for explaining an arrangement example of optical elements of a plenoptic camera according to an embodiment of the present invention. 1 and 2 differ in the arrangement position of the microlens array along the optical axis direction of the photographing lens. In FIG. 1 and FIG. 2, each component is drawn in a size different from the actual size.
図１および図２において、マイクロレンズアレイ１０４は、多数のマイクロレンズが二次元に配列されて構成される。マイクロレンズアレイ１０４を構成するそれぞれのマイクロレンズは、撮像素子１０６の受光面上の部分領域へと被写体光を導く。各部分領域は、二次元配列された複数の画素を含む。図１、図２において、撮影レンズ１０２は一枚のレンズ素子として示されているが、撮影レンズ１０２は複数枚のレンズ素子から構成されていてもよい。撮影レンズ１０２は、単焦点レンズであっても、焦点距離を変更可能なレンズであってもよい。撮影レンズ１０２はまた、固定焦点のものであってもよいが、焦点調節（フォーカシング）が可能に構成されていることが望ましい。図１、図２には、マイクロレンズおよび撮像素子の数は、実際とは異なるものが描かれている。 1 and 2, the microlens array 104 is configured by arranging a large number of microlenses in two dimensions. Each microlens constituting the microlens array 104 guides subject light to a partial region on the light receiving surface of the image sensor 106. Each partial region includes a plurality of pixels arranged two-dimensionally. 1 and 2, the photographing lens 102 is shown as a single lens element, but the photographing lens 102 may be composed of a plurality of lens elements. The taking lens 102 may be a single focus lens or a lens whose focal length can be changed. The taking lens 102 may be of a fixed focus, but it is desirable that the taking lens 102 be configured to be able to adjust the focus. In FIGS. 1 and 2, the numbers of microlenses and image sensors are different from the actual ones.
図１は、撮影レンズ１０２の焦点面（結像面）上に位置するようにマイクロレンズアレイ１０４が配設され、その後方に撮像素子１０６が配設される例を示す。ここで、マイクロレンズアレイ１０４を構成する各マイクロレンズの焦点距離をｆとすると、マイクロレンズの主面と撮像素子１０６の受光面との間の距離がｆとなるようにマイクロレンズアレイ１０４は撮像素子１０６に対して位置決めされ、固定されている。図１に示されるように、撮影レンズ１０２からマイクロレンズアレイ１０４に向かって出射した被写体光は、マイクロレンズアレイ１０４を構成する各マイクロレンズを通して撮像素子１０６の受光面上に導かれる。 FIG. 1 shows an example in which a microlens array 104 is disposed so as to be positioned on a focal plane (imaging plane) of the photographing lens 102 and an image sensor 106 is disposed behind the microlens array 104. Here, if the focal length of each microlens constituting the microlens array 104 is f, the microlens array 104 captures an image so that the distance between the main surface of the microlens and the light receiving surface of the image sensor 106 is f. Positioned and fixed with respect to the element 106. As shown in FIG. 1, the subject light emitted from the photographing lens 102 toward the microlens array 104 is guided onto the light receiving surface of the image sensor 106 through each microlens constituting the microlens array 104.
図２は、撮影レンズ１０２の焦点面（結像面）と、マイクロレンズアレイ１０４を構成する各マイクロレンズの物点とが一致するようにマイクロレンズアレイ１０４が配置され、その後方に撮像素子１０６が配設される例を示す。マイクロレンズの像点と撮像素子１０６の受光面とが一致するようにマイクロレンズアレイ１０４が撮像素子１０６に対して位置決めされる。つまり、マイクロレンズの物体距離をａ、像距離をｂ、焦点距離をｆとすると、（１／ａ）＋（１／ｂ）＝（１／ｆ）が成立する位置関係に各構成要素は位置決めされる。 In FIG. 2, the microlens array 104 is arranged so that the focal plane (imaging plane) of the photographing lens 102 and the object point of each microlens constituting the microlens array 104 coincide with each other, and the image sensor 106 is arranged behind the microlens array 104. An example in which is arranged will be shown. The microlens array 104 is positioned with respect to the image sensor 106 so that the image point of the microlens and the light receiving surface of the image sensor 106 coincide. In other words, when the object distance of the microlens is a, the image distance is b, and the focal distance is f, each component is positioned in a positional relationship that satisfies (1 / a) + (1 / b) = (1 / f). Is done.
図１または図２に示される構成により、被写体から出射して撮影レンズ１０２、マイクロレンズアレイ１０４を透過して撮像素子１０６上の各画素に入射する光が、どのような光路を経てきたのかを画素ごとに特定することが可能となる。つまり、従来のカメラにおいては画素ごとに色や輝度の情報を得るところ、プレノプティックカメラにおいては、画素ごとに色や輝度の情報が得られるのに加えて光線の入射方向に関しても情報を得ることができる。撮像素子１０６は、モノクロ撮像素子であっても、オンチップカラーフィルタが画素上に配設された撮像素子であってもよい。本明細書では、撮像素子１０６は、ベイヤー配列のオンチップカラーフィルタを備えるものとする。そして、撮像素子１０６から読み出されてデモザイク処理された画像データを本明細書ではライトフィールド画像と称する。 With the configuration shown in FIG. 1 or FIG. 2, what optical path the light emitted from the subject, transmitted through the photographing lens 102 and the microlens array 104 and incident on each pixel on the image sensor 106 has passed through. It becomes possible to specify for each pixel. In other words, conventional cameras obtain color and brightness information for each pixel, while plenoptic cameras obtain information on the incident direction of light rays in addition to obtaining color and brightness information for each pixel. Can be obtained. The image sensor 106 may be a monochrome image sensor or an image sensor in which an on-chip color filter is disposed on a pixel. In this specification, the image sensor 106 includes an on-chip color filter having a Bayer array. The image data read out from the image sensor 106 and demosaiced is referred to as a light field image in this specification.
図３は、ライトフィールド画像に再構成の処理をして、通常の画像として表示できるようにする処理手順を概念的に説明する図である。図３においては、図を見やすくするためにすべて正立正像として示す。撮影レンズ１０２によって一次像ＰＩが形成され、さらにマイクロレンズアレイ１０４によって撮像素子１０６の受光面上に二次像ＳＩが形成される。この二次像ＳＩを撮像素子１０６で撮像し、デモザイク処理が施されてライトフィールド画像ＬＦＩが生成される。図３ではライトフィールド画像ＬＦＩの一部を抜き出し、拡大したものがライトフィールド画像ＬＦＩとして示されている。 FIG. 3 is a diagram conceptually illustrating a processing procedure for performing a reconstruction process on a light field image so that the light field image can be displayed as a normal image. In FIG. 3, all are shown as erect images in order to make the drawing easy to see. A primary image PI is formed by the photographing lens 102, and a secondary image SI is formed on the light receiving surface of the image sensor 106 by the microlens array 104. The secondary image SI is picked up by the image pickup device 106 and subjected to demosaic processing to generate a light field image LFI. In FIG. 3, a portion of the light field image LFI extracted and enlarged is shown as the light field image LFI.
このライトフィールド画像ＬＦＩに対して所定の再構成パラメータに基づく再構成処理が行われ、再構成画像ＲＩが生成される。そして、ライトフィールド画像ＬＦＩ全体に対して再構成処理を行うことにより、ユーザの所望する完成画像ＦＲＩが生成される。完成画像ＦＲＩは、表示、印刷等の処理を経てユーザが観視可能となる画像を生成可能なビットマップ画像である。完成画像ＦＲＩを生成するための再構成処理をする際に、目的に応じて様々な再構成パラメータを設定することにより、後で詳述するように所望の撮影距離に位置する被写体に合焦した画像、所望の被写界深度、あるいは所望の視点位置からの画像を完成画像ＦＲＩとして生成することができる。 A reconstruction process based on a predetermined reconstruction parameter is performed on the light field image LFI to generate a reconstruction image RI. Then, by performing a reconstruction process on the entire light field image LFI, a completed image FRI desired by the user is generated. The completed image FRI is a bitmap image that can generate an image that can be viewed by the user through processing such as display and printing. When performing the reconstruction process to generate the completed image FRI, by setting various reconstruction parameters according to the purpose, the subject located at the desired shooting distance was focused as described in detail later An image, an image from a desired depth of field, or a desired viewpoint position can be generated as a completed image FRI.
画像を再構成する処理に際して、ライトフィールド画像ＬＦＩ中のどの画素位置からの信号を選択するかを決定することにより、被写界からどの光路を経て撮像素子１０６まで達した光線を選択するかを決定することができる。つまり、ライトフィールド画像ＬＦＩ中から所望の光路を経て撮像素子１０６まで達する光線を選択して再構成することにより、例えば特定の撮影距離に位置する被写体の像がより鮮鋭となる画像を生成することが可能となる。 In the process of reconstructing an image, by determining which pixel position in the light field image LFI is to be selected, it is determined which light path from the object field to reach the image sensor 106 is selected. Can be determined. That is, by selecting and reconstructing light rays that reach the image sensor 106 through a desired optical path from the light field image LFI, for example, an image in which an image of a subject located at a specific shooting distance becomes sharper is generated. Is possible.
また、撮影範囲内の異なる撮影距離に位置する各被写体に対応して、それぞれの被写体の像がより鮮鋭に写る画像を得て、それらを合成することにより、所望の被写界深度の画像を生成することが可能となる。さらに、撮影レンズ１０２の、Ｆ値の大きい部分（開口径の小さい部分）を透過した光線を選択して再構成することにより、より深い被写界深度の画像を得ることも可能となる。 Also, corresponding to each subject located at different shooting distances within the shooting range, an image in which the images of each subject are sharper is obtained and synthesized to obtain an image with a desired depth of field. Can be generated. Furthermore, it is possible to obtain an image with a deeper depth of field by selecting and reconstructing a light beam that has passed through a portion with a large F value (portion with a small aperture diameter) of the photographing lens 102.
また、撮影レンズ１０２の絞り開口内における一部の領域、すなわちサブ開口領域を設定して、このサブ開口領域を通過する光線に対応する情報をライトフィールド画像から抽出して再構成することにより、特定の視点位置から被写体を撮影したのに相当する画像を得ることができる。例えば、撮影レンズ１０２の絞り開口よりも小さい円形の領域をサブ開口領域とし、そのサブ開口領域の中心位置を撮影レンズ１０２の軸外における異なる位置に設定することにより、異なる視点の画像を得ることができる。例えば、撮影レンズ１０２の絞り開口をカメラ１００の後方から見て、サブ開口領域を上側、下側、右側、左側に設定することにより、異なる視点からの画像を得ることが可能となる。視点を移動させることのできる範囲は、撮影レンズ１０２の絞り開口（射出瞳径）の大きさに依存する。つまり、絞り開口の径が大きいほど、サブ開口領域の位置を大きく変化させることが可能となり、視点を移動可能な範囲が広がることになる。また、設定するサブ開口領域の大きさを、可能な限り小さくすれば、それによって視点移動可能範囲を広げることもできる。 Further, by setting a partial area within the aperture stop of the photographing lens 102, that is, a sub-aperture area, and extracting and reconstructing information corresponding to the light beam passing through the sub-aperture area from the light field image, It is possible to obtain an image corresponding to a subject photographed from a specific viewpoint position. For example, by obtaining a circular area smaller than the aperture of the photographing lens 102 as a sub-opening area and setting the center position of the sub-opening area to a different position off the axis of the photographing lens 102, images of different viewpoints can be obtained. Can do. For example, when the aperture of the photographing lens 102 is viewed from the rear of the camera 100 and the sub aperture areas are set to the upper side, the lower side, the right side, and the left side, images from different viewpoints can be obtained. The range in which the viewpoint can be moved depends on the size of the stop aperture (exit pupil diameter) of the photographing lens 102. That is, as the diameter of the aperture opening is larger, the position of the sub-opening region can be greatly changed, and the range in which the viewpoint can be moved is expanded. Further, if the size of the sub-opening area to be set is made as small as possible, the viewpoint movable range can be expanded accordingly.
図４は、本発明の実施の形態に係るプレノプティックカメラ１００（以下、単にカメラ１００と称する）の構成を説明するブロック図である。カメラ１００は、撮影レンズ１０２と、マイクロレンズアレイ１０４（図４中でマイクロレンズアレイはＭＬＡと表記されている）と、撮像素子１０６と、アナログ・フロントエンド１０８（図４中でアナログ・フロントエンドはＡＦＥと表記される）と、レンズ駆動部１１０とを備える。カメラ１００はさらに、ＣＰＵ１２２と、記憶部１２４と、操作部１３０と、表示部１４０と、表示処理部１４２と、トリガ入力部１４４と、システムバス１５０と、再構成パラメータ設定部１６０と、画像処理部１７０とを備える。画像記録媒体１２０は、フラッシュメモリカード等で構成され、カメラ１００に対して着脱自在に構成される。 FIG. 4 is a block diagram illustrating a configuration of a plenoptic camera 100 (hereinafter simply referred to as camera 100) according to an embodiment of the present invention. The camera 100 includes a photographing lens 102, a microlens array 104 (the microlens array is denoted as MLA in FIG. 4), an image sensor 106, and an analog front end 108 (analog front end in FIG. 4). Is represented as AFE), and a lens driving unit 110. The camera 100 further includes a CPU 122, a storage unit 124, an operation unit 130, a display unit 140, a display processing unit 142, a trigger input unit 144, a system bus 150, a reconstruction parameter setting unit 160, and image processing. Unit 170. The image recording medium 120 is configured by a flash memory card or the like and is configured to be detachable from the camera 100.
撮影レンズ１０２は、カメラ１００に固定されるものであっても、カメラ１００に対して着脱自在に構成されるものであってもよい。先に説明したように、撮影レンズ１０２は単焦点レンズであっても、焦点距離可変のレンズであっても、固定焦点のレンズであっても、焦点調節可能なレンズであってもよいが、ここでは撮影レンズ１０２は焦点調節可能なレンズであるものとする。レンズ駆動部１１０は、撮影レンズ１０２内の焦点調節用レンズの動きを制御する。 The photographing lens 102 may be fixed to the camera 100 or may be configured to be detachable from the camera 100. As described above, the photographing lens 102 may be a single focus lens, a variable focal length lens, a fixed focus lens, or a focus adjustable lens. Here, it is assumed that the photographing lens 102 is a lens with adjustable focus. The lens driving unit 110 controls the movement of the focus adjustment lens in the photographing lens 102.
画像記録媒体１２０には、カメラ１００で撮影して得られた画像が記録される。ＣＰＵ１２２は、カメラ１００の動作を統括的に制御する。記憶部１２４は、ＲＯＭ１２６とＲＡＭ１２８とを含む。ＲＯＭ１２６はフラッシュメモリ等で構成され、ファームウェアや、カメラ１００に電源が供給されない状態でも保持することの必要なカメラ制御パラメータやステータス情報等が記憶される。ＲＡＭ１２８は比較的高速なアクセス速度を有するＳＤＲＡＭ等で構成され、ＣＰＵ１２２、画像処理部１７０の双方からアクセス可能に構成されて、これらＣＰＵ１２２、画像処理部１７０のワークエリアとして機能する。再構成パラメータ設定部１６０、トリガ入力部１４４、表示処理部１４２は、ＲＡＭ１２８にロードされたプログラムをＣＰＵ１２２が実行することにより実現可能である。 An image obtained by photographing with the camera 100 is recorded on the image recording medium 120. The CPU 122 comprehensively controls the operation of the camera 100. The storage unit 124 includes a ROM 126 and a RAM 128. The ROM 126 is configured by a flash memory or the like, and stores firmware, camera control parameters, status information, and the like that need to be retained even when power is not supplied to the camera 100. The RAM 128 is configured by an SDRAM or the like having a relatively high access speed, and is configured to be accessible from both the CPU 122 and the image processing unit 170, and functions as a work area for the CPU 122 and the image processing unit 170. The reconstruction parameter setting unit 160, the trigger input unit 144, and the display processing unit 142 can be realized by the CPU 122 executing a program loaded in the RAM 128.
操作部１３０は、スライドスイッチ、押しボタンスイッチ、タッチパネル、ダイヤルスイッチ等のいずれか一つまたは複数を含み、ユーザによる操作をＣＰＵ１２２が検出する。そして、ユーザの操作に応じた動作が行われるようにＣＰＵ１２２はカメラ１００を制御する。表示部１４０は、ＴＦＴカラー液晶表示装置とバックライト装置等を備えて構成され、カラー画像や文字、アイコン等を表示可能に構成される。表示部１４０は、有機ＥＬカラー表示パネル等、自発光タイプの表示デバイスで構成されていてもよい。本実施の形態において、表示部１４０の表面にはタッチパネルが備えられるものとする。 The operation unit 130 includes one or more of a slide switch, a push button switch, a touch panel, a dial switch, and the like, and the CPU 122 detects an operation by the user. Then, the CPU 122 controls the camera 100 so that the operation according to the user's operation is performed. The display unit 140 includes a TFT color liquid crystal display device and a backlight device, and is configured to display a color image, characters, icons, and the like. The display unit 140 may be composed of a self-luminous display device such as an organic EL color display panel. In the present embodiment, it is assumed that a touch panel is provided on the surface of display unit 140.
撮像素子１０６は、ＣＣＤ撮像素子、ＣＭＯＳ撮像素子のいずれであってもよい。アナログ・フロントエンド１０８は、撮像素子１０６から出力されるアナログ画像に増幅、ノイズ低減処理、Ａ／Ｄ変換処理等を施してデジタル画像を生成する。本明細書において、撮像素子１０６はＣＭＯＳ撮像素子であり、アナログ・フロントエンド１０８が撮像素子１０６に内蔵されてデジタル画像を出力可能に構成されるものとする。 The image sensor 106 may be either a CCD image sensor or a CMOS image sensor. The analog front end 108 performs amplification, noise reduction processing, A / D conversion processing, and the like on the analog image output from the image sensor 106 to generate a digital image. In this specification, the image sensor 106 is a CMOS image sensor, and an analog front end 108 is built in the image sensor 106 so that a digital image can be output.
画像処理部１７０は、撮像素子１０６から出力された画像にデモザイク、ホワイトバランス調整、ノイズ低減、彩度・コントラスト調節等の処理をする。画像処理部１７０はまた、再構成処理部１７２を備える。再構成処理部１７２は、デモザイク処理後のライトフィールド画像に対して後述する再構成処理をして完成画像ＦＲＩを生成する。表示処理部１４２は、完成画像ＦＲＩに基づく表示画像を生成して表示部１４０に表示する。表示処理部１４２はまた、カメラ１００が記録モードで動作しているときに、プレビュー画像（ライブビュー画像）やポストビュー画像を表示部１４０に表示する処理も行う。 The image processing unit 170 performs processing such as demosaic processing, white balance adjustment, noise reduction, and saturation / contrast adjustment on the image output from the image sensor 106. The image processing unit 170 also includes a reconstruction processing unit 172. The reconstruction processing unit 172 performs a reconstruction process, which will be described later, on the light field image after the demosaic process to generate a completed image FRI. The display processing unit 142 generates a display image based on the completed image FRI and displays it on the display unit 140. The display processing unit 142 also performs processing for displaying a preview image (live view image) or a postview image on the display unit 140 when the camera 100 is operating in the recording mode.
トリガ入力部１４４は、以下で説明するトリガを入力すると、再構成処理部１７２に対して制御信号を発する。この制御信号を再構成処理部１７２が受信すると、その時点で得られたライトフィールド画像に再構成処理をして完成画像ＦＲＩを生成する処理の実行が開始される。 The trigger input unit 144 issues a control signal to the reconstruction processing unit 172 when a trigger described below is input. When the reconstruction processing unit 172 receives this control signal, execution of processing for reconstructing the light field image obtained at that time and generating a completed image FRI is started.
トリガ入力部１４４が入力するトリガとしては、例えば、電源投入されて動作モードが記録モードに切り換えられてから一定の時間が経過した時点で信号を発する不図示のタイマから入力する信号とすることができる。あるいは、カメラ１００がプレビュー表示動作をしている状態のときに、ユーザが操作部１３０を操作したことを検出し、これをトリガとすることができる。ユーザによる操作部１３０の操作としては、再構成処理して得た最終画像ＦＲＩに基づく表示画像を表示する処理の実行を開始するための、タッチパネル、押しボタンスイッチ、ダイヤ類スイッチ等の操作とすることが可能である。あるいは、ポストビュー表示を開始した後、一定時間が経過したときにタイマから信号が発せられるのをトリガとして入力することも可能である。また、ポストビュー表示中に、ユーザが操作部１３０の操作をしたことを検出し、これをトリガとすることも可能である。 The trigger input by the trigger input unit 144 may be, for example, a signal input from a timer (not shown) that emits a signal when a certain time has elapsed after the power is turned on and the operation mode is switched to the recording mode. it can. Alternatively, when the camera 100 is performing a preview display operation, it can be detected that the user has operated the operation unit 130 and this can be used as a trigger. The operation of the operation unit 130 by the user is an operation of a touch panel, a push button switch, a diamond switch, or the like for starting execution of a process for displaying a display image based on the final image FRI obtained by the reconstruction process. It is possible. Alternatively, it is also possible to input as a trigger that a signal is emitted from the timer when a predetermined time has elapsed after the start of post-view display. It is also possible to detect that the user has operated the operation unit 130 during post-view display and use this as a trigger.
再構成パラメータ設定部１６０は、再構成処理部１７２で再構成処理をする際の処理内容を特定するパラメータである再構成パラメータを設定する。再構成パラメータ設定部１６０での再構成パラメータ設定の処理は、後で詳しく説明する。 The reconfiguration parameter setting unit 160 sets a reconfiguration parameter that is a parameter for specifying the processing content when the reconfiguration processing is performed by the reconfiguration processing unit 172. The reconstruction parameter setting process in the reconstruction parameter setting unit 160 will be described in detail later.
カメラ１００は、静止画を撮影可能なものであっても、動画を撮影可能なものであってもよいが、以下ではカメラ１００で静止画を撮影する場合を例に動作の説明をする。 The camera 100 may be capable of capturing a still image or may be capable of capturing a moving image. Hereinafter, the operation of the camera 100 will be described as an example of capturing a still image.
− 第１の実施の形態 −
以下、本発明第１の実施の形態に係るカメラ１００で行われる再構成画像表示の処理について説明する。図５は、カメラ１００に備えられる表示部１４０と、操作部としてのダイヤルスイッチ１３４およびシーソースイッチ１３２とを示す図である。これらの表示部１４０、ダイヤルスイッチ１３４、シーソースイッチ１３２は、カメラ１００の背面等に設けられる。また、表示部１４０の表面にはタッチパネルが設けられているものとする。表示部１４０にはプレビュー画像（ライブビュー画像）、ポストビュー画像、あるいは再構成処理によって生成された完成画像ＦＲＩに基づく表示画像と共にＧＵＩ表示５００等が表示される。本実施の形態においては、スライド式ボリュームを模したＧＵＩ表示５００が表示画像上になされるものとする。
− First embodiment −
The reconstructed image display process performed by the camera 100 according to the first embodiment of the present invention will be described below. FIG. 5 is a diagram showing a display unit 140 provided in the camera 100, and a dial switch 134 and a seesaw switch 132 as operation units. These display unit 140, dial switch 134, and seesaw switch 132 are provided on the back surface of the camera 100. In addition, it is assumed that a touch panel is provided on the surface of the display unit 140. The display unit 140 displays a preview image (live view image), a post-view image, or a display image based on the completed image FRI generated by the reconstruction process and a GUI display 500 or the like. In the present embodiment, it is assumed that a GUI display 500 simulating a slide-type volume is displayed on a display image.
従来のカメラで行われるのと同様のプレビュー表示が行われている状態のときに、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作する。このとき、トリガ入力部１８０は、再構成画像を表示する処理の実行を開始する操作をしたのをトリガとして入力し、再構成処理部１７２に対して再構成処理の実行を開始するコマンドを発する。再構成処理部１７２は、コマンド入力時点、あるいはその後に得られたライトフィールド画像に再構成処理を行う。そして、生成された完成画像ＦＲＩに基づく表示画像がＧＵＩ表示５００とともに表示部１４０に表示される。 The user operates the dial switch 134 and the seesaw switch 132 when a preview display similar to that performed by a conventional camera is being performed. At this time, the trigger input unit 180 inputs, as a trigger, an operation for starting execution of processing for displaying a reconstructed image, and issues a command for starting execution of the reconfiguration processing to the reconfiguration processing unit 172. . The reconstruction processing unit 172 performs reconstruction processing on the light field image obtained at the time of command input or thereafter. Then, a display image based on the generated completed image FRI is displayed on the display unit 140 together with the GUI display 500.
完成画像ＦＲＩは、撮影動作を行って得られたライトフィールド画像に対して再構成処理が行われ、生成されてもよい。その場合、撮影動作後のポストビュー表示が行われているときにユーザがダイヤルスイッチ１３４やシーソースイッチ１３２、あるいはタッチパネルを操作したのをトリガ入力部１８０がトリガとして入力する。また、ポストビュー表示を開始した後、一定時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。さらに、ポストビュー表示中にユーザがダイヤルスイッチ１３４やシーソースイッチ１３２、あるいはタッチパネルを操作したのをトリガ入力部１８０がトリガとして入力することも可能である。 The completed image FRI may be generated by performing reconstruction processing on the light field image obtained by performing the photographing operation. In that case, the trigger input unit 180 inputs as a trigger that the user has operated the dial switch 134, the seesaw switch 132, or the touch panel while the post-view display after the photographing operation is being performed. Further, the trigger input unit 180 may input a signal issued from a timer when a predetermined time has elapsed after the start of the post-view display. Furthermore, the trigger input unit 180 can input as a trigger that the user operated the dial switch 134, the seesaw switch 132, or the touch panel during the post-view display.
スライドレバー５０２の表示される部分にユーザが指等を当てて表示部１４０の上下方向に沿ってスライド（ドラグ）させる操作をすることにより、スライドレバー５０２の表示位置が上下し、それに伴って再構成パラメータが変化する。図５ではスライドレバー５０２を上下にスライドする例について示しているが、左右にスライドするものであってもよい。また、ダイヤルスイッチ１３４を時計回り、反時計回りの方向に回転させたり、シーソースイッチ３１２を上下方向あるいは左右方向に傾ける操作をしたりするのに応じてスライドレバー５０２の表示位置が変化し、再構成パラメータも変化するようにしてもよい。その場合、タッチパネルは不要となる。 When the user touches the displayed portion of the slide lever 502 with a finger or the like and slides (drags) along the vertical direction of the display unit 140, the display position of the slide lever 502 moves up and down. Configuration parameters change. Although FIG. 5 shows an example where the slide lever 502 is slid up and down, it may be slid left and right. Also, the display position of the slide lever 502 changes in response to the dial switch 134 being rotated clockwise or counterclockwise, or the seesaw switch 312 is tilted up or down or left and right. The configuration parameter may also be changed. In that case, a touch panel becomes unnecessary.
図５では、再構成の処理によって生成される画像の被写界深度を変化させて表示する場合を示している。図５（ａ）は、スライドレバー５０２を上側にスライドさせて「浅」の側に位置させたのに応じて被写界深度の浅い画像が表示部１４０に表示される例を示す。図５（ａ）において三輪の花ＦＬ１、ＦＬ２、ＦＬ３の画像が表示部１４０に表示されているものとする。花ＦＬ１はカメラ１００から比較的近い撮影距離に位置し、花ＦＬ３は比較的遠い撮影距離に位置し、花ＦＬ２は中間の撮影距離に位置するものとする。以下では花ＦＬ１、ＦＬ２、ＦＬ３の位置する距離を近距離、中距離、遠距離と称する。 FIG. 5 shows a case where the depth of field of the image generated by the reconstruction process is changed and displayed. FIG. 5A shows an example in which an image with a shallow depth of field is displayed on the display unit 140 in accordance with the slide lever 502 being slid upward and positioned on the “shallow” side. In FIG. 5A, it is assumed that images of the three-wheeled flowers FL1, FL2, and FL3 are displayed on the display unit 140. The flower FL1 is located at a shooting distance relatively close to the camera 100, the flower FL3 is located at a relatively long shooting distance, and the flower FL2 is located at an intermediate shooting distance. Hereinafter, the distances at which the flowers FL1, FL2, and FL3 are located are referred to as short distance, medium distance, and long distance.
図５（ａ）では、近距離に位置する花ＦＬ１のみが鮮鋭な像を結び、中距離、遠距離に位置する花ＦＬ２、ＦＬ３の像はぼけている様子が示される。つまり、被写界深度の浅い画像が表示される。すなわち、ユーザがスライドレバー５０２を「浅」の側に位置させるのに応じて、再構成パラメータ設定部１６０は、再構成処理をして得られる画像の被写界深度が浅くなるように再構成パラメータを設定する。再構成処理部１７２では、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行い、完成画像ＦＲＩを生成する。 FIG. 5A shows that only the flower FL1 located at a short distance forms a sharp image, and the images of the flowers FL2 and FL3 located at a middle distance and a long distance are blurred. That is, an image with a shallow depth of field is displayed. That is, in accordance with the user positioning the slide lever 502 on the “shallow” side, the reconstruction parameter setting unit 160 performs reconstruction so that the depth of field of the image obtained by the reconstruction process becomes shallow. Set the parameters. The reconstruction processing unit 172 performs a reconstruction process based on the reconstruction parameter set by the reconstruction parameter setting unit 160 on the light field image to generate a completed image FRI.
図５（ｂ）は、スライドレバー５０２を下側にスライドさせて「深」の側に位置させたのに応じて被写界深度の深い画像が表示部１４０に表示される例を示す。図５（ｂ）では、近距離から遠距離にかけて位置する花ＦＬ１、ＦＬ２、ＦＬ３すべてが鮮鋭な像を結ぶ画像、すなわち被写界深度の深い画像が表示部１４０に表示される例が示される。ユーザがスライドレバー５０２を「深」の側に位置させるのに応じて、再構成パラメータ設定部１６０は、再構成処理をして得られる画像の被写界深度が深くなるように再構成パラメータを設定する。 FIG. 5B shows an example in which an image with a deep depth of field is displayed on the display unit 140 in accordance with the slide lever 502 being slid down and positioned on the “depth” side. FIG. 5B shows an example in which an image in which all the flowers FL1, FL2, and FL3 located from a short distance to a long distance form a sharp image, that is, an image having a deep depth of field is displayed on the display unit 140. . In response to the user positioning the slide lever 502 on the “depth” side, the reconstruction parameter setting unit 160 sets the reconstruction parameter so that the depth of field of the image obtained by the reconstruction process becomes deeper. Set.
再構成処理部１７２では、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行う。この場合、再構成処理部１７２は、近距離に位置する花ＦＬ１に焦点の合った画像、中距離に位置する花ＦＬ２の焦点の合った画像、遠距離に位置する花ＦＬ３に焦点の合った画像を再構成処理により生成する。そして、画像処理部１７０でこれらの画像を合成する処理を行い、被写界深度の深い完成画像ＦＲＩを生成する。あるいは、再構成処理部１７２において、撮影レンズ１０２中で絞り径の比較的小さい部分（小絞りの部分）を通過した光線を抽出して再構成する処理をすることによって被写界深度の深い完成画像ＦＲＩを生成することも可能である。 The reconstruction processing unit 172 performs reconstruction processing based on the reconstruction parameter set by the reconstruction parameter setting unit 160 on the light field image. In this case, the reconstruction processing unit 172 focuses on the image FL1 located at a short distance, the image focused on the flower FL2 located at a medium distance, and the flower FL3 located at a long distance. An image is generated by reconstruction processing. Then, the image processing unit 170 performs a process of synthesizing these images to generate a completed image FRI having a deep depth of field. Alternatively, the reconstruction processing unit 172 completes a deep depth of field by performing processing for extracting and reconstructing light rays that have passed through a portion having a relatively small aperture diameter (small aperture portion) in the photographing lens 102. It is also possible to generate an image FRI.
以上では図５（ａ）、図５（ｂ）を参照して、ユーザ操作に応じて再構成パラメータ設定部１６０で設定された再構成パラメータに基づいて再構成処理部１７２が再構成の処理を行い、ユーザ操作に対応する完成画像ＦＲＩが生成され、表示画像が表示される例について説明したが、以下のように処理をすることも可能である。図５（ｃ）は、被写界深度の異なる複数の画像が表示部１４０に並べて表示される例を示している。図５（ｃ）では、被写界深度の浅い画像Ｉｓと、被写界深度の深い画像Ｉｄとが並べて表示される例を示すが、３枚以上の画像が並べて表示されてもよい。このとき、画像の一部が重なるように表示されていてもよく、また、表示される画像の大きさが複数の画像間で異なっていてもよい。また、複数の画像が時間の経過とともに切り換えられて、表示部１４０に順に表示されるようにしてもよい。 In the above, with reference to FIG. 5A and FIG. 5B, the reconfiguration processing unit 172 performs the reconfiguration process based on the reconfiguration parameter set by the reconfiguration parameter setting unit 160 according to the user operation. In the above example, the completed image FRI corresponding to the user operation is generated and the display image is displayed. However, the following processing is also possible. FIG. 5C illustrates an example in which a plurality of images having different depths of field are displayed side by side on the display unit 140. FIG. 5C shows an example in which an image Is having a shallow depth of field and an image Id having a deep depth of field are displayed side by side, but three or more images may be displayed side by side. At this time, the images may be displayed so as to overlap each other, and the size of the displayed images may be different among a plurality of images. Also, a plurality of images may be switched over time and displayed on the display unit 140 in order.
図５（ｃ）に例示される表示が行われるにあたり、トリガ入力部１８０は、ユーザがレリーズスイッチを半押しする操作をしたときにトリガが入力されるようにしてもよいし、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作したときトリガが入力されるようにしてもよい。あるいは、ユーザがカメラ１００の電源を投入する操作、撮影モードに切り換える操作、半押しをする操作等をしてから所定の時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。さらには、撮影後のポストビュー表示中にユーザの操作が検出された場合や、ポストビュー表示を開始してから一定時間経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。図５（ｃ）に例示される表示が開始されるまでの間、あるいは図５（ｃ）に例示される表示を完了した後は、通常のデジタルカメラで行われるのと同様のプレビュー表示を行うことが可能である。 When the display illustrated in FIG. 5C is performed, the trigger input unit 180 may input a trigger when the user performs an operation of half-pressing the release switch, or the user may input a dial switch. A trigger may be input when the 134 or the seesaw switch 132 is operated. Alternatively, the trigger input unit 180 inputs a signal generated from the timer when a predetermined time has elapsed since the user performed operations such as turning on the power of the camera 100, switching to the shooting mode, and half-pressing. May be. Further, even when the trigger input unit 180 inputs a signal generated from a timer when a user operation is detected during post-view display after shooting, or when a certain time has elapsed since the start of post-view display. Good. Until the display illustrated in FIG. 5C is started or after the display illustrated in FIG. 5C is completed, a preview display similar to that performed by a normal digital camera is performed. It is possible.
図５（ｃ）を参照して説明した表示が行われる際には、再構成処理部１７２でライトフィールド画像に対して再構成処理を行う際の再構成パラメータとしてとりうる範囲の両極の値を含めて、複数の再構成パラメータが再構成パラメータ設定部１６０で設定される。本実施の形態において、再構成処理を行う際の再構成パラメータとしてとりうる範囲の両極の値は、例えば、被写界深度が最も浅くなる再構成パラメータと、被写界深度が最も深くなる再構成パラメータとすることができる。このとき、撮影レンズ１０２において現状で設定されている焦点調節位置（合焦距離）と、撮影レンズ１０２の焦点距離および絞り値と、許容錯乱円径（実質ピントが合って見えると見なせる画像の鮮鋭度）とから被写界深度を設定可能である。つまり、許容錯乱円径を最小（０）としたときに被写界深度は最も浅くなり、許容錯乱円径を許容可能な最大の大きさにしたときに被写界深度は最も深くなる。 When the display described with reference to FIG. 5C is performed, the extreme values of the range that can be taken as reconstruction parameters when the reconstruction processing unit 172 performs reconstruction processing on the light field image are set. Including the plurality of reconstruction parameters, the reconstruction parameter setting unit 160 sets them. In this embodiment, the extreme values of the range that can be taken as reconstruction parameters when performing reconstruction processing are, for example, the reconstruction parameter with the shallowest depth of field and the reconstruction with the deepest depth of field. It can be a configuration parameter. At this time, the focus adjustment position (focusing distance) currently set in the photographing lens 102, the focal length and aperture value of the photographing lens 102, and the permissible circle of confusion (the sharpness of the image that can be regarded as being in focus substantially). The depth of field can be set. That is, the depth of field is the shallowest when the permissible circle of confusion is minimum (0), and the depth of field is the deepest when the permissible circle of confusion is maximized.
上記再構成パラメータにもとづき、再構成処理部１７２で再構成の処理が行われて複数枚（複数種類）の完成画像ＦＲＩが生成され、それらの完成画像ＦＲＩに基づく表示画像が表示部１４０に同時または順次表示される。その結果、本実施の形態では、被写界深度の最も浅い画像、最も深い画像を少なくとも含む複数の画像が表示される。これらの表示画像を観ることにより、後でどの範囲までピントの合った完成画像ＦＲＩを得ることができるのか、作画意図に合う画像を得ることができるのか等をユーザは撮影時時点で直観的に確認することができ、安心して撮影を行うことができる。 Based on the reconstruction parameters, the reconstruction processing unit 172 performs reconstruction processing to generate a plurality of (plural types) of completed images FRI, and display images based on these completed images FRI are simultaneously displayed on the display unit 140. Or they are displayed sequentially. As a result, in the present embodiment, a plurality of images including at least the shallowest image and the deepest image are displayed. By viewing these display images, the user can intuitively determine to what extent a completed image FRI in focus can be obtained later or whether an image suitable for the drawing intention can be obtained. You can check it, and you can shoot with confidence.
− 第２の実施の形態 −
図６は、図５に示すものと同様、カメラ１００に備えられる表示部１４０と、ダイヤルスイッチ１３４およびシーソースイッチ１３２とを示す図である。表示部１４０の表面にはタッチパネルが設けられているものとする。表示部１４０には、ライブビュー画像、ポストビュー画像、あるいは再構成処理によって生成された完成画像ＦＲＩに基づく表示画像と共にＧＵＩ表示６００等が表示される。本実施の形態においてＧＵＩ表示６００は、視点を移動することが可能な範囲を破線の丸で示し、その範囲内で現在設定されている視点の位置を十字のカーソル６０２で示している。ここで、表示部１４０はカメラ１００の背面に設けられているものとする。以下の説明において左、右とは、被写体に向かって左、右を意味する。また、上、下とは、天、地に向かう向きを意味する。図６には、再構成の処理によって、視点を変化させた場合の画像が表示部１４０に表示される様子が示される。視点を変化させた完成画像ＦＲＩを得る方法は先に説明したとおりである。つまり、撮影レンズの絞り開口内で、当該絞り開口よりも小さいサブ開口領域の大きさおよび位置を特定し、当該サブ開口領域を通過する光線に対応する情報を前記ライトフィールド画像から抽出して再構成することにより、視点を変化させた画像を得ることが可能となる。
− Second Embodiment −
FIG. 6 is a diagram showing the display unit 140, the dial switch 134, and the seesaw switch 132 provided in the camera 100, similar to that shown in FIG. 5. It is assumed that a touch panel is provided on the surface of the display unit 140. The display unit 140 displays a GUI display 600 or the like together with a live view image, a post view image, or a display image based on the completed image FRI generated by the reconstruction process. In the present embodiment, the GUI display 600 indicates a range in which the viewpoint can be moved by a broken-line circle, and a currently set viewpoint position within the range is indicated by a cross cursor 602. Here, it is assumed that the display unit 140 is provided on the back surface of the camera 100. In the following description, left and right mean left and right toward the subject. In addition, “up” and “down” mean directions toward the heavens and the earth. FIG. 6 shows a state where an image when the viewpoint is changed is displayed on the display unit 140 by the reconstruction process. The method for obtaining the completed image FRI with the viewpoint changed is as described above. That is, the size and position of a sub-aperture area smaller than the stop aperture is identified within the aperture of the photographic lens, and information corresponding to the light beam passing through the sub-open area is extracted from the light field image and reproduced. By configuring, it is possible to obtain an image with a changed viewpoint.
従来のカメラで行われるのと同様のプレビュー表示が行われている状態のときに、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作する。このとき、トリガ入力部１８０は、再構成画像を表示する処理の実行を開始する操作をユーザが行ったのをトリガとして入力し、再構成処理部１７２へ再構成処理の実行を開始するコマンドを発する。再構成処理部１７２は、コマンド入力時点、あるいはその後に得られたライトフィールド画像に再構成処理を行う。そして、生成された完成画像ＦＲＩに基づく表示画像がＧＵＩ表示６００とともに表示部１４０に表示される。 The user operates the dial switch 134 and the seesaw switch 132 when a preview display similar to that performed by a conventional camera is being performed. At this time, the trigger input unit 180 inputs, as a trigger, a user's operation for starting execution of processing for displaying a reconstructed image, and sends a command to the reconfiguration processing unit 172 to start execution of reconfiguration processing. To emit. The reconstruction processing unit 172 performs reconstruction processing on the light field image obtained at the time of command input or thereafter. Then, a display image based on the generated completed image FRI is displayed on the display unit 140 together with the GUI display 600.
完成画像ＦＲＩは、第１の実施の形態で説明したのと同様に、撮影動作を行って得られたライトフィールド画像に対して再構成処理が行われて生成されても良い。その場合、撮影動作後のポストビュー表示が行われているときにユーザがダイヤルスイッチ１３４やシーソースイッチ１３２、あるいはタッチパネルを操作したのをトリガ入力部１８０がトリガとして入力する。また、ポストビュー表示を開始した後、一定時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。 The completed image FRI may be generated by performing reconstruction processing on the light field image obtained by performing the imaging operation, as described in the first embodiment. In that case, the trigger input unit 180 inputs as a trigger that the user has operated the dial switch 134, the seesaw switch 132, or the touch panel while the post-view display after the photographing operation is being performed. Further, the trigger input unit 180 may input a signal issued from a timer when a predetermined time has elapsed after the start of the post-view display.
カーソル６０２の表示される部分にユーザが指等を当てて表示部１４０の上下左右方向に沿ってスライドさせる操作をすることにより、カーソル６０２の表示位置が破線の丸の範囲内で上下左右に変化し、再構成パラメータも変化する。また、シーソースイッチ３１２を上下左右のいずれかの方向に傾ける操作をするのに応じてカーソル６０２の表示位置が変化し、再構成パラメータも変化するようにしてもよい。 The display position of the cursor 602 is changed vertically and horizontally within the range of the broken line by the user's touching the part where the cursor 602 is displayed and sliding the display unit 140 along the vertical and horizontal directions. However, the reconstruction parameters also change. Further, the display position of the cursor 602 may be changed and the reconstruction parameter may be changed in accordance with an operation of tilting the seesaw switch 312 in any one of up, down, left and right directions.
図６（ａ）は、カーソル６０２を右上側にスライドさせたのに応じて、視点を右上に移動したときの画像が表示部１４０に表示される例を示す。図６においても、図５と同様、近距離に位置する花ＦＬ１、中距離に位置する花ＦＬ２、遠距離に位置する花ＦＬ３が撮影されているものとする。 FIG. 6A shows an example in which an image is displayed on the display unit 140 when the viewpoint is moved to the upper right according to the cursor 602 being slid to the upper right. In FIG. 6, as in FIG. 5, it is assumed that a flower FL1 located at a short distance, a flower FL2 located at a medium distance, and a flower FL3 located at a long distance are photographed.
図６（ａ）では、近距離に位置する花ＦＬ１が画面内において相対的に左下に位置がずれて表示される様子が示される。つまり、視点を右上に移動したのに伴い、カメラ１００からより近い位置に存在する被写体である花ＦＬ１の像が視点移動の影響をより強く受けて、花ＦＬ１の像の位置の移動量が他の花ＦＬ２、ＦＬ３の位置の移動量よりも大きくなる。その結果、図５（ｂ）などにおいて、花ＦＬ２の茎や葉のうち、花ＦＬ１の影に隠れて見えなくなっていた部分が、図６（ａ）では見えるようになっている様子が示される。 FIG. 6A shows a state in which the flower FL1 located at a short distance is displayed with a relatively shifted position in the lower left in the screen. That is, as the viewpoint is moved to the upper right, the image of the flower FL1, which is a subject closer to the camera 100, is more strongly affected by the movement of the viewpoint, and the amount of movement of the position of the flower FL1 varies. The amount of movement of the position of the flowers FL2 and FL3 becomes larger. As a result, in FIG. 5B and the like, a part of the stem and leaves of the flower FL2 that is hidden behind the shadow of the flower FL1 is visible in FIG. 6A. .
つまり、ユーザがカーソル６０２を右上側に位置させるのに応じて、再構成パラメータ設定部１６０は、再構成処理をして得られる画像が、視点を右上側に移動させたときのものとなるように再構成パラメータを設定する。再構成処理部１７２では、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行い、完成画像ＦＲＩを生成する。この完成画像ＦＲＩに基づく表示画像が表示部１４０に表示される例が図６（ａ）に示されている。 That is, as the user positions the cursor 602 on the upper right side, the reconstruction parameter setting unit 160 causes the image obtained by the reconstruction process to be the one when the viewpoint is moved to the upper right side. Set the reconfiguration parameter to. The reconstruction processing unit 172 performs a reconstruction process based on the reconstruction parameter set by the reconstruction parameter setting unit 160 on the light field image to generate a completed image FRI. An example in which a display image based on the completed image FRI is displayed on the display unit 140 is shown in FIG.
図６（ｂ）は、カーソル６０２を左上側に位置させたのに応じて、視点を左上に移動したときの画像が表示部１４０に表示される例を示す。ユーザがカーソル６０２を左上側に位置させるのに応じて、再構成パラメータ設定部１６０は、再構成処理をして得られる画像が、視点を左上側に移動させたときのものとなるように再構成パラメータを設定する。再構成処理部１７２では、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行う。この場合、近距離に位置する花ＦＬ１が画面内において相対的に右下に位置がずれて表示される様子が示される。つまり、視点を左上に移動したのに伴い、先にも説明したように、カメラ１００からより近い位置に存在する被写体である花ＦＬ１の像が視点移動の影響をより大きく受けて、花ＦＬ１の像の位置の移動量が他の花ＦＬ２、ＦＬ３の位置の移動量よりも大きくなる。その結果、図６（ａ）に示されるものと比較して花ＦＬ１の位置が右に移動している。 FIG. 6B shows an example in which an image when the viewpoint is moved to the upper left in accordance with the cursor 602 being positioned on the upper left is displayed on the display unit 140. In response to the user positioning the cursor 602 on the upper left side, the reconstruction parameter setting unit 160 reconstructs the image obtained by the reconstruction process so that the image obtained when the viewpoint is moved to the upper left side. Set configuration parameters. The reconstruction processing unit 172 performs reconstruction processing based on the reconstruction parameter set by the reconstruction parameter setting unit 160 on the light field image. In this case, a state in which the flower FL1 located at a short distance is displayed with a relatively shifted position on the lower right in the screen is shown. In other words, as described above, as the viewpoint is moved to the upper left, the image of the flower FL1 that is the subject that is closer to the camera 100 is more greatly affected by the movement of the viewpoint, and the flower FL1 The amount of movement of the image position is larger than the amount of movement of the positions of the other flowers FL2, FL3. As a result, the position of the flower FL1 has moved to the right as compared with that shown in FIG.
以上では図６（ａ）、図６（ｂ）を参照して、ユーザ操作に応じて再構成パラメータ設定部１６０で設定された再構成パラメータに基づいて再構成処理部１７２が再構成の処理を行い、ユーザ操作に対応する完成画像ＦＲＩが生成され、表示画像が表示される例について説明したが、以下のように処理をすることも可能である。図６（ｃ）は、視点の異なる複数の画像が表示部１４０に並べて表示される例を示している。図６（ｃ）では、視点を右上にずらしたときの画像ＩＵＲ（Upper Right）、左上にずらしたときの画像ＩＵＬ（Upper Left)、右下にずらしたときの画像ＩＬＲ（Lower Right)、左下にずらしたときの画像ＩＬＬ（Lower Left）が並べて表示されるが、３枚以下の画像や５枚以上の画像が並べて表示されてもよい。このとき、画像の一部が重なるように表示されていてもよく、また、表示される画像の大きさが複数の画像間で異なっていてもよい。また、複数の画像が時間の経過とともに切り換えられて、表示部１４０に順次表示されるようにしてもよいのも第１の実施の形態と同様である。 In the above, with reference to FIG. 6A and FIG. 6B, the reconstruction processing unit 172 performs the reconstruction process based on the reconstruction parameter set by the reconstruction parameter setting unit 160 according to the user operation. In the above example, the completed image FRI corresponding to the user operation is generated and the display image is displayed. However, the following processing is also possible. FIG. 6C shows an example in which a plurality of images with different viewpoints are displayed side by side on the display unit 140. In FIG. 6C, an image IUR (Upper Right) when the viewpoint is shifted to the upper right, an image IUL (Upper Left) when the viewpoint is shifted to the upper left, an image ILR (Lower Right) when the viewpoint is shifted to the lower right, and the lower left The image ILL (Lower Left) is displayed side by side, but three or less images or five or more images may be displayed side by side. At this time, the images may be displayed so as to overlap each other, and the size of the displayed images may be different among a plurality of images. Similarly to the first embodiment, a plurality of images may be switched over time and displayed on the display unit 140 sequentially.
図６（ｃ）に例示される表示が行われるにあたり、第１の実施の形態で説明したのと同様、トリガ入力部１８０は、ユーザがレリーズスイッチを半押しする操作をしたときにトリガが入力されるようにしてもよいし、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作したときトリガが入力されるようにしてもよい。あるいは、ユーザがカメラ１００の電源を投入する操作、撮影モードに切り換える操作、半押しをする操作等をしてから所定の時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。さらには、撮影後のポストビュー表示中にユーザの操作が検出された場合や、ポストビュー表示を開始してから一定時間経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。図６（ｃ）に例示される表示が開始されるまでの間、あるいは図６（ｃ）に例示される表示を完了した後は、通常のデジタルカメラで行われるのと同様のプレビュー表示を行うことが可能である。 When the display illustrated in FIG. 6C is performed, the trigger input unit 180 inputs a trigger when the user performs an operation of half-pressing the release switch, as described in the first embodiment. Alternatively, a trigger may be input when the user operates the dial switch 134 or the seesaw switch 132. Alternatively, the trigger input unit 180 inputs a signal generated from the timer when a predetermined time has elapsed since the user performed operations such as turning on the power of the camera 100, switching to the shooting mode, and half-pressing. May be. Further, even when the trigger input unit 180 inputs a signal generated from a timer when a user operation is detected during post-view display after shooting, or when a certain time has elapsed since the start of post-view display. Good. Until the display illustrated in FIG. 6C is started or after the display illustrated in FIG. 6C is completed, a preview display similar to that performed by a normal digital camera is performed. It is possible.
図６（ｃ）を参照して説明した表示が行われる際には、第１の実施の形態で説明したのと同様、再構成処理部１７２でライトフィールド画像に対して再構成処理を行う際の再構成パラメータとしてとりうる範囲の両極の値を含めて、複数の再構成パラメータが再構成パラメータ設定部１６０で設定される。例えば、本例においては、視点の位置が、変更可能範囲内の右端、左端となるのに対応する再構成パラメータを両極の値とすることができる。また、変更可能範囲内の上端、下端や、右上、左下、あるいは左上、右下となるのに対応する再構成パラメータを両極の値とすることも可能である。 When the display described with reference to FIG. 6C is performed, as in the case of the first embodiment, the reconstruction processing unit 172 performs the reconstruction process on the light field image. A plurality of reconstruction parameters are set by the reconstruction parameter setting unit 160 including the values of the two extreme poles that can be taken as the reconstruction parameters. For example, in this example, the reconstruction parameters corresponding to the positions of the viewpoints at the right end and the left end within the changeable range can be set to the values of both poles. Further, the reconstruction parameters corresponding to the upper end, lower end, upper right, lower left, upper left, and lower right within the changeable range can be set to the values of both poles.
上記のように設定された再構成パラメータに基づき、再構成処理部１７２で再構成の処理が行われて複数枚（複数種類）の完成画像ＦＲＩが生成され、それらの完成画像ＦＲＩに基づく表示画像が表示部１４０に同時または順次表示される。図６（ｃ）の例では、視点を右上にずらしたときの画像ＩＵＲ、左上にずらしたときの画像ＩＵＬ、右下にずらしたときの画像ＩＬＲ、左下にずらしたときの画像ＩＬＬが並べて表示される。これらの表示画像を観ることにより、手前側の被写体によって隠れて見えなかった部分が後の処理で見えるようになるのか否かをユーザは撮影時時点で直観的に確認することができ、安心して撮影を行うことができる。 Based on the reconstruction parameters set as described above, the reconstruction processing unit 172 performs reconstruction processing to generate a plurality of (plural types) of completed images FRI, and display images based on these completed images FRI. Are simultaneously or sequentially displayed on the display unit 140. In the example of FIG. 6C, the image IUR when the viewpoint is shifted to the upper right, the image IUL when shifted to the upper left, the image ILR when shifted to the lower right, and the image ILL when shifted to the lower left are displayed side by side. Is done. By viewing these display images, the user can intuitively check at the time of shooting whether the part hidden behind the subject on the near side and not visible can be seen in the later processing. Shooting can be performed.
以上、第２の実施の形態では、ライトフィールド画像から視点を変化させた完成画像ＦＲＩを生成する例について説明したが、いわゆるステレオ画像を生成することも可能である。つまり、左右方向に視差の設定された一組の画像（ステレオペア）をライトフィールド画像から生成することが可能である。この場合、表示部１４０は、ユーザが裸眼で立体画像を観視可能に構成されていても、ユーザが眼鏡型のアダプタを装着することにより立体画像を観視可能に構成されていてもよい。そして、再構成パラメータ設定部１６０で設定される再構成パラメータは、ステレオペアの画像間の視差の量、すなわち、表示される立体画像の奥行き感とすることが可能である。図６（ｃ）を参照して説明したのと同様にして、奥行き感の異なる複数の立体画像が同時または順次表示される場合、再構成パラメータ設定部１６０は、再構成処理部１７２がライトフィールド画像に対して再構成処理を行う際の再構成パラメータとしてとりうる範囲の両極の値を含めて、複数の再構成パラメータを設定する。この場合、再構成パラメータとしてとりうる範囲の両極の値としては、例えば視差量が０（奥行き感０）に対応するものと、視差量が最大（奥行き感が最大）に対応するものとすることができる。視差量が最大に対応するもの、とは、視点を設定することの可能な範囲で一番左および一番右の視点に対応する完成画像ＦＲＩのペアを生成するための再構成パラメータとなる。 As described above, in the second embodiment, the example of generating the completed image FRI in which the viewpoint is changed from the light field image has been described. However, it is also possible to generate a so-called stereo image. That is, it is possible to generate a set of images (stereo pairs) with parallax set in the left-right direction from the light field images. In this case, the display unit 140 may be configured to allow the user to view a stereoscopic image with the naked eye, or to allow the user to view the stereoscopic image by wearing a glasses-type adapter. Then, the reconstruction parameter set by the reconstruction parameter setting unit 160 can be the amount of parallax between images of a stereo pair, that is, the sense of depth of a displayed stereoscopic image. In the same manner as described with reference to FIG. 6C, when a plurality of stereoscopic images having different feelings of depth are displayed simultaneously or sequentially, the reconstruction parameter setting unit 160 causes the reconstruction processing unit 172 to execute the light field. A plurality of reconstruction parameters are set including the values of the two extreme poles that can be taken as reconstruction parameters when performing reconstruction processing on an image. In this case, as the values of the two extreme poles that can be taken as the reconstruction parameters, for example, the parallax amount corresponds to 0 (depth sense 0) and the parallax amount corresponds to the maximum (depth sense is maximum). Can do. The parallax amount corresponding to the maximum is a reconstruction parameter for generating a pair of completed images FRI corresponding to the leftmost and rightmost viewpoints in a range where the viewpoint can be set.
− 第３の実施の形態 −
図７は、図５、図６に示すものと同様、カメラ１００に備えられる表示部１４０と、ダイヤルスイッチ１３４およびシーソースイッチ１３２とを示す図である。表示部１４０の表面にはタッチパネルが設けられているものとする。表示部１４０には、プレビュー画像、ポストビュー画像、あるいは再構成処理によって生成された完成画像に基づく表示画像と共にＧＵＩ表示７００等が表示される。本実施の形態においては、スライド式ボリュームを模したＧＵＩ表示７００がなされるものとする。図７では、合焦位置を変化させたかのような画像を再構成処理によって生成し、表示する場合を示している。
− Third embodiment −
FIG. 7 is a diagram showing the display unit 140, the dial switch 134, and the seesaw switch 132 provided in the camera 100, similar to those shown in FIGS. 5 and 6. It is assumed that a touch panel is provided on the surface of the display unit 140. On the display unit 140, a GUI display 700 and the like are displayed together with a preview image, a postview image, or a display image based on a completed image generated by reconstruction processing. In the present embodiment, it is assumed that a GUI display 700 simulating a slide-type volume is made. FIG. 7 shows a case where an image as if the in-focus position has been changed is generated and displayed by reconstruction processing.
従来のカメラで行われるのと同様のプレビュー表示が行われている状態のときに、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作する。このとき、トリガ入力部１８０は、再構成画像を表示する処理の実行を開始する操作をしたのをトリガとして入力し、再構成処理部１７２に対して再構成処理の実行を開始するコマンドを発する。再構成処理部１７２は、コマンド入力時点、あるいはその後に得られたライトフィールド画像に再構成処理を行う。そして、生成された完成画像ＦＲＩに基づく表示画像がＧＵＩ表示７００とともに表示部１４０に表示される。 The user operates the dial switch 134 and the seesaw switch 132 when a preview display similar to that performed by a conventional camera is being performed. At this time, the trigger input unit 180 inputs, as a trigger, an operation for starting execution of processing for displaying a reconstructed image, and issues a command for starting execution of the reconfiguration processing to the reconfiguration processing unit 172. . The reconstruction processing unit 172 performs reconstruction processing on the light field image obtained at the time of command input or thereafter. Then, a display image based on the generated completed image FRI is displayed on the display unit 140 together with the GUI display 700.
完成画像ＦＲＩは、第１の実施の形態で説明したのと同様に、撮影動作を行って得られたライトフィールド画像に対して再構成処理が行われ、生成されても良い。その場合、撮影動作後のポストビュー表示が行われているときにユーザがダイヤルスイッチ１３４やシーソースイッチ１３２、あるいはタッチパネルを操作したのをトリガ入力部１８０がトリガとして入力する。また、ポストビュー表示を開始した後、一定時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。 The completed image FRI may be generated by performing reconstruction processing on the light field image obtained by performing the imaging operation, as described in the first embodiment. In that case, the trigger input unit 180 inputs as a trigger that the user has operated the dial switch 134, the seesaw switch 132, or the touch panel while the post-view display after the photographing operation is being performed. Further, the trigger input unit 180 may input a signal issued from a timer when a predetermined time has elapsed after the start of the post-view display.
スライドレバー７０２の表示される部分にユーザが指等を当てて表示部１４０の上下方向に沿ってスライドさせる操作をすることにより、スライドレバー７０２の表示位置が上下に変化し、再構成パラメータも変化する。図７ではスライドレバー７０２を上下にスライドする例について示しているが、左右にスライドするものであってもよい。また、シーソースイッチ３１２を上下方向あるいは左右方向に傾ける操作や、ダイヤルスイッチ１３４を時計回り、反時計回りいずれかの方向に回す操作をするのに応じてスライドレバー７０２の表示位置が変化し、再構成パラメータも変化するようにしてもよい。 When the user applies a finger or the like to the displayed portion of the slide lever 702 and slides the display unit 140 along the vertical direction, the display position of the slide lever 702 changes up and down, and the reconstruction parameter also changes. To do. Although FIG. 7 shows an example in which the slide lever 702 is slid up and down, it may be slid left and right. Also, the display position of the slide lever 702 changes in response to an operation of tilting the seesaw switch 312 in the vertical direction or the horizontal direction, or an operation of rotating the dial switch 134 in either the clockwise or counterclockwise direction. The configuration parameter may also be changed.
図７（ａ）は、スライドレバー７０２を上側にスライドさせて「遠」の側に位置させたのに応じて、撮影範囲内のより遠い位置に存在する被写体の画像がより鮮鋭となるように表示部１４０に表示される例を示す。本明細書では、再構成処理によって得られる完成画像中で鮮鋭な像が得られる被写体までの、カメラ１００からの距離を「合焦距離」と称する。図７においても、図５と同様、近距離に位置する花ＦＬ１、中距離に位置する花ＦＬ２、遠距離に位置する花ＦＬ３が撮影されているものとする。つまり、花ＦＬ３の合焦距離は花ＦＬ１、ＦＬ２の合焦距離よりも長い（遠い）。図７（ａ）では、遠距離に位置する花ＦＬ３の画像がより鮮鋭となるようにライトフィールド画像が再構成されて完成画像ＦＲＩが生成され、表示画像が表示される様子が示される。 FIG. 7A shows that the image of the subject located at a farther position in the shooting range becomes sharper as the slide lever 702 is slid upward and positioned on the “far” side. The example displayed on the display part 140 is shown. In the present specification, the distance from the camera 100 to the subject from which a sharp image is obtained in the completed image obtained by the reconstruction process is referred to as “focusing distance”. In FIG. 7, as in FIG. 5, it is assumed that a flower FL1 located at a short distance, a flower FL2 located at a medium distance, and a flower FL3 located at a long distance are photographed. That is, the focusing distance of the flower FL3 is longer (far) than the focusing distance of the flowers FL1 and FL2. FIG. 7A shows how the light field image is reconstructed so that the image of the flower FL3 located at a long distance becomes sharper, a completed image FRI is generated, and the display image is displayed.
スライドレバー７０２が「遠」の側に位置するのに対応し、再構成パラメータ設定部１６０は、再構成処理をして得られる画像が、合焦距離のより長い（遠い）被写体の像が鮮鋭になるように再構成パラメータを設定する。再構成処理部１７２は、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行い、完成画像ＦＲＩを生成する。この完成画像ＦＲＩに基づき、図７（ａ）に例示される表示画像が表示部１４０に表示される。 Corresponding to the fact that the slide lever 702 is positioned on the “far” side, the reconstruction parameter setting unit 160 shows that the image obtained by performing the reconstruction process is a sharp image of a subject with a longer (far) focus distance. Set the reconfiguration parameters so that The reconstruction processing unit 172 performs a reconstruction process based on the reconstruction parameter set by the reconstruction parameter setting unit 160 on the light field image, and generates a completed image FRI. Based on this completed image FRI, a display image illustrated in FIG. 7A is displayed on the display unit 140.
図７（ｂ）は、ユーザがスライドレバー７０２を下側にスライドさせて「近」の側に位置させた状態を示しており、合焦距離のより短い（近い）被写体、すなわち花ＦＬ１の画像がより鮮鋭となる画像が表示部１４０に表示される例を示す。ユーザがスライドレバー７０２を「近」の側に位置させるのに応じて、再構成パラメータ設定部１６０は、再構成処理をして得られる画像中、合焦距離のより近い被写体の像が鮮鋭となるように再構成パラメータを設定する。再構成処理部１７２では、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行い、花ＦＬ１の像が鮮鋭となる完成画像ＦＲＩを生成する。この完成画像ＦＲＩに基づき、図７（ｂ）に例示される表示画像が表示部１４０に表示される。以上に説明したスライドレバー７０２の操作に代えて、あるいはスライドレバー７０２の操作に加えて、表示部１４０に表示される画像中、ユーザがタッチパネルに触れて指定した被写体の像が鮮鋭となるように再構成パラメータが設定されてもよい。このとき、ユーザが表示画像中で複数の被写体を指定可能に構成され、指定された複数の被写体の像が全て鮮鋭となるように再構成パラメータが設定されてもよい。 FIG. 7B shows a state in which the user has slid the slide lever 702 downward to be positioned on the “near” side, and an object with a shorter (near) focus distance, that is, an image of the flower FL1. An example in which a sharper image is displayed on the display unit 140 is shown. In response to the user positioning the slide lever 702 on the “near” side, the reconstruction parameter setting unit 160 determines that the image of the subject closer to the in-focus distance is sharp among the images obtained by the reconstruction process. Set the reconfiguration parameters to The reconstruction processing unit 172 performs reconstruction processing based on the reconstruction parameter set by the reconstruction parameter setting unit 160 on the light field image, and generates a completed image FRI in which the image of the flower FL1 is sharp. Based on the completed image FRI, the display image illustrated in FIG. 7B is displayed on the display unit 140. Instead of the operation of the slide lever 702 described above or in addition to the operation of the slide lever 702, the image of the subject specified by the user touching the touch panel in the image displayed on the display unit 140 is sharpened. A reconstruction parameter may be set. At this time, the user may designate a plurality of subjects in the display image, and the reconstruction parameter may be set so that all the images of the designated subjects are sharp.
以上では図７（ａ）、図７（ｂ）を参照し、ユーザ操作に応じて再構成パラメータ設定部１６０で設定された再構成パラメータに基づいて再構成処理部１７２が再構成の処理を行い、ユーザ操作に対応する完成画像ＦＲＩを生成して、対応する表示画像が表示される例について説明したが、以下のように処理をすることも可能である。図７（ｃ）は、異なる合焦距離の被写体に対応して鮮鋭な像を結ぶ複数の画像が表示部１４０に並べて表示される例を示している。図７（ｃ）では、合焦距離の近い被写体である花ＦＬ１に対して鮮鋭な像を結ぶ画像Ｉｎと、合焦距離の遠い被写体である花ＦＬ３に対して鮮鋭な像を結ぶ画像Ｉｆとが並べて表示される例を示すが、第１の実施の形態で図５を参照して説明したのと同様、３枚以上の画像が並べて表示されてもよい。このとき、画像の一部が重なるように表示されていてもよく、また、表示される画像の大きさが複数の画像間で異なっていてもよい。また、複数の画像が時間の経過とともに切り換えられて、表示部１４０に順次表示されるようにしてもよい。 7A and 7B, the reconfiguration processing unit 172 performs the reconfiguration process based on the reconfiguration parameter set by the reconfiguration parameter setting unit 160 according to the user operation. The example in which the completed image FRI corresponding to the user operation is generated and the corresponding display image is displayed has been described. However, the following processing can also be performed. FIG. 7C illustrates an example in which a plurality of images that connect sharp images corresponding to subjects with different in-focus distances are displayed side by side on the display unit 140. In FIG. 7C, an image In that connects a sharp image to the flower FL1 that is a subject with a short focusing distance, and an image If that connects a sharp image to the flower FL3 that is a subject with a long focusing distance. Are displayed side by side, but as described with reference to FIG. 5 in the first embodiment, three or more images may be displayed side by side. At this time, the images may be displayed so as to overlap each other, and the size of the displayed images may be different among a plurality of images. In addition, a plurality of images may be switched over time and sequentially displayed on the display unit 140.
図７（ｃ）に例示される表示が行われるにあたり、第１の実施の形態で説明したのと同様、トリガ入力部１８０は、ユーザがレリーズスイッチを半押しする操作をしたときにトリガが入力されるようにしてもよいし、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作したときトリガが入力されるようにしてもよい。あるいは、ユーザがカメラ１００の電源を投入する操作、撮影モードに切り換える操作、半押しをする操作等をしてから所定の時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。さらには、撮影後のポストビュー表示中にユーザの操作が検出された場合や、ポストビュー表示を開始してから一定時間経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。図７（ｃ）に例示される表示が開始されるまでの間、あるいは図７（ｃ）に例示される表示を完了した後は、通常のデジタルカメラで行われるのと同様のプレビュー表示を行うことが可能である。 When the display illustrated in FIG. 7C is performed, the trigger input unit 180 inputs a trigger when the user performs an operation of half-pressing the release switch, as described in the first embodiment. Alternatively, a trigger may be input when the user operates the dial switch 134 or the seesaw switch 132. Alternatively, the trigger input unit 180 inputs a signal generated from the timer when a predetermined time has elapsed since the user performed operations such as turning on the power of the camera 100, switching to the shooting mode, and half-pressing. May be. Further, even when the trigger input unit 180 inputs a signal generated from a timer when a user operation is detected during post-view display after shooting, or when a certain time has elapsed since the start of post-view display. Good. Until the display illustrated in FIG. 7C is started or after the display illustrated in FIG. 7C is completed, the same preview display as that performed by a normal digital camera is performed. It is possible.
図７（ｃ）を参照して説明した表示が行われる際には、第１の実施の形態で説明したのと同様、再構成処理部１７２でライトフィールド画像に対して再構成処理を行う際の再構成パラメータとしてとりうる範囲の両極の値を含めて、複数の再構成パラメータが再構成パラメータ設定部１６０で設定される。例えば、本例においては、合焦距離が、変更可能範囲内の最短、最長となるのに対応する再構成パラメータを両極の値とすることができる。このとき、撮影レンズ１０２において現状で設定されている焦点調節位置（合焦距離）と、撮影レンズ１０２の焦点距離および絞り値と、許容錯乱円径（実質ピントが合って見えると見なせる画像の鮮鋭度）とから被写界深度を求め、そこから最短、最長の合焦距離を設定することが可能である。 When the display described with reference to FIG. 7C is performed, the reconstruction processing unit 172 performs the reconstruction process on the light field image, as described in the first embodiment. A plurality of reconstruction parameters are set by the reconstruction parameter setting unit 160 including the values of the two extreme poles that can be taken as the reconstruction parameters. For example, in this example, the reconstruction parameter corresponding to the shortest and longest in-focus distance within the changeable range can be a bipolar value. At this time, the focus adjustment position (focusing distance) currently set in the photographing lens 102, the focal length and aperture value of the photographing lens 102, and the permissible circle of confusion (the sharpness of the image that can be regarded as being in focus substantially). It is possible to determine the depth of field from (degree) and to set the shortest and longest focus distance.
上記のように設定された再構成パラメータに基づき、再構成処理部１７２で再構成の処理が行われて複数枚（複数種類）の完成画像ＦＲＩが生成され、それらの完成画像ＦＲＩに基づく表示画像が表示部１４０に同時または順次表示される。図７（ｃ）の例では、合焦距離が最短、最長の場合に対応する画像が並べて表示される。これらの表示画像を観ることにより、鮮鋭な像を得ることのできる合焦距離の範囲をユーザは撮影時時点で直観的に確認することができ、安心して撮影を行うことができる。また、合焦距離を少しずつ変化させた複数の画像を動画風に順次表示することにより、情感のあふれる画像を再生表示することも可能となり、カメラ１００を使用する上での新たな楽しみをユーザにもたらす事が可能となる。 Based on the reconstruction parameters set as described above, the reconstruction processing unit 172 performs reconstruction processing to generate a plurality of (plural types) of completed images FRI, and display images based on these completed images FRI. Are simultaneously or sequentially displayed on the display unit 140. In the example of FIG. 7C, images corresponding to the shortest and longest focus distances are displayed side by side. By viewing these display images, the user can intuitively confirm the range of the focus distance at which a sharp image can be obtained, and can shoot with confidence. In addition, by sequentially displaying a plurality of images in which the focusing distance is changed little by little like a moving image, it is also possible to reproduce and display images full of emotions, and users can enjoy new enjoyment in using the camera 100. It is possible to bring
以上、第１から第３の実施の形態によって静止画のライトフィールド画像に対して再構成の処理を行い、表示を行う例について説明したが、動画像に対して同様の処理を行うことも可能である。 The example in which the reconstruction process is performed on the light field image of the still image and the display is performed according to the first to third embodiments has been described above, but the same process can be performed on the moving image. It is.
本発明は、デジタルスチルカメラ、デジタルムービーカメラ等の製品に適用可能である。 The present invention is applicable to products such as a digital still camera and a digital movie camera.
以上、いくつかの実施形態に基づいて本発明について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。 As mentioned above, although this invention was demonstrated based on some embodiment, this invention is not limited to embodiment mentioned above, A various deformation | transformation and application are possible within the range of the summary of this invention. Of course.
また、上記実施形態からは種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるのであればこの構成要件が削除された構成もまた発明として抽出され得る。 Further, various inventions can be extracted from the above embodiment. For example, even if several constituent requirements are deleted from all the constituent requirements shown in the embodiment, if the effect can be obtained, the configuration from which the constituent requirements are deleted can also be extracted as an invention.
１００ … プレノプティックカメラ （カメラ）
１０２ … 撮影レンズ
１０４ … マイクロレンズアレイ
１０６ … 撮像素子
１０８ … アナログ・フロントエンド （ＡＦＥ）
１１０ … レンズ駆動部
１２０ … 画像記録媒体
１２２ … ＣＰＵ
１２４ … 記憶部
１３０ … 操作部
１３２ … シーソースイッチ
１３４ … ダイヤルスイッチ
１４０ … 表示部
１５０ … システムバス
１６０ … 再構成パラメータ設定部
１７０ … 画像処理部
１７２ … 再構成処理部
５００、６００、７００ … ＧＵＩ表示
５０２、７０２ … スライドレバー
６０２ … カーソル
100… plenoptic camera (camera)
102 ... Shooting lens 104 ... Micro lens array 106 ... Image sensor 108 ... Analog front end (AFE)
110: Lens driving unit 120 ... Image recording medium 122 ... CPU
124 ... Storage unit 130 ... Operation unit 132 ... Seesaw switch 134 ... Dial switch 140 ... Display unit 150 ... System bus 160 ... Reconfiguration parameter setting unit 170 ... Image processing unit 172 ... Reconfiguration processing unit 500, 600, 700 ... GUI display 502, 702 ... Slide lever 602 ... Cursor
Claims (8)
画像を表示可能な表示部と、
前記再構成処理部で前記再構成処理をする際の再構成パラメータとしてとりうる範囲から複数の異なる再構成パラメータを選択して設定する再構成パラメータ設定部と、
前記再構成パラメータ設定部で設定された前記複数の異なる再構成パラメータのそれぞれに対応して前記再構成処理部で生成された複数の完成画像に基づく表示画像を前記表示部に表示する処理を行う表示処理部と
を備えることを特徴とするプレノプティックカメラ。 A reconstruction processing unit that performs a reconstruction process based on a predetermined reconstruction parameter for a light field image that can also obtain information on the depth direction of the subject, and generates a completed image;
A display unit capable of displaying an image;
A reconfiguration parameter setting unit that selects and sets a plurality of different reconfiguration parameters from a range that can be taken as a reconfiguration parameter when the reconfiguration processing is performed in the reconfiguration processing unit;
A process of displaying on the display unit a display image based on a plurality of completed images generated by the reconstruction processing unit corresponding to each of the plurality of different reconstruction parameters set by the reconstruction parameter setting unit. A plenoptic camera comprising a display processing unit.
前記再構成パラメータは、前記被写界深度を変化させるためのパラメータであることを特徴とする請求項１から４のいずれか一つに記載のプレノプティックカメラ。 The completed image generated by the reconstruction processing unit is an image in which an image of a subject located within a specific depth of field can be seen more sharply,
The plenoptic camera according to any one of claims 1 to 4, wherein the reconstruction parameter is a parameter for changing the depth of field.
前記再構成パラメータは、前記特定視点位置を変化させるためのパラメータであることを特徴とする請求項１から４のいずれか一つに記載のプレノプティックカメラ。 The completed image generated by the reconstruction processing unit corresponds to a light beam passing through the sub-aperture area by specifying the size and position of the sub-aperture area smaller than the aperture opening in the aperture opening of the photographing lens. It is an image at a specific viewpoint position obtained by extracting and reconstructing information to be obtained from the light field image,
The plenoptic camera according to any one of claims 1 to 4, wherein the reconstruction parameter is a parameter for changing the specific viewpoint position.
前記再構成パラメータは、前記特定の撮影距離を変化させるためのパラメータであることを特徴とする請求項１から４のいずれか一つに記載のプレノプティックカメラ。 The completed image generated by the reconstruction processing unit is an image in which an image of a subject located at a specific shooting distance looks sharper,
5. The plenoptic camera according to claim 1, wherein the reconstruction parameter is a parameter for changing the specific shooting distance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011253641A JP5875839B2 (en) | 2011-11-21 | 2011-11-21 | Plenoptic camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011253641A JP5875839B2 (en) | 2011-11-21 | 2011-11-21 | Plenoptic camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013110556A true JP2013110556A (en) | 2013-06-06 |
| JP5875839B2 JP5875839B2 (en) | 2016-03-02 |
Family
ID=48706921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011253641A Expired - Fee Related JP5875839B2 (en) | 2011-11-21 | 2011-11-21 | Plenoptic camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5875839B2 (en) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014014071A (en) * | 2012-06-08 | 2014-01-23 | Canon Inc | Image processing apparatus and image processing method |
| JP2014154981A (en) * | 2013-02-06 | 2014-08-25 | Canon Inc | Imaging apparatus and control method therefor |
| JP2014220564A (en) * | 2013-05-01 | 2014-11-20 | キヤノン株式会社 | Image reproducing device, image reproducing method, program, and imaging device |
| JP2014220598A (en) * | 2013-05-02 | 2014-11-20 | キヤノン株式会社 | Image processing device and image processing method |
| JP2014230172A (en) * | 2013-05-23 | 2014-12-08 | キヤノン株式会社 | Image processing device, imaging device, reproduction device, control method, and program |
| JP2015023487A (en) * | 2013-07-22 | 2015-02-02 | 株式会社ニコン | Image processing apparatus, image display apparatus, and imaging apparatus |
| JP2015056693A (en) * | 2013-09-10 | 2015-03-23 | キヤノン株式会社 | Reproduction device, reproduction device control method, and program |
| JP2015081984A (en) * | 2013-10-22 | 2015-04-27 | キヤノン株式会社 | Imaging device, control method and program of the same |
| JP2015111793A (en) * | 2013-12-06 | 2015-06-18 | キヤノン株式会社 | Image processing apparatus, imaging device, control method, and program |
| JP2015139019A (en) * | 2014-01-21 | 2015-07-30 | 株式会社ニコン | Device and program for image composition |
| JP2016086367A (en) * | 2014-10-28 | 2016-05-19 | キヤノン株式会社 | Image processing system and control method of the same |
| JP2016096556A (en) * | 2012-02-20 | 2016-05-26 | キヤノン株式会社 | Image processing device, imaging device, control method, and program |
| JP2016136699A (en) * | 2015-01-23 | 2016-07-28 | キヤノン株式会社 | Information processing apparatus, control method thereof, program, and storage medium |
| JP2016158022A (en) * | 2015-02-23 | 2016-09-01 | キヤノン株式会社 | Electronic apparatus and display control method |
| JP2016158205A (en) * | 2015-02-26 | 2016-09-01 | 三菱電機株式会社 | Video monitoring system |
| JP2016178706A (en) * | 2016-07-07 | 2016-10-06 | キヤノン株式会社 | Image reproducing apparatus and control method of the same |
| JP2017092992A (en) * | 2017-02-14 | 2017-05-25 | キヤノン株式会社 | Image processing device and control method therefor |
| JP2017161941A (en) * | 2017-06-07 | 2017-09-14 | キヤノン株式会社 | Reproducer, imaging apparatus, and control method of reproducer |
| WO2017163588A1 (en) * | 2016-03-24 | 2017-09-28 | キヤノン株式会社 | Image processing apparatus, image pickup apparatus, and control methods therefor, and program |
| JP2017184217A (en) * | 2016-03-24 | 2017-10-05 | キヤノン株式会社 | Image processing device, imaging apparatus, method for controlling them, and program |
| US10021309B2 (en) | 2012-06-15 | 2018-07-10 | Canon Kabushiki Kaisha | Image recording apparatus and image reproducing apparatus |
| JP2018133094A (en) * | 2018-03-14 | 2018-08-23 | 株式会社ニコン | Image processing apparatus, image display device, and imaging device |
| WO2019012657A1 (en) * | 2017-07-13 | 2019-01-17 | オリンパス株式会社 | Image processing device and light field imaging device |
| JP2019041401A (en) * | 2018-10-26 | 2019-03-14 | 株式会社ニコン | Image combining device and image combining program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7015049B2 (en) | 2017-12-21 | 2022-02-02 | 株式会社銅藤 | Plasterer trowel |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080193026A1 (en) * | 2007-02-09 | 2008-08-14 | Kenichi Horie | Decoding method, decoding apparatus, storage medium in which decoding program is stored, and electronic camera |
| JP2009159357A (en) * | 2007-12-27 | 2009-07-16 | Sony Corp | Imaging apparatus |
| JP2009224982A (en) * | 2008-03-14 | 2009-10-01 | Sony Corp | Image processing apparatus, image processing program, and display apparatus |
| JP2010068018A (en) * | 2008-09-08 | 2010-03-25 | Sony Corp | Image processing apparatus, imaging device and display device |
-
2011
- 2011-11-21 JP JP2011253641A patent/JP5875839B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080193026A1 (en) * | 2007-02-09 | 2008-08-14 | Kenichi Horie | Decoding method, decoding apparatus, storage medium in which decoding program is stored, and electronic camera |
| JP2008219878A (en) * | 2007-02-09 | 2008-09-18 | Olympus Imaging Corp | Decoding method, decoding device, decoding program and electronic camera |
| JP2009159357A (en) * | 2007-12-27 | 2009-07-16 | Sony Corp | Imaging apparatus |
| JP2009224982A (en) * | 2008-03-14 | 2009-10-01 | Sony Corp | Image processing apparatus, image processing program, and display apparatus |
| JP2010068018A (en) * | 2008-09-08 | 2010-03-25 | Sony Corp | Image processing apparatus, imaging device and display device |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016096556A (en) * | 2012-02-20 | 2016-05-26 | キヤノン株式会社 | Image processing device, imaging device, control method, and program |
| JP2014014071A (en) * | 2012-06-08 | 2014-01-23 | Canon Inc | Image processing apparatus and image processing method |
| US10021309B2 (en) | 2012-06-15 | 2018-07-10 | Canon Kabushiki Kaisha | Image recording apparatus and image reproducing apparatus |
| JP2014154981A (en) * | 2013-02-06 | 2014-08-25 | Canon Inc | Imaging apparatus and control method therefor |
| JP2014220564A (en) * | 2013-05-01 | 2014-11-20 | キヤノン株式会社 | Image reproducing device, image reproducing method, program, and imaging device |
| JP2014220598A (en) * | 2013-05-02 | 2014-11-20 | キヤノン株式会社 | Image processing device and image processing method |
| JP2014230172A (en) * | 2013-05-23 | 2014-12-08 | キヤノン株式会社 | Image processing device, imaging device, reproduction device, control method, and program |
| JP2015023487A (en) * | 2013-07-22 | 2015-02-02 | 株式会社ニコン | Image processing apparatus, image display apparatus, and imaging apparatus |
| JP2015056693A (en) * | 2013-09-10 | 2015-03-23 | キヤノン株式会社 | Reproduction device, reproduction device control method, and program |
| JP2015081984A (en) * | 2013-10-22 | 2015-04-27 | キヤノン株式会社 | Imaging device, control method and program of the same |
| JP2015111793A (en) * | 2013-12-06 | 2015-06-18 | キヤノン株式会社 | Image processing apparatus, imaging device, control method, and program |
| JP2015139019A (en) * | 2014-01-21 | 2015-07-30 | 株式会社ニコン | Device and program for image composition |
| JP2016086367A (en) * | 2014-10-28 | 2016-05-19 | キヤノン株式会社 | Image processing system and control method of the same |
| JP2016136699A (en) * | 2015-01-23 | 2016-07-28 | キヤノン株式会社 | Information processing apparatus, control method thereof, program, and storage medium |
| JP2016158022A (en) * | 2015-02-23 | 2016-09-01 | キヤノン株式会社 | Electronic apparatus and display control method |
| JP2016158205A (en) * | 2015-02-26 | 2016-09-01 | 三菱電機株式会社 | Video monitoring system |
| WO2017163588A1 (en) * | 2016-03-24 | 2017-09-28 | キヤノン株式会社 | Image processing apparatus, image pickup apparatus, and control methods therefor, and program |
| JP2017184217A (en) * | 2016-03-24 | 2017-10-05 | キヤノン株式会社 | Image processing device, imaging apparatus, method for controlling them, and program |
| KR20180123117A (en) * | 2016-03-24 | 2018-11-14 | 캐논 가부시끼가이샤 | Image processing apparatus, image pickup apparatus, control method therefor, storage medium |
| RU2707066C1 (en) * | 2016-03-24 | 2019-11-21 | Кэнон Кабусики Кайся | Image processing device, image creation device, their control methods and program |
| KR102157491B1 (en) * | 2016-03-24 | 2020-09-18 | 캐논 가부시끼가이샤 | Image processing apparatus, imaging apparatus and control method thereof, storage medium |
| US10924665B2 (en) | 2016-03-24 | 2021-02-16 | Canon Kabushiki Kaisha | Image processing apparatus, imaging apparatus, control methods thereof, and storage medium for generating a display image based on a plurality of viewpoint images |
| JP2016178706A (en) * | 2016-07-07 | 2016-10-06 | キヤノン株式会社 | Image reproducing apparatus and control method of the same |
| JP2017092992A (en) * | 2017-02-14 | 2017-05-25 | キヤノン株式会社 | Image processing device and control method therefor |
| JP2017161941A (en) * | 2017-06-07 | 2017-09-14 | キヤノン株式会社 | Reproducer, imaging apparatus, and control method of reproducer |
| WO2019012657A1 (en) * | 2017-07-13 | 2019-01-17 | オリンパス株式会社 | Image processing device and light field imaging device |
| JP2018133094A (en) * | 2018-03-14 | 2018-08-23 | 株式会社ニコン | Image processing apparatus, image display device, and imaging device |
| JP2019041401A (en) * | 2018-10-26 | 2019-03-14 | 株式会社ニコン | Image combining device and image combining program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5875839B2 (en) | 2016-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5875839B2 (en) | Plenoptic camera | |
| JP5917125B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and display apparatus | |
| JP5499778B2 (en) | Imaging device | |
| JP6584149B2 (en) | Imaging device | |
| JP6202910B2 (en) | Video processing apparatus, control method therefor, and program | |
| JP2014023083A (en) | Display device, imaging device, and image editing program | |
| JP2014039125A (en) | Image processor, imaging device provided with image processor, image processing method, and program | |
| JPWO2013038863A1 (en) | Monocular stereoscopic photographing apparatus, photographing method and program | |
| JP2013044806A (en) | Imaging apparatus | |
| JP2013026844A (en) | Image generation method and device, program, recording medium, and electronic camera | |
| JPWO2019065260A1 (en) | Information processing equipment, information processing methods, programs, and interchangeable lenses | |
| JP6418770B2 (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium | |
| JP2014107631A (en) | Image formation method and device | |
| JP2016001853A (en) | Image processing system, imaging device, control method, and program | |
| CN104756493A (en) | Image capture device, image processing device, image capture device control program, and image processing device control program | |
| JP2014026051A (en) | Image capturing device and image processing device | |
| JP2012257105A (en) | Stereoscopic image obtaining apparatus | |
| JP2020003760A (en) | Imaging apparatus and control method of the same | |
| JP2012015619A (en) | Stereoscopic display device and stereoscopic photographing device | |
| JP5754044B2 (en) | Imaging apparatus and image communication system | |
| JP2017034682A (en) | Image generation apparatus, image processing apparatus, image generation method, and image processing program | |
| JP6400152B2 (en) | REPRODUCTION DEVICE, IMAGING DEVICE, AND REPRODUCTION DEVICE CONTROL METHOD | |
| JP2015198340A (en) | Image processing system and control method therefor, and program | |
| JP6336284B2 (en) | Image processing apparatus, control method thereof, and program | |
| JP6478536B2 (en) | Image processing apparatus and imaging apparatus, and control method and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140909 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150825 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160120 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5875839 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |