JP2015081984A - Imaging device, control method and program of the same - Google Patents
Imaging device, control method and program of the same Download PDFInfo
- Publication number
- JP2015081984A JP2015081984A JP2013219176A JP2013219176A JP2015081984A JP 2015081984 A JP2015081984 A JP 2015081984A JP 2013219176 A JP2013219176 A JP 2013219176A JP 2013219176 A JP2013219176 A JP 2013219176A JP 2015081984 A JP2015081984 A JP 2015081984A
- Authority
- JP
- Japan
- Prior art keywords
- lens
- subject
- image
- distance
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本発明は、リフォーカス可能な画像を取得することができる撮像装置に関し、特にリフォーカス可能な画像を取得することができる撮像装置による撮影時のレンズ駆動制御に関する。 The present invention relates to an imaging apparatus capable of acquiring a refocusable image, and more particularly to lens drive control during shooting by an imaging apparatus capable of acquiring a refocusable image.
現在、多くのカメラは、動く被写体の被写体距離の変化に応じてピントの合った画像を撮影できるように、撮影レンズの駆動を制御する、いわゆる動体追従の機能を有している。なお、以下の記載では、レンズ駆動制御を説明するために、撮影光学系の各部を図9に示すように定義する。また、撮影光学系に関して「ピントを合わせる」と言うときは、次のようなレンズ駆動を想定している。即ち、一般的なカメラにおいて位置が固定されている撮像面に対して、任意の被写体位置(被写体距離)の被写体のピント位置が撮像面と一致するようにレンズを駆動して像距離を調整することである。 Currently, many cameras have a so-called moving body tracking function that controls the driving of the taking lens so that a focused image can be taken in accordance with a change in the subject distance of a moving subject. In the following description, each part of the photographing optical system is defined as shown in FIG. 9 in order to explain lens drive control. Further, when “focusing” is described with respect to the photographing optical system, the following lens driving is assumed. That is, the image distance is adjusted by driving the lens so that the focus position of the subject at an arbitrary subject position (subject distance) matches the imaging plane with respect to the imaging plane whose position is fixed in a general camera. That is.
一般的な撮影光学系において、上記ピント合わせはフォーカスレンズをメカ的に駆動して行われる。レンズに限らず往復動作を行うメカの駆動においては、図10に示すように駆動信号の反転(図10においては順送りから逆送り)に即座にメカが応答できない、いわゆるバックラッシュと呼ばれる現象が発生する。バックラッシュはメカの構成上避けることのできないガタに起因している。このバックラッシュにより、メカ駆動に遅れ時間が発生する。 In a general photographing optical system, the focusing is performed by mechanically driving a focus lens. When driving a mechanical mechanism that reciprocates without limiting to the lens, as shown in FIG. 10, a phenomenon called so-called backlash occurs in which the mechanism cannot immediately respond to the reversal of the drive signal (in FIG. 10, from forward feed to reverse feed). To do. Backlash is caused by play that cannot be avoided due to the structure of the mechanism. Due to this backlash, a delay time occurs in the mechanical drive.
このバックラッシュによるメカ駆動の遅れ時間による悪影響が考えられるのは、撮影画角の奥行き方向に移動する被写体が急に移動方向を反転した場合の被写体追従動作である。例えば、至近方向に移動する被写体に対し動体追従動作によりピントを合わせ続けている時に、被写体が無限側へと急に移動方向を反転すると、バックラッシュによりレンズを即座に反転駆動することができず、その結果、ピントが外れてしまうことがある。 The adverse effect of the mechanical drive delay time due to the backlash can be considered in the subject tracking operation when the subject moving in the depth direction of the shooting angle of view suddenly reverses the moving direction. For example, when the subject moving in the close direction continues to be focused by moving object tracking operation, if the subject suddenly reverses the moving direction to the infinity side, the lens cannot be driven to reverse immediately due to backlash. As a result, the focus may be lost.
ところで、近年、多視点の視差像を取得し、画像の再構成処理(画像合成処理)によって撮影後の画像のピント位置制御が可能な撮像装置が提案されている。この再構成処理によるピント位置制御はリフォーカス処理と呼ばれ、このような処理の可能な構成の撮像装置はライトフィールドカメラなどと呼ばれている。このライトフィールドカメラにおいては、ピントが合っていないレンズ位置で撮影した画像においても、撮影後のリフォーカス処理によりピントの合った再構成画像を取得することができる。 By the way, in recent years, there has been proposed an imaging apparatus capable of acquiring multi-viewpoint parallax images and controlling the focus position of an image after shooting by image reconstruction processing (image synthesis processing). The focus position control by this reconfiguration process is called refocus process, and an imaging apparatus having such a configuration is called a light field camera. In this light field camera, a reconstructed image in focus can be acquired by refocus processing after shooting even for an image shot at a lens position out of focus.
例えば、特許文献1に開示されているようなライトフィールドカメラにおいて従来の方法によりレンズを駆動して動体追従を行った場合、ピント位置が撮像面と一致せずに、それらの間に多少のずれがあるレンズ位置で撮影した場合、ボケた画像が得られる。しかし、ライトフィールドカメラでは、撮影後のリフォーカス処理を行うことによりピントの合った画像を取得することができる。つまり、ライトフィールドカメラの構成をとることで、動体追従時にピント外れの画像取得の割合が低減される。
For example, in a light field camera as disclosed in
しかしながら、ライトフィールドカメラのリフォーカス処理にも、リフォーカス可能なピント深さには限界があるので、ピント位置と撮像面との間に一定以上のずれが生じてしまうと、リフォーカス処理でピントの合った画像を取得することができなくなる。そのため、動体追従動作時のバックラッシュに起因するピント外れの画像を取得する割合は、ライトフィールドカメラにおいても必ずしも低減できるわけではない。 However, since there is a limit to the focus depth at which refocusing can be performed for a light field camera, if a certain amount of deviation occurs between the focus position and the imaging surface, the refocus processing will focus. It will not be possible to obtain images that match. Therefore, the ratio of acquiring an out-of-focus image due to backlash during the moving body following operation is not necessarily reduced even in a light field camera.
そのため、本発明は、リフォーカス機能を有するライトフィールドカメラにおいて、ピントが外れた画像の取得割合を低減することを目的とする。 Therefore, an object of the present invention is to reduce the acquisition ratio of an out-of-focus image in a light field camera having a refocus function.
上記目的を達成するために、本発明によれば、フォーカスレンズを含む撮影光学系と、撮影光学系で形成された被写体の光学像を撮像して、リフォーカス可能な画素データを生成する撮像手段と、被写体の距離を取得する測距手段と、取得された被写体測距に基づいて決定されるレンズ位置に従って前記フォーカスレンズを駆動するレンズ駆動手段とを備えた撮像装置は、被写体距離に基づいた被写体の移動情報とレンズ駆動手段の駆動特性情報に基づいて、レンズ位置に対してリフォーカス可能な範囲内のずれ量を有する目標レンズ位置を決定し、レンズ駆動手段を制御して目標レンズ位置に従ってフォーカスレンズを駆動させる制御手段を備えることを特徴とする撮像装置。 In order to achieve the above object, according to the present invention, an imaging optical system including a focus lens and an imaging unit that captures an optical image of a subject formed by the imaging optical system and generates refocusable pixel data. An imaging device comprising: a distance measuring unit that acquires a distance of the subject; and a lens driving unit that drives the focus lens according to a lens position determined based on the acquired subject distance. Based on the movement information of the subject and the driving characteristic information of the lens driving means, a target lens position having a deviation amount within a refocusable range with respect to the lens position is determined, and the lens driving means is controlled to follow the target lens position. An imaging apparatus comprising control means for driving a focus lens.
本発明によれば、リフォーカス機能を有するライトフィールドカメラにおいて、ピントが外れた画像の取得割合を低減することができる。 According to the present invention, in a light field camera having a refocus function, it is possible to reduce the acquisition ratio of an out-of-focus image.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
以下、図1から図8を参照して、本発明の第1の実施例に係る撮像装置の構成について説明する。本実施例においては、このリフォーカス可能な範囲内の距離だけレンズ駆動位置をずらしてフォーカスレンズを駆動することでピント位置を撮像面からずらし、このずれによりバックラッシュによる動体追従遅れに対応する。具体的には、レンズ駆動の反転動作が必要になる前から予めフォーカスレンズの駆動位置を像距離の変化が遅れてしまう方向にリフォーカス可能な範囲内の像距離だけずらして駆動することで、バックラッシュによる動体追従遅れを吸収する構成をとる。 The configuration of the imaging apparatus according to the first embodiment of the present invention will be described below with reference to FIGS. In the present embodiment, the focus lens is moved by shifting the lens drive position by a distance within the refocusable range to shift the focus position from the imaging surface, and this shift corresponds to a moving object tracking delay due to backlash. Specifically, by driving the focus lens in advance by shifting the focus lens drive position by an image distance within a refocusable range in a direction in which the change in the image distance is delayed before the lens drive reversal operation is required. The structure that absorbs the moving object follow-up delay due to backlash is adopted.
図1は、本実施例に係る撮影装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ1およびレンズ2からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系3、撮像素子6を含む。本実施例では、撮影光学系3と撮像素子6、後述する撮像素子6上のマイクロレンズを併せたものが、被写体空間の視差画像を取得する視差画像取得部を構成する。また、撮影光学系3はフォーカスレンズ4、ブレ補正レンズ16、レンズ絞り17を含む。画像処理系は、画像処理部7を含む。画像処理部7は、前記視差画像取得部の取得した画像からピント位置を制御した合成画像を生成する画像生成部である。記録再生系は、メモリ部8、表示部9を含む。制御系は、カメラシステム制御部5、操作検出部10、およびレンズシステム制御部12、レンズ駆動部であるところのフォーカスレンズ駆動部13、ブレ補正レンズ駆動部14、レンズ絞り駆動部15を含む。
FIG. 1 is a block diagram illustrating an electrical configuration of a digital camera and a lens that are imaging apparatuses according to the present embodiment. A camera system including the
なお、本実施例では、カメラシステム制御部5がレンズシステム制御部12に制御信号を送ることでレンズを制御しているため、カメラシステム制御部5とレンズシステム制御部12を併せたものがレンズ制御部を構成する。また、カメラシステム制御部5と撮像素子6、画像処理部7とで測距部が構成される。また、レンズシステム制御部には、フォーカスレンズ駆動部13のバックラッシュ量を記憶する記憶部としても機能する。カメラシステム制御部5は、経時の前記測距結果にもとづいて被写体の移動方向を算出する被写体移動方向算出部、同じく経時の測距結果にもとづいて被写体の移動速度を算出する被写体移動速度算出部の機能を有する。また、被写体が現在のレンズ位置においてリフォーカス可能かどうかを判定するピント制御判定部、測距結果にもとづいて画角内の領域抽出を行う領域判定部の機能をも有する。フォーカスレンズ駆動部13は、フォーカスレンズ4を駆動し、ブレ補正レンズ駆動部14はブレ補正レンズ16を、レンズ絞り駆動部15はレンズ絞り17を駆動するよう構成されている。
In this embodiment, since the camera
撮像系は、物体からの光学像を、撮影光学系3により撮像素子6の撮像面に結像することで光電変換信号(画素信号)を生成する。撮影素子6の表面にはマイクロレンズ(以下、ML)が格子状に配置してあり、いわゆるマイクロレンズアレイ(以下、MLA)を形成している。MLAは本実施例において、瞳分割手段を構成する。被写体からの光線は、撮影光学系6とMLAを介することで、該光線の被写体面状における位置を角度とに応じて、撮像素子3の異なる画素へ入射する。これによりライトフィールド情報(画素データ)が取得される。
The imaging system generates a photoelectric conversion signal (pixel signal) by forming an optical image from an object on the imaging surface of the
画像処理部7は、内部にA/D変換器、ホワイトバランス部、ガンマ補正部、補間演算部等を有しており、記録用の画像データを生成することができる。また、特定の被写体が重なるように画素データをシフトさせて単視点画像を合成することで、任意の被写体に合焦した画像を再構成するリフォーカス処理を行う。
The
メモリ部8は、実際にデータを記憶する記録部に加えて、記録に必要な処理部を備えている。メモリ部8は、予め定められた方法を用いて、この処理回路により画像、動画、音声などの圧縮を行う。
The
カメラシステム制御部5は、撮像の際のタイミング信号などを生成して出力するとともに、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部10が検出して、撮像素子6の駆動、画像処理部7の動作、メモリ部8の圧縮処理などを制御する。さらに、カメラシステム制御部5は、表示部9によって液晶モニタ等に情報表示を行うための情報表示装置の各セグメントの状態をも制御する。
The camera
制御系による光学系の調整動作について説明する。カメラシステム制御部5には画像処理部7が接続されており、撮像素子6からの信号に基づいて、撮影条件に適切なレンズ位置や絞り値を求める。適切なレンズ位置の決定に際しては、異なる瞳の画像から、いわゆる位相差方式による測距を行い、測距結果に基づいて、レンズ位置の決定を行う。もしくは、画像処理部7の生成した異なるピント位置でリフォーカス処理した合成画像のコントラストを比較評価することで測距を行ってもよい。また、撮像素子6とは別に設けられた不図示の撮像素子を用いた位相差検出方式で測距を行ってもよい。
The adjustment operation of the optical system by the control system will be described. An
カメラシステム制御部5は、電気接点11を介してレンズシステム制御部12に指令を送信し、レンズシステム制御部12は、指令に従ってレンズ駆動部13を適切に制御する。
The camera
図2を用いて、被写体がその移動方向を反転したときの撮影光学系3における像距離反転について説明する。図2(a)、(b)において、横軸は被写体距離を、縦軸は像距離を示している。また、曲線Lは被写体にピントを合わせた時の被写体距離と像距離との関係を示している。
The image distance reversal in the photographing
図2(a)は、被写体が矢印D1で示す至近方向へと移動し、被写体距離sの時点において矢印D2で示す無限方向に反転した場合を示している。被写体にピントを合わせるためには、レンズを駆動して像距離を矢印D3で示す方向へと変化させた後に、被写体が反転する被写体距離sに対応した像距離s´の時点で、矢印D4で示す方向へと像距離が変化するように反転させなければならない。この時、前述したようにバックラッシュにより即座にレンズを反転駆動させることができず、その分、像距離の反転も遅れる。この時のピント位置と撮像面が一致せず、両者間のずれ量が大きな場合、その期間は撮影後のリフォーカス処理でもピントを合わせることができない時間領域となってしまう。 FIG. 2A shows a case where the subject moves in the close direction indicated by the arrow D1 and reverses in the infinite direction indicated by the arrow D2 at the time of the subject distance s. In order to focus on the subject, the lens is driven to change the image distance in the direction indicated by the arrow D3, and then at the time of the image distance s ′ corresponding to the subject distance s where the subject is reversed, the arrow D4 is used. It must be reversed so that the image distance changes in the direction shown. At this time, as described above, the lens cannot be driven to reverse immediately due to backlash, and the reversal of the image distance is delayed accordingly. If the focus position and the imaging surface at this time do not match and the amount of shift between the two is large, the period becomes a time region in which focus cannot be achieved even after refocusing after shooting.
ここで図3を用いて、リフォーカス処理におけるリフォーカス可能範囲について説明する。合成画像の被写界深度に対応する焦点深度を考える。リフォーカス可能範囲は光束の角度成分のサンプリングピッチや、許容錯乱円の大きさ、合成画像における1画素の大きさなどから決まる。例えば、焦点深度の許容錯乱円の大きさをε、光束の角度成分のサンプリングピッチをΔuとした時に、リフォーカスの係数α±を以下の式(1)のように与えることができる。
リフォーカスの係数α±とはリフォーカス可能範囲を求める係数であり、リフォーカス係数と像距離を用いて表されるα+・s´(s)〜α−・s´(s)が像側のリフォーカス可能範囲である。また、この像側のリフォーカス可能範囲と撮影光学系に対して共役な範囲が物体側のリフォーカス可能範囲となる。この範囲において、ピント位置と撮像面が一致しないレンズ位置での撮影でありながら、後処理によりピントの合った画像(リフォーカス画像)を画素データから再構成することができる。 The ± coefficient of refocusing alpha is a coefficient for obtaining the refocus range, α + · s'be represented using any of a refocus coefficient and the image distance (s) ~α - · s'( s) is the image side This is the refocusable range. The refocusable range on the image side and the range conjugate to the photographing optical system are the refocusable range on the object side. In this range, a focused image (refocused image) can be reconstructed from pixel data by post-processing while shooting at a lens position where the focus position and the imaging surface do not match.
本実施例は、このリフォーカス画像の再構成を利用して、バックラッシュによる動体追従遅れを吸収できるようにフォーカスレンズの駆動位置を制御する。具体的には、フォーカスレンズの駆動位置を、反転動作が必要になる前から像距離の変化が遅れてしまう方向へと予めリフォーカス可能範囲の像距離だけずらしておく。こうすることで、撮影画像は駆動位置をずらした分だけピントがボケているが、反転駆動時の実際のレンズ位置が反転位置から既にずらした像距離分だけ駆動した位置となり、ずらした分だけ動体追従遅れを吸収することができる。しかも、撮影画像のピントのボケは、撮影時にリフォーカス画像を再構成して表示することで実質修正することが可能である。 In this embodiment, the refocusing image reconstruction is used to control the driving position of the focus lens so as to absorb the moving object tracking delay due to backlash. Specifically, the drive position of the focus lens is shifted in advance by the image distance within the refocusable range in a direction in which the change in the image distance is delayed before the reversing operation is necessary. By doing this, the shot image is out of focus by the amount of shift of the drive position, but the actual lens position at the time of reverse drive becomes the position that has been driven by the image distance already shifted from the reverse position, and only by the amount of shift The moving object tracking delay can be absorbed. In addition, the out-of-focus blur of the captured image can be substantially corrected by reconstructing and displaying the refocused image at the time of capturing.
図2(a)に示す場合においては、反転方向D4へのレンズ駆動が遅れるため、矢印D4で示す方向の像距離s´(s)−ds´1へと像距離をずらしておく。このようにすることで、駆動が遅れる方向にフォーカスレンズの駆動位置をずらしているので、被写体の反転動作時に発生するバックラッシュによる駆動遅れを低減することができる。しかも、図2(a)中に示す像側リフォーカス可能範囲は被写体にピントの合う像距離s´(s)を含むため、撮影後の処理でピントの合った画像を取得することができる。ここで、リフォーカス処理を行わずにピントの合う像距離s´(s)となるレンズ位置を第1のレンズ位置とし、被写体の移動方向D1の逆方向にずれた像距離s´(s)−ds´1となるレンズ位置が目標レンズ位置とする。このように像距離をずらすことで、動体追従時にバックラッシュによるピント外れ画像取得の割合を低減できる。 In the case shown in FIG. 2A, since the lens drive in the reverse direction D4 is delayed, the image distance is shifted to the image distance s ′ (s) −ds′1 in the direction indicated by the arrow D4. By doing so, since the drive position of the focus lens is shifted in the direction in which the drive is delayed, it is possible to reduce the drive delay due to the backlash that occurs during the reversing operation of the subject. In addition, since the image-side refocusable range shown in FIG. 2A includes the image distance s ′ (s) in which the subject is in focus, an in-focus image can be acquired in the post-shooting process. Here, the lens position at which the focused image distance s ′ (s) is obtained without performing the refocus processing is set as the first lens position, and the image distance s ′ (s) shifted in the direction opposite to the moving direction D1 of the subject. The lens position where −ds′1 is set as the target lens position. By shifting the image distance in this way, it is possible to reduce the ratio of acquiring an out-of-focus image due to backlash during moving object tracking.
図2(b)は図2(a)と被写体の移動/反転方向が逆の場合である。被写体が矢印D5が示すように無限方向へと移動し、被写体距離sの時点において矢印D6が示すように至近方向に反転する。被写体にピントを合わせるためには、レンズを駆動して像距離を矢印D7の方向へと変化させた後に、被写体が反転した被写体距離sに対応した像距離s´の時点で、矢印D8の方向へと像距離が反転変化するようにレンズを反転駆動しなければならない。この時のバックラッシュの駆動遅れを低減するために、像距離をずらす方向は矢印D8の方向となるため、図2(b)の像距離s´(s)+ds´2となるレンズ位置が目標レンズ位置となる。 FIG. 2B shows a case where the moving / reversing direction of the subject is opposite to that in FIG. The subject moves in the infinite direction as indicated by the arrow D5, and reverses in the closest direction as indicated by the arrow D6 at the time of the subject distance s. In order to focus on the subject, the lens is driven to change the image distance in the direction of the arrow D7, and then at the time of the image distance s ′ corresponding to the subject distance s where the subject is inverted, the direction of the arrow D8 The lens must be driven in reverse so that the image distance changes in reverse. In order to reduce the backlash drive delay at this time, the direction in which the image distance is shifted is the direction of the arrow D8. Therefore, the lens position corresponding to the image distance s ′ (s) + ds′2 in FIG. This is the lens position.
図4を用いて、前述したレンズ位置を目標レンズ位置とした時の動体追従の一例について説明する。 An example of moving object tracking when the lens position described above is set as the target lens position will be described with reference to FIG.
図4(a)の横軸は時間であり、左側第1軸は被写体距離、右側第2軸はレンズ位置を示している。曲線41aは左側第1軸を軸とした被写体距離を示す曲線であり、至近側へ向かう移動から無限側へ向かう移動へと反転をしている。曲線41bは、右側第2軸を軸とした曲線41aで示される被写体距離の被写体にピントを合わせるためのレンズ位置を示している。レンズは、被写体側へと駆動された後に撮像面側への駆動へと反転される必要がある。短い破線の曲線42bは、右側第2軸のレンズ位置を軸としており、曲線41bに従ってレンズを駆動したときの実際のレンズ位置を示している。被写体がその移動方向を判定した後に従来の追従曲線に従ってレンズを駆動した場合の、バックラッシュによって曲線42bからずれたレンズ位置を示す曲線である。長い破線の曲線43bは右側第2軸のレンズ位置を軸としており、本実施例による動体追従を行うための追従曲線を示している。
In FIG. 4A, the horizontal axis represents time, the left first axis represents the subject distance, and the right second axis represents the lens position. A
追従曲線42bについて説明する。被写体が反転する時刻t1以前の時間においては、追従曲線42bはレンズ位置曲線41bと一致している。この時刻t1から時刻t2までの時間領域44はバックラッシュによる遅れによりレンズ位置が変化しない時間領域を示している。時刻t2においてバックラッシュがなくなり、レンズの移動が始まる。追従曲線42bは、レンズ位置曲線41bと一致するように追従するので、最大レンズ駆動速度でレンズ位置を変化させ、レンズ位置41bに追いつこうとする。そして、時刻t3においてレンズ位置曲線41bに追いつき、以後の移動位置はレンズ位置曲線41bと一致する。
The following
追従曲線43bは、図3にて示すリフォーカス可能範囲がレンズ位置曲線41bを含むように、被写体の進行方向に対して逆向きにずらしたレンズ位置を与えている。図4(a)の時刻t1以前の時間において、被写体が無限から至近へと移動しているため、レンズ位置はより無限側の被写体位置に対応するレンズ位置にずらされる。そして、反転後の時刻t2以降においては、被写体が至近から無限へと移動しているため、レンズ位置はより至近側の被写体位置に対応するレンズ位置にずらされる。
The
図4(b)を用いて、レンズ移動が追従曲線42bまたは43bに従った場合のピント位置と撮像面のずれ量について説明する。横軸は図4(a)同様に時間であり、左側第1軸はレンズ位置を、右側第2軸はピント位置と撮像面の位置との差を示している。
With reference to FIG. 4B, the amount of deviation between the focus position and the imaging surface when the lens movement follows the
曲線41bは左側第1軸を軸とする図4(a)と同様のレンズ位置曲線を示す。曲線42cは右側第2軸を軸とする追従曲線42bにて追従をした際のピント位置と撮像面のずれ量を示す。曲線43cは右側第2軸を軸とする追従曲線43bにて追従したした際のピント位置と撮像面のずれ量を示す。直線46は右側第2軸を軸としたリフォーカス可能範囲となる閾値を示しており、ピント位置と撮像面のずれ量がこの値以下であれば、撮影後のリフォーカス処理によりピントの合った画像を得ることができる。
A
まず追従曲線42bによるピント位置と撮像面のずれ量の曲線42cについて時間軸に沿って説明する。追従曲線42bは、被写体が反転しバックラッシュの影響を受ける時刻t1まではずれ量がほぼ発生しない。時刻t1以降にずれ量が生じ、その積算の結果、時刻t4においてずれ量はリフォーカス可能範囲を上回る。時刻t2においてバックラッシュによる遅れがなくなって、レンズが移動を再開するので、時刻t5においてピント位置と撮像面のずれ量は再びリフォーカス可能範囲となる閾値以下となる。時刻t3にて、追従曲線42bはレンズ位置曲線41bへと追い付くため、以後ずれはほぼなくなる。時間領域45は撮影後のリフォーカス処理でもピントの合った画像が取得できない時間領域であり、追従曲線42bで示されるレンズ移動ではバックラッシュによる遅れのためにこの時間領域45が発生してしまう。
First, the
次に追従曲線43bによるピント位置と撮像面のずれ量(41bと43bとの差)の曲線43cについて時間軸に沿って説明する。ずれ量の曲線43cは、被写体が反転しバックラッシュの影響を受ける時点t1まではずれ量が一定値ds´adjである。(ds´adjは前述のds´1もしくはds2に相当する。)時刻t1でバックラッシュが発生するため、ずれ量は変化するが予め反転側へとレンズ位置がずらされているため、バックラッシュによる遅れに起因するずれ量は追従曲線42bに比して抑えられる。41bと43bが交差するため図4(b)に示す場合では、レンズ位置が駆動可能となる時刻t2においてもずれ量はリフォーカス可能範囲となる閾値以下であり、撮影後のリフォーカス処理によってもピントの合った画像が取得できない時間領域は発生しない。しかも、曲線43bと41bが交差する点ではピントが合っている。
Next, the
以上のように、被写体の位置に対応するピント位置が撮像面からずれるようにレンズ位置を配設することで、バックラッシュの影響を受ける動体追従時にピント外れ画像取得の割合を低減することができる。 As described above, by disposing the lens position so that the focus position corresponding to the position of the subject is deviated from the imaging surface, it is possible to reduce the rate of out-of-focus image acquisition during tracking of a moving body affected by backlash. .
次に、バックラッシュによる遅れを補うためのレンズ位置のずらし量の導出について述べる。ずらし量はバックラッシュ量(例えば時間期間)だけレンズが空走する間に、被写体がどれだけ動くか(被写体の移動情報)で決定してもよい。例えば、レンズのバックラッシュ量、レンズ駆動部の駆動可能速度からガタ取りに要する時間を算出し、その時間の像側での被写体の移動速度からピント位置の移動量ds´3を算出してもよい。この時、(バックラッシュ量)÷(駆動速度)÷(像側の被写体移動速度)=(ds´3)となる。この量ds´3がピント位置をずらしたい量である。なお、算出に用いるバックラッシュ量とレンズ駆動可能速度は、レンズに固有の駆動特性情報としてのメモリ値であり、それから求められるガタ取りに要する時間も同様にメモリ値とすることができる。 Next, the derivation of the lens position shift amount to compensate for the delay due to backlash will be described. The shift amount may be determined based on how much the subject moves (subject movement information) while the lens runs idle by a backlash amount (for example, a time period). For example, the time required for the backlash removal is calculated from the backlash amount of the lens and the driveable speed of the lens driving unit, and the moving amount ds′3 of the focus position is calculated from the moving speed of the subject on the image side at that time. Good. At this time, (backlash amount) ÷ (drive speed) ÷ (image-side subject moving speed) = (ds′3). This amount ds′3 is an amount to shift the focus position. Note that the amount of backlash and the lens drivable speed used for the calculation are memory values as driving characteristic information unique to the lens, and the time required for rattling can be similarly used as the memory value.
図5は、リフォーカス処理によりピント位置をずらせる量ds´4の被写体距離依存特性を示すグラフである。ここで、ピント位置をずらせる量ds´4は、いわゆるリフォーカス可能範囲ではなく、ずらしたピント位置からリフォーカスにより被写体にピントを合わせることが可能であるずらし量を示している。ピント位置をずらせる量は|s´ref±(s)−s´(s)|と表現することができる。s´ref±(s)は、被写体に対応する像距離s´(s)をリフォーカス可能範囲に含む最も離れた至近側/無限側それぞれの方向にずらした時の像距離を示しており、リフォーカス係数α±を用いて以下の式(2)のように与えてもよい。
リフォーカスによりピント位置をずらせる量は、無限側領域においてもゼロには漸近せず、一定の幅を持ち、至近側領域で増加する。なお、被写体側でのリフォーカス可能範囲は、図9(a)に示す被写体距離と像距離の関係から、至近側で狭く、無限側で広くなる。 The amount by which the focus position is shifted by refocusing does not asymptotically approach zero even in the infinite region, has a certain width, and increases in the close region. Note that the refocusable range on the subject side is narrower on the closest side and wider on the infinite side due to the relationship between the subject distance and the image distance shown in FIG.
本発明におけるピント位置のずらし量は、ずらしたい量ds´3とずらせる量ds´4との大小関係において設定する。以下、図6の処理フローチャートに沿ってこのずらし量の設定を含む目標ピント位置の決定について説明する。 The shift amount of the focus position in the present invention is set according to the magnitude relationship between the shift amount ds′3 and the shift amount ds′4. Hereinafter, the determination of the target focus position including the setting of the shift amount will be described with reference to the process flowchart of FIG.
図6は本発明のレンズの目標ピント位置の決定を行うフローチャートである。図6に示す処理はカメラシステム制御部5において行われる。
FIG. 6 is a flowchart for determining the target focus position of the lens of the present invention. The process shown in FIG. 6 is performed by the camera
ステップS61において、カメラシステム制御部5は、フォーカスレンズ4のバックラッシュ量を取得する。このバックラッシュ量はカメラ1内のメモリ部8が値を持っていてもよいし、レンズシステム制御部12が値を持っていてもよい。
In step S <b> 61, the camera
ステップS62において、カメラシステム制御部5は、被写体の移動情報として移動方向および移動速度を取得する。これらの値は、動体追従中に取得される経時の被写体距離から、被写体移動方向算出部、被写体移動速度算出部により算出される。
In step S62, the camera
ステップS63において、カメラシステム制御部5は、レンズのバックラッシュ量および被写体移動速度から、前述したようにバックラッシュによる遅れを補うピント位置ずらし量ds´3を取得する。また、ステップ2にて取得した被写体移動方向と逆方向にずらし方向を設定する。
In step S63, the camera
ステップS64において、カメラシステム制御部5は、被写体距離の取得を行う。
In step S64, the camera
続いてステップS65において、カメラシステム制御部5は、被写体距離を用いてリフォーカスによりピント位置をずらせる量ds´4を取得する。リフォーカスによりピント位置をずらせる量も、被写体距離と撮影光学系3の構成により決まり、同様にレンズシステム制御部12から取得する情報に基づいてカメラシステム制御部5が参照テーブルから値を取得してもよい。また、前述の式(2)を用いて随時演算により求めてもよい。
Subsequently, in step S65, the camera
ステップS66においては2つの量の大小関係に基づいて条件分岐がなされる。 In step S66, a conditional branch is made based on the magnitude relationship between the two quantities.
バックラッシュによる遅れを補うピント位置ずらし量ds´3がリフォーカスによりピント位置をずらせる量ds´4に安全率を乗じた量以下である場合、ステップS67へと進む。 If the focus position shift amount ds′3 that compensates for the delay due to backlash is equal to or less than the amount ds′4 obtained by multiplying the focus position by refocus and the safety factor, the process proceeds to step S67.
ステップS67においては、バックラッシュによる遅れを補うピント位置を目標ピント位置とする。すなわち、ずらし量はds´3であり、ずらし方向は被写体移動方向と逆向きである。ここで、安全率はリフォーカスによるリフォーカス可能範囲の端の位置に、被写体に対応する本来のピント位置がくることを避けるもので、0より大きく1より小さい値とする。また、撮影光学系3の具体的な構成やレンズ駆動部の駆動特性も考慮して安全率が決定されてもよい。ステップ7にて設定される目標ピント位置において、バックラッシュによる遅れを補うことができる。
In step S67, the focus position that compensates for the delay due to backlash is set as the target focus position. That is, the shift amount is ds′3, and the shift direction is opposite to the subject moving direction. Here, the safety factor avoids the original focus position corresponding to the subject at the end of the refocusable range by refocusing, and is a value greater than 0 and less than 1. Further, the safety factor may be determined in consideration of a specific configuration of the photographing
ステップS66において、バックラッシュ遅れを補うピント位置ずらし量ds´3がリフォーカスによりピント位置をずらせる量ds´4に安全率を乗じた量より大きな場合、ステップS68へと進む。 If it is determined in step S66 that the focus position shift amount ds′3 that compensates for the backlash delay is larger than the amount ds′4 obtained by refocusing and the amount ds′4 multiplied by the safety factor, the process proceeds to step S68.
ステップS68において、ピント位置をずらせる量ds´4に前記安全率を乗じた範囲内で、バックラッシュ遅れを補う位置側に目標ピント位置をずらして設定する。ステップ8にて設定される目標ピント位置においても従来に比してバックラッシュ遅れを補うことができる。
In step S68, the target focus position is shifted and set to a position that compensates for the backlash delay within a range obtained by multiplying the amount ds'4 that shifts the focus position by the safety factor. Even at the target focus position set in
本実施例によれば、レンズの目標ピント位置を以上の手順で設定することで、バックラッシュによる遅れに起因するピント外れの画像取得の割合を低減できる。
実施例の変形例
次に、上述した実施例の変形例を、図7および8を用いて説明する。本変形例は、バックファッシュによる動体追従遅れと被写体の移動速度の速さにより、被写体がリフォーカス可能範囲から外れそうになってリフォーカス画像の再構成によるピント調整が不十分となることを補うための構成を提供する。
According to the present embodiment, the ratio of the out-of-focus image acquisition due to the delay due to the backlash can be reduced by setting the target focus position of the lens by the above procedure.
Next, a modification of the above-described embodiment will be described with reference to FIGS. This modification compensates for insufficient focus adjustment due to refocusing of the refocused image because the subject is likely to be out of the refocusable range due to the moving object follow-up delay due to backfashing and the speed of movement of the subject. Provide a configuration for.
図7は、絞りと角度成分のサンプリングピッチの関係を説明するための図である。同図は、図の左側に示すように、分割される瞳領域が2×2の場合の絞りと角度成分のサンプリングピッチの関係の例を示し、射出瞳面で瞳がどのように分割されるかを示している。 FIG. 7 is a diagram for explaining the relationship between the stop and the sampling pitch of the angle component. This figure shows an example of the relationship between the aperture and the sampling pitch of the angle component when the pupil area to be divided is 2 × 2, as shown on the left side of the figure, and how the pupil is divided on the exit pupil plane It shows.
今、射出瞳の絞りであるレンズ絞りが状態70から71へと絞られた場合を考える。この時、分割された瞳の間隔である角度成分のサンプリングピッチはΔu70からΔu71へと縮小される。この時、式(1)にて示した関係に従うと、角度成分のサンプリングピッチΔuの縮小に伴いリフォーカス可能範囲は拡大する。つまり、上記した瞳分割構成において、レンズ絞りを絞り込むことでリフォーカス可能範囲を拡大することができる。本発明において、図4(a)にて示した、被写体がリフォーカス可能範囲の外側へと外れいってしまう状況において、リフォーカス可能範囲の拡大ができれば動体追従時のピント外れ画像取得の割合をより軽減することができる。そのため、被写体がリフォーカス可能範囲から外れる間際にレンズ絞りを絞り込んで、リフォーカス可能範囲を拡大してもよい。従って、本変形例におけるレンズの目標位置の決定動作は第1の実施例と同様である。本変形例の動作は、決定されたレンズの目標位置に従ってレンズを駆動して撮影を行っているときに被写体がリフォーカス可能範囲から外れるかどうかの判断に基づいて行う。
Consider a case where the lens aperture, which is the aperture of the exit pupil, is stopped from the
被写体がリフォーカス可能範囲から外れるかどうかの判定は、測距部による測距結果と現在のレンズ位置での被写体側リフォーカス可能範囲から行うことができる。例えば、現在のレンズ位置での被写体側リフォーカス可能範囲に1以下の安全率を乗じた被写体側リフォーカス可能範囲内に、測距結果が含まれるかどうかで判定を行うことができる。これらの処理は前述したピント制御判定部であるところのカメラシステム制御部5においてなされる。従って、撮像装置の構成も第1の実施例と同様である。
Whether the subject is out of the refocusable range can be determined from the distance measurement result by the distance measuring unit and the subject-side refocusable range at the current lens position. For example, the determination can be made based on whether the distance measurement result is included in the subject-side refocusable range obtained by multiplying the subject-side refocusable range at the current lens position by a safety factor of 1 or less. These processes are performed in the camera
図8は、被写体がリフォーカス可能範囲から外れる間際にレンズ絞りを絞り込んだ場合に取得される画像説明するための図である。80a、80b、80c、80dは、時間軸に沿って撮影された画像に対して、撮影後のリフォーカスの再構成処理で主被写体81にピントを合わせるように再構成された画像を示している。81a、81b、81c、81dは、至近側へと移動中に無限側に反転する主被写体81を示している。82a、82b、82c、83dは、それぞれの画像における背景82を示している。図中に示す斜線は、画像がピントから外れてぼけている程度を模式的に示しており、斜線の間隔が狭いほどよりぼけていることを示している。
FIG. 8 is a diagram for explaining an image acquired when the lens aperture is narrowed just before the subject is out of the refocusable range.
また、再構成画像80cは、至近から無限へと反転する主被写体81に対して、バックラッシュによりレンズ駆動が追い付かずリフォーカス可能範囲から外れそうなため、レンズ絞りを絞り込んだ画像を示している。即ち、レンズ絞りが、カメラシステム制御部5が設定した絞り状態もしくはユーザーが設定した絞り状態から絞り込まれている。再構成画像80dは、バックラッシュがなくなり、レンズの駆動が再開されて主被写体81がリフォーカス可能範囲内に戻ったため、レンズ絞りを戻した状態を示している。
Further, the
今、時間軸に沿って主被写体81と背景82のボケ状態に着目する。再構成画像80a、80bにおいては、レンズ駆動およびリフォーカス処理により主被写体41にピントが合っている。再構成画像80cにおいて、レンズ駆動が追い付かなくなりリフォーカス処理ができなくなるが、レンズ絞りが絞り込まれるためリフォーカス可能範囲が拡大される。これにより主被写体41へのリフォーカス処理が可能となり、主被写体81にピントの合った再構成画像の生成が可能となる。そして、再構成画像80dにおいてレンズ駆動が主被写体81に追いつくため、主被写体81は再び本来の絞り設定値でのリフォーカス可能範囲内に戻る。そのため、レンズ絞りは本来の設定のより開いた状態へ戻され、その状態でリフォーカス処理により、主被写体81にピントの合った画像の生成が可能となる。以上のように、時間軸に沿って再構成画像80を見たときに、主被写体81のピント状態は常に合焦しており変化しない。
Attention is now paid to the blurred state of the main subject 81 and the background 82 along the time axis. In the
次に背景82へと着目する。背景82のピント状態は再構成画像80a、80bでぼけた状態にある。そして、再構成画像80cでレンズ絞りが絞りこまれることで再構成画像80a、80bでの状態に比してぼけ方の弱いものとなる。そして、再構成画像80dにおいて、レンズ絞りが再構成画像80a、80bでの絞り値に戻されるため、背景82のボケ状態も再構成画像80a、80bの状態に戻る。時間軸に沿って背景82のピント状態を見たときに、再構成画像80cにおいてのみぼけ方が弱くなる。連続して取得した画像を動画として鑑賞する場合、レンズ絞りを絞り込む時間が十分に短い時間であれば、背景82のボケ状態の不連続性は気にならないものとなる。一方で、同じく動画として鑑賞する場合においても、レンズ絞りを絞り込む時間が長くなる場合には背景82のボケ状態の不連続性は違和感を与え、無視できないものとなる。また、連続して取得した静止画像を同時に出力して鑑賞するような場合においては、同様に静止画間の違和感を与え、無視できない。そのため、このような場合には、合成画像80cに対して画像処理を施して、不連続性を緩和させることが望ましい。例えば、領域判別部であるところのカメラシステム制御部5において、測距部により取得した画角内位置毎の測距情報s(x、y)に基づいて背景82の領域を抽出し、抽出した背景82に画像処理でぼけを付与する、などの方法を適用してもよい。
Next, focus on the background 82. The focus state of the background 82 is blurred in the reconstructed
上述した本変形例によっても、リフォーカス機能を有するライトフィールドカメラにおいて、撮影時におけるピント外れ画像の撮影の割合を低減することができる。 Also according to the above-described modification, in the light field camera having the refocus function, it is possible to reduce the ratio of shooting an out-of-focus image at the time of shooting.
上述したように、本発明では、従来の動体追従の方法とは違い、常に撮像面に対して主被写体81のピント位置がずれたレンズ状態でレンズを駆動して動体追従を行う。そして、取得画像から再構成画像をリアルタイムで生成する際にリフォーカス処理を行い主被写体81にピントを合わせる。 As described above, in the present invention, unlike the conventional moving object tracking method, the moving object tracking is performed by driving the lens in a lens state in which the focus position of the main subject 81 is always deviated from the imaging surface. Then, when generating a reconstructed image from the acquired image in real time, refocus processing is performed to focus on the main subject 81.
なお、画像処理部7の処理能力が十分になく、処理に時間がかかって処理が間に合わず、リアルタイムに表示部9に主被写体81へとピントのあった画像を出力することができないことが考えられる。このような場合の対策としては、リアルタイムにはリフォーカス処理を行わず、分割された瞳の中央単視点のみを用いて再構成画像を生成してもよい。中央単視点のみからの再構成画像の生成は処理負荷が軽く、生成された画像の被写界深度は深くなるため、主被写体81のピント外れを認識しづらくすることができる。これにより、表示部9の違和感を軽減することができる。
In addition, it is considered that the processing capability of the
以上のように、本発明によれば、リフォーカス機能を有するライトフィールドカメラにおいて、撮影時におけるピント外れ画像の撮影の割合を低減することができる。 As described above, according to the present invention, in a light field camera having a refocus function, it is possible to reduce the ratio of shooting an out-of-focus image during shooting.
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。 The object of the present invention can also be achieved by supplying a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus. That is, it goes without saying that the object of the present invention can also be achieved when the computer (or CPU or MPU) of the system or apparatus reads and executes the program code stored in the storage medium.
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。 As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。 In addition, the functions of the above-described embodiment can also be realized when an OS (basic system or operating system) operating on the computer performs part or all of the actual processing based on the instruction of the program code read by the computer. Realized. Needless to say, this case is also included in the present invention.
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるCPU等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。 Furthermore, after the program code read from the storage medium is written to the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer, the processing based on the instruction of the program code is also performed. Included in the invention. That is, it goes without saying that the present invention also includes the case where the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing based on the instruction of the program code to realize the functions of the above-described embodiment. Yes.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
Claims (13)
前記撮影光学系で形成された被写体の光学像を撮像して、リフォーカス可能な画素データを生成する撮像手段と、
前記被写体の距離を取得する測距手段と、
前記取得された被写体距離に基づいて決定されるレンズ位置に従って前記フォーカスレンズを駆動するレンズ駆動手段と、
を備えた撮像装置において、
前記被写体距離に基づいた被写体の移動情報と前記レンズ駆動手段の駆動特性情報に基づいて、前記レンズ位置に対してリフォーカス可能な範囲内のずれ量を有する目標レンズ位置を決定し、前記レンズ駆動手段を制御して前記目標レンズ位置に従って前記フォーカスレンズを駆動させる制御手段を備えることを特徴とする撮像装置。 A taking optical system including a focus lens;
An imaging unit that captures an optical image of a subject formed by the imaging optical system and generates refocusable pixel data;
Ranging means for obtaining the distance of the subject;
Lens driving means for driving the focus lens according to a lens position determined based on the acquired subject distance;
In an imaging apparatus comprising:
Based on the movement information of the subject based on the subject distance and the driving characteristic information of the lens driving means, a target lens position having a deviation amount within a refocusable range with respect to the lens position is determined, and the lens driving An imaging apparatus comprising: control means for controlling the means to drive the focus lens according to the target lens position.
前記撮影光学系で形成された被写体の光学像を撮像して、リフォーカス可能な画素データを生成する撮像手段と、
前記被写体の距離を取得する測距手段と、
を備えた撮像装置の制御方法において、
前記取得された被写体測距に基づいて決定されるレンズ位置に従って前記フォーカスレンズを駆動するレンズ駆動ステップと、
前記被写体距離に基づいた被写体の移動情報と前記レンズ駆動ステップの駆動特性情報を取得し、前記取得された情報に基づいて、前記レンズ位置に対してリフォーカス可能な範囲内のずれ量を有する目標レンズ位置を決定し、前記レンズ駆動ステップを制御して前記目標レンズ位置に従って前記フォーカスレンズを駆動させる制御ステップを備えることを特徴とする制御方法。 A taking optical system including a focus lens;
An imaging unit that captures an optical image of a subject formed by the imaging optical system and generates refocusable pixel data;
Ranging means for obtaining the distance of the subject;
In a method for controlling an imaging apparatus comprising:
A lens driving step of driving the focus lens according to a lens position determined based on the acquired subject distance measurement;
The target movement information and the driving characteristic information of the lens driving step based on the subject distance are acquired, and the target having a deviation amount within a refocusable range with respect to the lens position based on the acquired information. A control method comprising: a control step of determining a lens position, controlling the lens driving step, and driving the focus lens according to the target lens position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013219176A JP6188531B2 (en) | 2013-10-22 | 2013-10-22 | Imaging apparatus, control method thereof, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013219176A JP6188531B2 (en) | 2013-10-22 | 2013-10-22 | Imaging apparatus, control method thereof, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015081984A true JP2015081984A (en) | 2015-04-27 |
JP6188531B2 JP6188531B2 (en) | 2017-08-30 |
Family
ID=53012617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013219176A Expired - Fee Related JP6188531B2 (en) | 2013-10-22 | 2013-10-22 | Imaging apparatus, control method thereof, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6188531B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016225897A (en) * | 2015-06-02 | 2016-12-28 | キヤノン株式会社 | Imaging element, imaging apparatus, control method of imaging element, program, and storage medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0560968A (en) * | 1991-09-03 | 1993-03-12 | Nikon Corp | Automatic focusing device |
JPH05142463A (en) * | 1991-05-15 | 1993-06-11 | Asahi Optical Co Ltd | Automatic focusing device |
JP2010213038A (en) * | 2009-03-11 | 2010-09-24 | Nikon Corp | Imaging apparatus |
US20120154651A1 (en) * | 2010-12-17 | 2012-06-21 | Canon Kabushiki Kaisha | Image sensing apparatus and method of controlling the image sensing apparatus |
JP2013080093A (en) * | 2011-10-04 | 2013-05-02 | Canon Inc | Imaging apparatus |
JP2013110556A (en) * | 2011-11-21 | 2013-06-06 | Olympus Corp | Prenoptic camera |
JP2013145980A (en) * | 2012-01-13 | 2013-07-25 | Canon Inc | Imaging device, control method thereof, image processing apparatus, image generation method, program |
JP2013145979A (en) * | 2012-01-13 | 2013-07-25 | Canon Inc | Image generating method, imaging device, display device, program, and storage medium |
JP2013161065A (en) * | 2012-02-09 | 2013-08-19 | Canon Inc | Imaging device |
JP2013178684A (en) * | 2012-02-28 | 2013-09-09 | Casio Comput Co Ltd | Depth estimation apparatus, reconfigured image generation device, depth estimation method, reconfigured image generation method and program |
-
2013
- 2013-10-22 JP JP2013219176A patent/JP6188531B2/en not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05142463A (en) * | 1991-05-15 | 1993-06-11 | Asahi Optical Co Ltd | Automatic focusing device |
JPH0560968A (en) * | 1991-09-03 | 1993-03-12 | Nikon Corp | Automatic focusing device |
JP2010213038A (en) * | 2009-03-11 | 2010-09-24 | Nikon Corp | Imaging apparatus |
US20120154651A1 (en) * | 2010-12-17 | 2012-06-21 | Canon Kabushiki Kaisha | Image sensing apparatus and method of controlling the image sensing apparatus |
JP2012142918A (en) * | 2010-12-17 | 2012-07-26 | Canon Inc | Imaging apparatus and control method of the same |
JP2013080093A (en) * | 2011-10-04 | 2013-05-02 | Canon Inc | Imaging apparatus |
JP2013110556A (en) * | 2011-11-21 | 2013-06-06 | Olympus Corp | Prenoptic camera |
JP2013145980A (en) * | 2012-01-13 | 2013-07-25 | Canon Inc | Imaging device, control method thereof, image processing apparatus, image generation method, program |
JP2013145979A (en) * | 2012-01-13 | 2013-07-25 | Canon Inc | Image generating method, imaging device, display device, program, and storage medium |
US20140368690A1 (en) * | 2012-01-13 | 2014-12-18 | Canon Kabushiki Kaisha | Image generation method, image generation apparatus, program, and storage medium |
JP2013161065A (en) * | 2012-02-09 | 2013-08-19 | Canon Inc | Imaging device |
JP2013178684A (en) * | 2012-02-28 | 2013-09-09 | Casio Comput Co Ltd | Depth estimation apparatus, reconfigured image generation device, depth estimation method, reconfigured image generation method and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016225897A (en) * | 2015-06-02 | 2016-12-28 | キヤノン株式会社 | Imaging element, imaging apparatus, control method of imaging element, program, and storage medium |
US10567766B2 (en) | 2015-06-02 | 2020-02-18 | Canon Kabushiki Kaisha | Image pickup apparatus, method of controlling imaging apparatus, program, and storage medium, using different compression processes for imaging and non-imaging pixel data |
Also Published As
Publication number | Publication date |
---|---|
JP6188531B2 (en) | 2017-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
US9674408B2 (en) | Image pickup apparatus that utilizes a refocusable range, image processing method, and recording medium | |
JP6335434B2 (en) | Imaging apparatus, control method thereof, and program | |
US9635280B2 (en) | Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium | |
JP5938281B2 (en) | Imaging apparatus, control method therefor, and program | |
KR102640227B1 (en) | System and method for creating background blur in camera panning or motion | |
JP2012123296A (en) | Electronic device | |
CN107864315B (en) | Image pickup apparatus, control method of image pickup apparatus, and recording medium | |
US20150055010A1 (en) | Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium | |
JP5914192B2 (en) | Imaging apparatus and control method thereof | |
JP2015109635A (en) | Imaging apparatus, control method thereof and program | |
JP2018074361A (en) | Imaging apparatus, imaging method, and program | |
JP6432038B2 (en) | Imaging device | |
JP6608194B2 (en) | Image processing apparatus, control method therefor, and program | |
US20160275657A1 (en) | Imaging apparatus, image processing apparatus and method of processing image | |
JP6188531B2 (en) | Imaging apparatus, control method thereof, and program | |
JP2014179870A (en) | Image reproducing apparatus, image reproducing method, and imaging apparatus | |
JP2014211491A (en) | Focus detection device, focus detection method and program as well as imaging device | |
JP6478587B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
US12022208B2 (en) | Imaging apparatus with multiple frame recording and control shooting period | |
JP2014135562A (en) | Image pickup device and control method thereof | |
JP2019083580A (en) | Image processing apparatus, image processing method, and program | |
JP2019168661A (en) | Controller, imaging unit, method for control, program, and storage medium | |
JP2017219697A (en) | Imaging device and control method of imaging device | |
JP2021118466A (en) | Imaging apparatus and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170801 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6188531 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |