JP6045767B1 - 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体 - Google Patents
撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体 Download PDFInfo
- Publication number
- JP6045767B1 JP6045767B1 JP2016555368A JP2016555368A JP6045767B1 JP 6045767 B1 JP6045767 B1 JP 6045767B1 JP 2016555368 A JP2016555368 A JP 2016555368A JP 2016555368 A JP2016555368 A JP 2016555368A JP 6045767 B1 JP6045767 B1 JP 6045767B1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- phase difference
- shift
- resolution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims description 17
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 238000012937 correction Methods 0.000 claims abstract description 40
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 11
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 11
- 239000003086 colorant Substances 0.000 claims description 9
- 230000015556 catabolic process Effects 0.000 abstract description 5
- 238000006731 degradation reaction Methods 0.000 abstract description 5
- 238000005286 illumination Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
位相差画素の補間誤差による解像劣化およびアーティファクトを補正することを目的として、本発明の撮像装置（１００）は、通常撮像画素と位相差検出画素とを備える撮像素子（１０１）と、撮像素子（１０１）を小数画素単位のシフト量でシフトさせるシフト部（２００）と、位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正部（１０２）と、補正後の撮像素子（１０１）の画素値をシフト量に応じた記憶領域に配置して記憶する画素記憶部（２０２）と、記憶された複数の画素値を合成して高解像画像を生成する高解像画像合成部（２０３）とを備え、シフト部（２００）が特定カラーについて高解像画像の位相差検出画素と同一画素位置に通常撮像画素の画素値を含む複数の画素値が存在するように撮像素子（１０１）をシフトし、高解像画像合成部（２０３）が特定カラーに対応する複数の画素値を所定の合成比率で合成する。
Description
本発明は、撮像装置、画像取得方法および画像取得プログラムおよび記憶媒体に関するものである。
被写体を撮像する撮像素子の一部の画素（以下、位相差画素という。）の光学特性を他の撮像画素と異ならせて焦点検出に用いることにより、焦点検出のための２次光学系を不要にした撮像装置が知られている（例えば、特許文献１参照。）。
位相差画素は通常の撮像画素と開口等が異なり、撮像画素とは異なる画素値が取得されてしまうため、周辺の画素値との連続性が失われて、そのまま通常の画像化処理を行うと傷があるように見えてしまう。この問題を解決する手法として、位相差画素の位置に相当する画素値を周辺の撮像画素の画素値を用いた補間により補正する方法が知られている。
位相差画素は通常の撮像画素と開口等が異なり、撮像画素とは異なる画素値が取得されてしまうため、周辺の画素値との連続性が失われて、そのまま通常の画像化処理を行うと傷があるように見えてしまう。この問題を解決する手法として、位相差画素の位置に相当する画素値を周辺の撮像画素の画素値を用いた補間により補正する方法が知られている。
また、撮像素子をずらして撮影した複数枚の低解像なベイヤー配列画像を高解像領域上に配置して、より高解像な画像を取得する技術（以下、画素ずらし超解像という。）が知られている（例えば、特許文献２参照。）。
位相差画素による像面焦点検出ができる装置で画素ずらし超解像を実行すると、位相差画素を通常の撮像画素に変更することは困難であり、補間により補正された画素値を利用せざるを得ない。しかし、画素値の空間的変動が激しい被写体領域では撮像画素であれば得られた画素値に対して誤差を有する場合が多く、画素ずらし超解像で得られる高解像度画像の解像が劣化する場合がある。また、画素ずらし超解像では、複数枚の低解像度画像の撮影時間が異なることから発生する画素値変動によるアーティファクトが発生する場合がある。
本発明は上述した事情に鑑みてなされたものであって、位相差画素の補間誤差による解像劣化および低解像度画像間の画素値変動によるアーティファクトの両方を補正することができる撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体を提供することを目的としている。
本発明の一態様は、複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子と、該撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフト部と、前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正部と、該位相差画素補正部による補正後の前記撮像素子の各前記画素の画素値を前記シフト部のシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶部と、該画素記憶部に記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成部とを備え、前記シフト部が、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトし、前記高解像画像合成部が、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する撮像装置である。
本態様によれば、通常撮像画素と位相差検出画素とを備える撮像素子をシフト部によりシフトさせて撮像を繰り返し、位相差画素により取得された画素値を位相差画素補正部により通常撮像画素相当に補正した後に、画素記憶部によりシフト部のシフト方向およびシフト量に応じた記憶領域に配置して記憶し、記憶領域に記憶された複数の画素の画素値が高解像画像合成部により合成されることにより、撮像素子の解像度より高い解像度の高解像画像が生成される。
この場合において、高解像画像の位相差検出画素と同一画素位置に、特定カラーに対応する通常撮像画素の画素値を含む複数の画素値が存在するようにシフト部が撮像素子をシフトさせ、高解像画像合成部が、特定カラーに対応する複数の画素値を所定の合成比率で合成するので、高解像画像の合成において位相差検出画素の画素値を用いることなく通常撮像画素の画素値を用いて高解像画像を合成することができ、解像の劣化を防止することができる。また、同一のタイミングでは取得されない複数画素の画素値を合成することにより、照明等の変動による画素値差の発生を低減し、アーティファクトの発生を抑制することができる。
上記態様においては、前記高解像画像合成部が、前記高解像画像における少なくとも位相差検出画素に対応する位置において、前記合成比率を、その位置のコントラストに基づいて制御してもよい。
コントラストが大きい領域では、位相差検出画素の補間による補正の誤差が大きくなり易く、照明等の変動による画素値差は目立ちにくい。また、コントラストが小さい領域では、位相差検出画素の補間による補正の誤差は小さく、照明等の変動による画素値差が目立ち易くなる。したがって、コントラストに基づいて合成比率を制御することにより、補正の誤差、および、照明等の変動による画素値差の影響を抑えることができる。
コントラストが大きい領域では、位相差検出画素の補間による補正の誤差が大きくなり易く、照明等の変動による画素値差は目立ちにくい。また、コントラストが小さい領域では、位相差検出画素の補間による補正の誤差は小さく、照明等の変動による画素値差が目立ち易くなる。したがって、コントラストに基づいて合成比率を制御することにより、補正の誤差、および、照明等の変動による画素値差の影響を抑えることができる。
上記態様においては、同じカラーにおいて複数の画素値が存在する画素の画素値から、その位置の動体度合を検出する動体検出部を備え、前記高解像画像合成部が、前記合成比率を、その位置の動体度合に基づいて制御してもよい。
このようにすることで、動体が存在する領域では、撮像タイミングと配置の関係から動体の画素値と背景の画素値とが空間方向に不連続に配置されるので、動体度合に基づいて複数の画素値の合成比率を制御することにより、画像の乱れが平均されて乱れ具合を低減することができる。
このようにすることで、動体が存在する領域では、撮像タイミングと配置の関係から動体の画素値と背景の画素値とが空間方向に不連続に配置されるので、動体度合に基づいて複数の画素値の合成比率を制御することにより、画像の乱れが平均されて乱れ具合を低減することができる。
また、上記態様においては、前記動体検出部が、前記位相差検出画素の補正された画素値を前記動体度合の検出に用いなくてもよい。
このようにすることで、位相差検出画素の位置では動体検出の精度が低下するので、この画素値を用いないことにより、動体度合の検出を精度よく行うことができる。
このようにすることで、位相差検出画素の位置では動体検出の精度が低下するので、この画素値を用いないことにより、動体度合の検出を精度よく行うことができる。
また、本発明の他の態様は、複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとを含み、前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトし、前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する画像取得方法である。
また、本発明の他の態様は、複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとをコンピュータに実行させる画像取得プログラムであって、前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトさせ、前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する画像取得プログラムである。
また、本発明の他の態様は、複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとをコンピュータに実行させる画像取得プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体であって、前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトさせ、前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する記憶媒体である。
本発明によれば、位相差画素の補間誤差による解像劣化および低解像度画像間の画素値変動によるアーティファクトの両方を補正することができるという効果を奏する。
本発明の一実施形態に係る撮像装置１００および画像取得方法について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１００は、図１に示されるように、撮像素子１０１と、位相差画素補正部１０２と、シフト機構（シフト部）２００と、シフト制御部２０１と、画素記憶部２０２と、高解像画像合成部２０３とを備えている。
本実施形態に係る撮像装置１００は、図１に示されるように、撮像素子１０１と、位相差画素補正部１０２と、シフト機構（シフト部）２００と、シフト制御部２０１と、画素記憶部２０２と、高解像画像合成部２０３とを備えている。
撮像素子１０１は、図２に示されるように、複数のカラーＧｒ，Ｇｂ，Ｒ，Ｂのカラーフィルタを有するベイヤー配列の撮像画素（以下、Ｇｒ画素、Ｇｂ画素、Ｒ画素、Ｂ画素という。）と、Ｇｒ画素の一部を縦横１つおきに置き換えた位相差画素Ｐｈとを備えている。位相差画素Ｐｈは、例えば、カラーフィルタの代わりにオフセットさせたスリット（図示略）を配置することにより、位相差画像情報を取得することができるようになっている。
位相差画素補正部１０２は、撮像素子１０１から受け取った画素値に基づいて、位相差画素の画素値を補間により補正するようになっている（位相差画素補正ステップ）。
シフト機構２００は、撮像素子１０１をその光軸中心に直交する２方向、例えば、撮像素子１０１の中心軸が図１に示されるように略水平に配置されている場合に、中心軸に直交する水平方向および鉛直方向に小数画素単位でシフトさせることができるようになっている。
シフト機構２００は、撮像素子１０１をその光軸中心に直交する２方向、例えば、撮像素子１０１の中心軸が図１に示されるように略水平に配置されている場合に、中心軸に直交する水平方向および鉛直方向に小数画素単位でシフトさせることができるようになっている。
シフト制御部２０１は、シフト機構２００によって撮像素子１０１をシフトさせる方向とシフト量とを撮像ごとに制御するようになっている（シフトステップ）。
画素記憶部２０２は、シフト制御部２０１により制御されたシフト方向およびシフト量に基づき、位相差画素補正部１０２からの画素値データを所定位置に配置するようになっている（画素記憶ステップ）。
画素記憶部２０２は、シフト制御部２０１により制御されたシフト方向およびシフト量に基づき、位相差画素補正部１０２からの画素値データを所定位置に配置するようになっている（画素記憶ステップ）。
高解像画像合成部２０３は、画素記憶部２０２で配置された画素値に後述の合成処理を施して高解像な静止画像を合成し出力するようになっている（高解像画像合成ステップ）。
図示しない光学系が被写体からの光を集光し、撮像素子１０１の像面上に被写体の光学像を形成すると、撮像素子１０１は、画素ごとに、その位置に入射した被写体の光学像に対応した画素値を出力するようになっている。
図示しない光学系が被写体からの光を集光し、撮像素子１０１の像面上に被写体の光学像を形成すると、撮像素子１０１は、画素ごとに、その位置に入射した被写体の光学像に対応した画素値を出力するようになっている。
位相差画素補正部１０２は、撮像素子１０１からの画素値のうち、位相差画素Ｐｈの画素値を、その近辺の通常撮像画素の画素値を用いて補間し、画素値Ｇｐを算出するようになっている。
補間手法は、斜め方向に隣接する４つのＧｂ画素の画素値を平均する簡単な方法や、画素値の連続方向を検出して補間に利用する画素値を選択する複雑な方法等がある。複雑な方法ほど補間誤差を抑制できるが装置への実装は困難になるため、画質劣化との兼ね合いで選択すればよい。
補間手法は、斜め方向に隣接する４つのＧｂ画素の画素値を平均する簡単な方法や、画素値の連続方向を検出して補間に利用する画素値を選択する複雑な方法等がある。複雑な方法ほど補間誤差を抑制できるが装置への実装は困難になるため、画質劣化との兼ね合いで選択すればよい。
シフト制御部２０１は、図５Ａおよび図５Ｂに示されるように、市松模様に構成される高解像配置領域の同一位置に、Ｇｒ画素またはＧｐ画素と、Ｇｂ画素とが１つずつ配置されるように制御するようになっている。Ｇｒ画素、Ｇｐ画素およびＧｂ画素は特定カラーＧに対応する画素である。
図４に本実施形態に係る撮像装置１００におけるシフト制御部２０１による制御方法を示す。
図４に本実施形態に係る撮像装置１００におけるシフト制御部２０１による制御方法を示す。
撮像枚数Ｎが、Ｎ＝８で縦横２倍の高解像度画像を生成するとき、図２のベイヤー配列構造を持つ撮像素子１０１を、図４に示すように１枚目を基準として、
２枚目はＸ方向に０．５画素、Ｙ方向に０．５画素、
３枚目はＸ方向に１．０画素、Ｙ方向に０．０画素、
４枚目はＸ方向に１．５画素、Ｙ方向に０．５画素、
５枚目はＸ方向に１．０画素、Ｙ方向に１．０画素、
６枚目はＸ方向に１．５画素、Ｙ方向に１．５画素、
７枚目はＸ方向に０．０画素、Ｙ方向に１．０画素、
８枚目はＸ方向に０．５画素、Ｙ方向に１．５画素
に相当する分だけシフトしながら８枚を時系列に撮像し低解像度画像を取得するようになっている。
２枚目はＸ方向に０．５画素、Ｙ方向に０．５画素、
３枚目はＸ方向に１．０画素、Ｙ方向に０．０画素、
４枚目はＸ方向に１．５画素、Ｙ方向に０．５画素、
５枚目はＸ方向に１．０画素、Ｙ方向に１．０画素、
６枚目はＸ方向に１．５画素、Ｙ方向に１．５画素、
７枚目はＸ方向に０．０画素、Ｙ方向に１．０画素、
８枚目はＸ方向に０．５画素、Ｙ方向に１．５画素
に相当する分だけシフトしながら８枚を時系列に撮像し低解像度画像を取得するようになっている。
このようにして取得された低解像度画像を、位相差画素補正部１０２で補正した後に、画素記憶部２０２により画素配置すると、図５Ａから図５Ｄに示すような高解像配置データとなる。図５Ａから図５Ｄは、図３の縦横４画素分が配置された範囲を図示している。
図５Ａは、１枚目から８枚目のＧｒ画素またはＧｐ画素が配置された高解像配置データを表す（画素内の数値は撮像枚目を示す）。また、図５Ｂは、１枚目から８枚目のＧｂ画素が配置された高解像配置データを表す。
同一位置にＧｒ画素またはＧｐ画素と、Ｇｂ画素が１つずつ配置されており、少なくとも１つは通常の撮像画素によるカラーＧの画素である。また、Ｒ画素とＢ画素についても、同様に市松模様に配置された高解像配置データが得られる（図５Ｃおよび図５Ｄ）。
高解像画像合成部２０３は、画素記憶部２０２で生成された（ＧｒまたはＧｐ、Ｇｂ、Ｒ、Ｂの市松状の）高解像配置データから、ＲＧＢ三板データを生成するようになっている。
ここで、ＲＧＢカラーのうちＧの値は、同一位置のＧｒまたはＧｐとＧｂとを加重平均して１つの画素値Ｇｓとするようになっている。
ここで、ＲＧＢカラーのうちＧの値は、同一位置のＧｒまたはＧｐとＧｂとを加重平均して１つの画素値Ｇｓとするようになっている。
位相差画素に由来するＧｐ画素の位置におけるＧｂ画素の加算重みＷ＿Ｇｂ（０から１）は以下のように算出されるようになっている。
まず、Ｇｐ画素位置近傍のＧｂ画素の画素値から、その位置の局所コントラスト値を算出する。ここで、Ｇｂ画素を利用するのは、一般的にＧカラーが輝度値として代用できることと、本実施形態では位相差画素が存在しないからである。
まず、Ｇｐ画素位置近傍のＧｂ画素の画素値から、その位置の局所コントラスト値を算出する。ここで、Ｇｂ画素を利用するのは、一般的にＧカラーが輝度値として代用できることと、本実施形態では位相差画素が存在しないからである。
ここでは、その位置を中心とした５×５画素の範囲の最大値Ｇｂ＿ｍａｘと最小値Ｇｂ＿ｍｉｎを探し出し、
コントラスト値ｃｏｎｔｒ＝Ｇｂ＿ｍａｘ−Ｇｂ＿ｍｉｎ
として算出する。
コントラスト値ｃｏｎｔｒ＝Ｇｂ＿ｍａｘ−Ｇｂ＿ｍｉｎ
として算出する。
Ｇｂ側の重み：Ｗ＿Ｇｂ＝ｆ１（ｃｏｎｔｒ）
ここで、関数ｆ１は、図６のように、コントラストが大きいほど１．０に、コントラストが小さいほど０．５になるような関数である。関数ｆ１は、画像のノイズレベルや補間の手法などに応じて調整すればよい。
ここで、関数ｆ１は、図６のように、コントラストが大きいほど１．０に、コントラストが小さいほど０．５になるような関数である。関数ｆ１は、画像のノイズレベルや補間の手法などに応じて調整すればよい。
また、位相差画素に由来しないＧｒ画素の位置では、Ｗ＿Ｇｂ＝０．５とする。
そして、加重平均値Ｇｓは、
Ｇｓ＝Ｇｂ＊Ｗ＿Ｇｂ＋Ｇｒ＊（１．０−Ｗ＿Ｇｂ） （１）
となる。
そして、加重平均値Ｇｓは、
Ｇｓ＝Ｇｂ＊Ｗ＿Ｇｂ＋Ｇｒ＊（１．０−Ｗ＿Ｇｂ） （１）
となる。
理想的な状況では、位相差画素位置ではＧｂのみ利用すればよいが、同一位置のＧｒ画素とＧｂ画素は構成上同一タイミングには取得されないため、照明等の変動で画素値差が発生することがあり、Ｇｒ画素とＧｂ画素の画素値を平均することで、この画素値差が出力画像にアーティファクトとして現れるのを抑制する効果がある。
コントラストが大きい領域では位相差画素補間値の誤差が大きくなりやすいため、Ｇｂ画素の画素値の重みを重くすることで本来の値に近づき、被写体本来の解像を再現することができる。他方、照明等の変動による画素値差はコントラストが高い領域では目立ちにくい。
逆に、コントラストが小さい領域では補間による誤差は小さく、逆に位相差画素位置のみＧｂ画素になると、照明等の変動による差がＧｂ画素とＧｒ画素の画素値が均等平均されている周辺との間で目立つことになるため、周囲と同様にＧｒ画素の画素値と均等に平均したほうが好ましい。
高解像画像合成部２０３は、このように生成されたＧｓ，Ｒ，Ｂの市松模様上に画素値が存在しない位置を補間してＲＧＢ三板データとして出力するようになっている。最後に、図示しない画像処理部は、ＲＧＢ三板データを受取り、階調変換などの処理をして表示や保存用の出力画像を生成する。
このように、本実施形態に係る撮像装置１００によれば、市松模様に構成される高解像配置データの同一位置に、Ｇｒ画素またはＧｐ画素と、Ｇｂ画素とが１つずつ配置されるようにシフト方向およびシフト量を制御し、得られた画素値をその画素の局所コントラストに応じた重みで加重平均するので、位相差画素の補間誤差を補正することができるとともに、低解像度画像間に発生する変動も効果的に補正することができるという利点がある。これにより、アーティファクトの発生を抑制しつつ解像の劣化を防止することができる。
これに対して、特許文献１では、位相差画素の補正制御で、空間周波数の高さ（標準偏差／平均値）を利用している。空間周波数はコントラストと一部類似する概念ではあるが、コントラストより算出方法が複雑で多量の計算が必要である。本実施形態によれば、周波数が高くても振幅成分が小さい場合は補正による誤差はあまり目立たない傾向があるため、コントラストの利用には利点がある。
また、Ｇ画素のコントラストによる加重平均は、位相差画素のみに限定する必要はなく、画像の連続性向上のために全Ｇ画素について行ってもよい。この場合でも、Ｇｂ画素のみ利用すると、各画素位置の撮像タイミングが異なるために、照明等の変動による差がＧｂ高解像配置データ上で隣接画素間の画素値差として現れるため、Ｇｒ画素の画素値との平均は有効である。
なお、本実施形態においては、図７に示されるように。さらに動体検出部２０４を備えていてもよい。
動体検出部２０４は、画素記憶部２０２からの高解像配置データから、画素ごとに複数枚の低解像画像撮影中に動体が存在したか否かを検出するようになっている。
動体検出部２０４は、画素記憶部２０２からの高解像配置データから、画素ごとに複数枚の低解像画像撮影中に動体が存在したか否かを検出するようになっている。
そして、動体検出部２０４において、動体が存在することが検出された領域では、低解像画像の撮像と動体の移動とのタイミングによって、Ｇｂ画素とＧｒ画素の画素値が動体と背景のどちらかに別れる画素が存在し、その差分値が大きくなることを利用して、動体の存在した可能性が高いほど大きくなる値（動体度合、Ｐｍｏｖｅ）を画素毎に生成するようになっている。
この際、位相差画素の位置では、画素値の補間誤差により差分値が大きくなって動体が存在していないのに動体度合が大きくなることがあるため、動体検出をしないことが望ましい。必要であれば、位相差画素の位置の動体度合の空間的補間をしてもよい。
動体が存在することが検出された領域では、撮像タイミングと配置の関係から、動体と背景の画素値が空間方向に不連続に配置されるため、Ｇｂ画素の高解像配置データは動体と背景が空間方向で入り混じった乱れた画像となり、かつ、Ｇｂ画素により算出されるコントラストが大きな値となることがある。
例えば、低解像撮像中の１から４枚目は背景、５から８枚目に動体、となった領域では、図５ＢのＧｂ画素の高解像配置データにおいて、背景の画素値と動体の画素値とが２行ごとに交互に配置されることになる。また、この時、図５ＡのＧｒ画素の高解像配置データでは背景と動体が逆になる。
例えば、低解像撮像中の１から４枚目は背景、５から８枚目に動体、となった領域では、図５ＢのＧｂ画素の高解像配置データにおいて、背景の画素値と動体の画素値とが２行ごとに交互に配置されることになる。また、この時、図５ＡのＧｒ画素の高解像配置データでは背景と動体が逆になる。
この領域ではＧｒ画素の高解像配置データも同様に乱れているが、同一画素位置のＧｂ画素とは撮影タイミングが異なるため、Ｇｂ画素の画素値とＧｒ画素の画素値とを均等に平均することで乱れ具合を低減することができる。
これを実現するには、式（１）におけるコントラストによるＧｂ重みＷ＿Ｇｂを、動体度合Ｐｍｏｖｅが大きいほどを０．５に近づける処理を行えばよい。
Ｗ＿Ｇｂ＝ｆ２（Ｗ＿Ｇｂ，Ｐｍｏｖｅ）
関数ｆ２の例を図８に示す。関数ｆ２は、動体の性質等に応じて調整すればよい。
これを実現するには、式（１）におけるコントラストによるＧｂ重みＷ＿Ｇｂを、動体度合Ｐｍｏｖｅが大きいほどを０．５に近づける処理を行えばよい。
Ｗ＿Ｇｂ＝ｆ２（Ｗ＿Ｇｂ，Ｐｍｏｖｅ）
関数ｆ２の例を図８に示す。関数ｆ２は、動体の性質等に応じて調整すればよい。
上記実施形態においては、縦横２倍の解像度に拡大する場合として説明しているが、シフト機構２００のサブピクセルシフトの制御精度が十分であるなら、拡大倍率は２倍以上に設定してもよい。また、撮像素子１０１のシフト制御部２０１によるシフト方向の順番やシフト量も任意のパターンに設定してもよい。
さらには、上記実施形態ではＧ画素にのみ位相差画素がある場合を示したが、本発明はＧ画素だけに限らずその他のカラーフィルタに位相差画素がある撮像素子でも適用できる。
また、本実施形態に係る画像取得方法は、上記のような撮像装置１００によって実施される場合の他、コンピュータにより実行することができる画像取得プログラムによっても実施することができる。この場合、ＣＰＵ等のプロセッサが画像取得プログラムを実行することで、本実施形態に係る画像取得方法が実施される。
具体的には記憶媒体に記憶された画像取得プログラムが読み出され、読み出された画像取得プログラムがＣＰＵ等のプロセッサにより実行される。ここで、記憶媒体は、プログラムやデータ等を格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ハードディスクドライブあるいはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。
１００ 撮像装置
１０１ 撮像素子
１０２ 位相差画素補正部
２００ シフト機構（シフト部）
２０２ 画素記憶部
２０３ 高解像画像合成部
２０４ 動体検出部
１０１ 撮像素子
１０２ 位相差画素補正部
２００ シフト機構（シフト部）
２０２ 画素記憶部
２０３ 高解像画像合成部
２０４ 動体検出部
Claims (7)
- 複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子と、
該撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフト部と、
前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正部と、
該位相差画素補正部による補正後の前記撮像素子の各前記画素の画素値を前記シフト部のシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶部と、
該画素記憶部に記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成部とを備え、
前記シフト部が、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトし、
前記高解像画像合成部が、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する撮像装置。 - 前記高解像画像合成部が、前記高解像画像における少なくとも位相差検出画素に対応する位置において、前記合成比率を、その位置のコントラストに基づいて制御する請求項１に記載の撮像装置。
- 同じカラーにおいて複数の画素値が存在する画素の画素値から、その位置の動体度合を検出する動体検出部を備え、
前記高解像画像合成部が、前記合成比率を、その位置の動体度合に基づいて制御する請求項２に記載の撮像装置。 - 前記動体検出部が、前記位相差検出画素の補正された画素値を前記動体度合の検出に用いない請求項３に記載の撮像装置。
- 複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、
前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、
該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、
該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとを含み、
前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトし、
前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する画像取得方法。 - 複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、
前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、
該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、
該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとをコンピュータに実行させる画像取得プログラムであって、
前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトさせ、
前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する画像取得プログラム。 - 複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、
前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、
該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、
該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとをコンピュータに実行させる画像取得プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトさせ、
前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する記憶媒体。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/079597 WO2017068652A1 (ja) | 2015-10-20 | 2015-10-20 | 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6045767B1 true JP6045767B1 (ja) | 2016-12-14 |
| JPWO2017068652A1 JPWO2017068652A1 (ja) | 2017-10-19 |
Family
ID=57543994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016555368A Active JP6045767B1 (ja) | 2015-10-20 | 2015-10-20 | 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9742986B2 (ja) |
| JP (1) | JP6045767B1 (ja) |
| CN (1) | CN106912199B (ja) |
| WO (1) | WO2017068652A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
| TWI616771B (zh) * | 2016-04-25 | 2018-03-01 | 宏碁股份有限公司 | 殭屍網路偵測系統及其方法 |
| US10114980B2 (en) * | 2016-07-21 | 2018-10-30 | Acronis International Gmbh | System and method for verifying data integrity using a blockchain network |
| WO2021024577A1 (ja) * | 2019-08-06 | 2021-02-11 | ソニー株式会社 | 撮像制御装置と撮像制御方法とプログラムおよび撮像装置 |
| WO2021167116A1 (ko) * | 2020-02-18 | 2021-08-26 | 엘지전자 주식회사 | 카메라 장치, 및 이를 구비하는 전자 기기 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06292094A (ja) * | 1993-04-02 | 1994-10-18 | Nippon Telegr & Teleph Corp <Ntt> | 撮像装置 |
| JP2011075677A (ja) * | 2009-09-29 | 2011-04-14 | Fujifilm Corp | 撮像装置及び撮像方法 |
| JP2014236244A (ja) * | 2013-05-30 | 2014-12-15 | 株式会社ニコン | 画像処理装置、画像処理プログラム、およびデジタルカメラ |
| WO2015053080A1 (ja) * | 2013-10-10 | 2015-04-16 | オリンパス株式会社 | 撮像装置及び撮像方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6570613B1 (en) * | 1999-02-26 | 2003-05-27 | Paul Howell | Resolution-enhancement method for digital imaging |
| JP5250232B2 (ja) | 2007-10-04 | 2013-07-31 | 株式会社日立製作所 | 画像信号処理装置、画像信号処理方法及び画像表示装置 |
| US8089557B2 (en) | 2007-10-04 | 2012-01-03 | Hitachi, Ltd. | Video signal processing apparatus, video signal processing method and video display apparatus |
| JP5371331B2 (ja) | 2008-09-01 | 2013-12-18 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
| KR101499540B1 (ko) * | 2008-10-24 | 2015-03-06 | 삼성전자주식회사 | 이미지 촬상 장치와 이를 이용한 이미지 처리 방법 |
| JP2010237400A (ja) | 2009-03-31 | 2010-10-21 | Sony Corp | 撮像装置および焦点検出方法 |
| JP5361535B2 (ja) * | 2009-05-25 | 2013-12-04 | キヤノン株式会社 | 撮像装置 |
| CN101996597B (zh) * | 2009-08-18 | 2013-11-13 | 夏普株式会社 | 显示装置、校正系统、作成装置、决定装置及其方法 |
| CN102870028B (zh) | 2010-04-28 | 2015-11-25 | 富士胶片株式会社 | 成像装置 |
| JP5572700B2 (ja) * | 2010-04-30 | 2014-08-13 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| JP5589146B2 (ja) * | 2011-12-28 | 2014-09-10 | 富士フイルム株式会社 | 撮像素子及び撮像装置 |
| JP6263035B2 (ja) * | 2013-05-17 | 2018-01-17 | キヤノン株式会社 | 撮像装置 |
| US8917327B1 (en) * | 2013-10-04 | 2014-12-23 | icClarity, Inc. | Method to use array sensors to measure multiple types of data at full resolution of the sensor |
-
2015
- 2015-10-20 CN CN201580015059.0A patent/CN106912199B/zh active Active
- 2015-10-20 JP JP2016555368A patent/JP6045767B1/ja active Active
- 2015-10-20 WO PCT/JP2015/079597 patent/WO2017068652A1/ja active Application Filing
-
2016
- 2016-10-12 US US15/292,060 patent/US9742986B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06292094A (ja) * | 1993-04-02 | 1994-10-18 | Nippon Telegr & Teleph Corp <Ntt> | 撮像装置 |
| JP2011075677A (ja) * | 2009-09-29 | 2011-04-14 | Fujifilm Corp | 撮像装置及び撮像方法 |
| JP2014236244A (ja) * | 2013-05-30 | 2014-12-15 | 株式会社ニコン | 画像処理装置、画像処理プログラム、およびデジタルカメラ |
| WO2015053080A1 (ja) * | 2013-10-10 | 2015-04-16 | オリンパス株式会社 | 撮像装置及び撮像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106912199B (zh) | 2018-07-10 |
| WO2017068652A1 (ja) | 2017-04-27 |
| CN106912199A (zh) | 2017-06-30 |
| US9742986B2 (en) | 2017-08-22 |
| JPWO2017068652A1 (ja) | 2017-10-19 |
| US20170111566A1 (en) | 2017-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10636126B2 (en) | Image processing device, imaging apparatus, image processing method, image processing program, and recording medium | |
| JP6045767B1 (ja) | 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体 | |
| US10389952B2 (en) | Image-processing device which generates a high-resolution image by combining images, imaging device, image-processing method, and storage-medium | |
| US9420175B2 (en) | Image processing system, image processing method, and computer-readable medium | |
| JP5847228B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP5655626B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP5740465B2 (ja) | 撮像装置及び欠陥画素補正方法 | |
| US10491815B2 (en) | Image-processing apparatus, image-processing method, and non-transitory computer readable medium storing image-processing program | |
| US11445109B2 (en) | Image processing device, image capturing device, image processing method, and storage medium | |
| US11146746B2 (en) | Image processing device, image capturing device, image processing method, and storage medium | |
| JP6326180B1 (ja) | 画像処理装置 | |
| US20170195574A1 (en) | Motion compensation for image sensor with a block based analog-to-digital converter | |
| JP5398750B2 (ja) | カメラモジュール | |
| JPWO2011132279A1 (ja) | 画像処理装置、方法、及び記録媒体 | |
| JP2008235958A (ja) | 撮像装置 | |
| US11792544B2 (en) | Image processing device, image processing method, and imaging device for generation of high-resolution image | |
| JP4708180B2 (ja) | 画像処理装置 | |
| JP2013055622A (ja) | 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム | |
| JP2012138806A (ja) | 撮像装置及び撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160901 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160901 |
|
| TRDD | Decision of grant or rejection written | ||
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20161021 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161115 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6045767 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |