JP2017199995A - 画像処理装置、撮像装置、画像処理方法、および、プログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、および、プログラム Download PDF

Info

Publication number
JP2017199995A
JP2017199995A JP2016087820A JP2016087820A JP2017199995A JP 2017199995 A JP2017199995 A JP 2017199995A JP 2016087820 A JP2016087820 A JP 2016087820A JP 2016087820 A JP2016087820 A JP 2016087820A JP 2017199995 A JP2017199995 A JP 2017199995A
Authority
JP
Japan
Prior art keywords
frame
unit
motion
amount
cut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016087820A
Other languages
English (en)
Other versions
JP6759680B2 (ja
Inventor
幸直 見城
Yukinao Kenjo
幸直 見城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016087820A priority Critical patent/JP6759680B2/ja
Priority to US16/085,676 priority patent/US10979653B2/en
Priority to PCT/JP2017/003096 priority patent/WO2017187691A1/ja
Publication of JP2017199995A publication Critical patent/JP2017199995A/ja
Application granted granted Critical
Publication of JP6759680B2 publication Critical patent/JP6759680B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)

Abstract

【課題】フレームメモリを用いて画像処理を行う装置において、フレームメモリの容量を削減する。【解決手段】画像処理装置は、切り出し処理部、フレームメモリおよび合成処理部を具備する。切り出し処理部は、入力フレームが撮像部により撮像されるたびに撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す。フレームメモリは、現在切出しフレームを過去切出しフレームとして保持する。合成処理部は、現在切出しフレームと過去切出しフレームとを合成して合成フレームとして出力する。【選択図】図３

Description

本技術は、画像処理装置、撮像装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、フレームメモリにフレームを保持する画像処理装置、撮像装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。
従来より、画像を撮像する撮像装置においては画像の画質を向上させる目的で、電子手ブレ補正や画像合成処理などの画像処理が行われている。これらの処理のうち電子手ブレ補正は、フレーム内において切り出す領域のサイズを予め定めておき、手ブレの方向に沿って、その領域を初期位置から移動させて切り出す処理である。また、画像合成処理は、ダイナミックレンジの拡大やノイズの低減を目的として、複数のフレームを合成する処理である。このような画像処理を行う装置として、例えば、フレームメモリで遅延させたフレームと遅延前のフレームとを合成して合成フレームを生成し、その合成フレームに対して、さらに電子手ブレ補正を行う画像処理装置が提案されている（例えば、特許文献１参照。）。
特開２００９−２３２３８２号公報
上述の従来技術では、フレームメモリを用いた合成処理の後に電子手ブレ補正が行われる。しかしながら、この構成では、画像の解像度が高くなるほど、合成に必要なフレームメモリの容量が大きくなるという問題がある。このフレームメモリの容量が増大すると、合成処理に要する計算量や、撮像装置のコストが上昇するため、フレームメモリの容量は小さいことが望ましい。
本技術はこのような状況に鑑みて生み出されたものであり、フレームメモリを用いて画像処理を行う装置において、フレームメモリの容量を削減することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す切り出し処理部と、前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部とを具備する画像処理装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムである。これにより、フレームの合成前に入力フレームの一部が切り出されるという作用をもたらす。
また、この第１の側面において、連続する２枚の前記合成フレームのそれぞれの露光タイミングの一方から他方までの期間内の前記撮像部の動き量を合成フレーム間動き量として取得する動き量取得部と、前記合成フレーム間動き量に基づいて前記合成フレームの一部を出力フレームとして切り出す合成フレーム補正部とをさらに具備してもよい。これにより、合成フレーム間動き量に基づいて合成フレームの一部が出力フレームとして切り出されるという作用をもたらす。
また、この第１の側面において、連続する２枚の前記現在切り出しフレームの一方の露光タイミングと他方の露光タイミングとの間の起点タイミングから前記一方の露光タイミングまでの期間内の前記撮像部の動き量を合成フレーム内動き量として取得する動き量取得部をさらに具備し、前記切り出し処理部は、前記合成フレーム内動き量に基づいて前記現在切り出しフレームを切り出して前記保持部に供給してもよい。これにより、合成フレーム内動き量に基づいて現在切り出しフレームが切り出されるという作用をもたらす。
また、この第１の側面において、前記合成フレーム間動き量は、前記合成フレーム間動き量の演算を開始する第１の開始タイミングから前記起点タイミングまでの第１の予測期間内の前記動き量を示す第１の予測値を含み、前記動き量取得部は、前記第１の開始タイミングまでの前記動き量に基づいて前記第１の予測値を取得してもよい。これにより、第１の開始タイミングまでの動き量に基づいて第１の予測値が取得されるという作用をもたらす。
また、この第１の側面において、前記第１の予測期間の長さは、所定の閾値を超えなくてもよい。これにより、閾値以下の第１の予測期間内の動き量が取得されるという作用をもたらす。
また、この第１の側面において、前記合成フレーム内動き量は、前記合成フレーム内動き量の演算を開始する第２の開始タイミングから前記起点タイミングまでの第２の予測期間内の前記動き量を示す第２の予測値を含み、前記動き量取得部は、前記第２の開始タイミングまでの前記撮像部の動き量に基づいて前記第２の予測値を取得してもよい。これにより、第２の開始タイミングまでの動き量に基づいて第２の予測値が取得されるという作用をもたらす。
また、この第１の側面において、前記第２の予測期間の長さは、前記所定の閾値を超えなくてもよい。これにより、閾値以下の第２の予測期間内の動き量が取得されるという作用をもたらす。
また、この第１の側面において、連続する２枚の前記現在切り出しフレームに基づいて被写体が動いた方向を示す動きベクトルを検出する被写体動き検出部をさらに具備し、前記合成処理部は、前記動きベクトルに基づいて前記現在切出しフレームと前記過去切出しフレームとを合成してもよい。これにより、動きベクトルに基づいて現在切出しフレームと過去切出しフレームとが合成されるという作用をもたらす。
また、本技術の第２の側面は、入力フレームを撮像する撮像部と、前記入力フレームが撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す入力フレーム切り出し処理部と、前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部とを具備する撮像装置。これにより、フレームの合成前に入力フレームの一部が切り出されるという作用をもたらす。
また、この第２の側面において、前記撮像部の動きを検出するセンサをさらに具備してもよい。これにより、センサにより検出された動きに基づいて入力フレームの一部が切り出されるという作用をもたらす。
本技術によれば、フレームメモリを用いて画像処理を行う装置において、フレームメモリの容量を削減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の実施の形態における撮像装置の斜視図の一例である。 本技術の実施の形態における画像処理部の一構成例を示すブロック図である。 本技術の実施の形態におけるカメラ動き演算部の一構成例を示すブロック図である。 本技術の実施の形態におけるカメラ動き演算部の動作の一例を示すタイミングチャートである。 本技術の実施の形態における予測演算について説明するための図である。 本技術の実施の形態における補正量演算部の一構成例を示すブロック図である。 本技術の実施の形態における手ブレ補正量演算部の一構成例を示すブロック図である。 本技術の実施の形態における切り出し処理部の一構成例を示すブロック図である。 本技術の実施の形態における被写体動き検出部の一構成例を示すブロック図である。 本技術の実施の形態における画像合成部の一構成例を示すブロック図である。 本技術の実施の形態における入力フレーム、切り出しフレームおよび出力フレームのそれぞれのサイズの一例を示す図である。 比較例における入力フレームと、回転補正後のフレームと、出力フレームとのそれぞれのサイズの一例を示す図である。 本技術の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の実施の形態の第１の変形例における画像処理部の一構成例を示すブロック図である。 本技術の実施の形態の第２の変形例における画像処理部の一構成例を示すブロック図である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれの効果をまとめた図である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれの合成処理時のフレームメモリ使用量を比較するための図である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれの手ブレ補正時のフレームメモリ使用量を比較するための図である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の合成処理時のフレームメモリ使用量の具体例である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の手ブレ補正時のフレームメモリ使用量の具体例である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の合成処理時のフレームメモリ使用量を示すグラフである。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝４の合成処理時のフレームメモリ使用量の具体例である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝４の合成処理時のフレームメモリ使用量を示すグラフである。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量を比較するための図である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量の具体例である。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量を示すグラフである。 本技術の実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝４の被写体動き検出時の計算量の具体例である。 本技術の実施の形態の第３の変形例におけるＮ＝２の際のカメラ動き演算部の動作の一例を示すタイミングチャートである。 本技術の実施の形態の第３の変形例におけるＮ＝４の際のカメラ動き演算部の動作の一例を示すタイミングチャートである。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．実施の形態（フレームの一部を切り出してから合成する例）
２．第１の変形例
３．第２の変形例
４．第３の変形例
＜１．実施の形態＞
［撮像装置の構成例］
図１は、実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データ（フレーム）を撮像するものであり、撮像レンズ１１０、撮像素子１２０、動き検出センサ１３０、画像処理部２００、記録部１４０および制御部１５０を備える。撮像装置１００としては、デジタルスチルカメラやデジタルビデオカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータなどが想定される。
撮像レンズ１１０は、光を集光して撮像素子１２０に導くレンズである。撮像素子１２０は、制御部１５０の制御に従って撮像レンズ１１０からの入射光を光電変換して画像データを撮像するものである。この撮像素子１２０は、画像データを入力フレームとして画像処理部２００に信号線１２９を介して供給する。なお、撮像レンズ１１０および撮像素子１２０を含むユニットは、特許請求の範囲に記載の撮像部の一例である。
動き検出センサ１３０は、撮像装置１００の動きを検出するものである。例えば、単位時間内に撮像装置１００が回転した角度（言い換えれば、角速度）を検出するジャイロセンサが動き検出センサ１３０として用いられる。動き検出センサ１３０は、単位時間ごとに、その時間内の回転角度を測定し、その測定値を示すセンサ信号を画像処理部２００に信号線１３９を介して供給する。なお、動き検出センサ１３０は、特許請求の範囲に記載のセンサの一例である。
画像処理部２００は、制御部１５０の制御に従って、入力フレームに対する所定の画像処理をセンサ信号を用いて行うものである。この画像処理部２００は、画像処理後のフレームを出力フレームとして記録部１４０に信号線２０９を介して供給する。
記録部１４０は、出力フレームを記録するものである。制御部１５０は、撮像装置１００全体を制御するものである。この制御部１５０は、撮像制御信号を撮像素子１２０に信号線１５８を介して供給し、画像処理を行うタイミングを示すタイミング信号を画像処理部２００に信号線１５９を介して供給する。
ここで、撮像制御信号は、撮像タイミングを示す垂直同期信号Ｖｓｙｎｃや、露光期間などを含む。垂直同期信号Ｖｓｙｎｃの周波数は、例えば、３０ヘルツ（Ｈｚ）である。なお、垂直同期信号Ｖｓｙｎｃの周波数は、３０ヘルツ（Ｈｚ）に限定されず、６０ヘルツ（Ｈｚ）などであってもよい。
図２は、実施の形態における撮像装置１００の斜視図の一例である。この撮像装置１００の光軸をｚ軸とする。また、ｚ軸に直交し、撮像素子１２０の長辺に平行な軸をｘ軸とし、ｚ軸およびｘ軸に直交する軸をｙ軸とする。動き検出センサ１３０は、単位時間が経過するたびに、その単位時間内にｚ軸周りに撮像装置１００が回転した角度をロール角として測定する。また、動き検出センサ１３０は、単位時間内にｘ軸周りに撮像装置１００が回転した角度をピッチ角として測定し、ｙ軸周りに回転した角度をヨー角として測定する。
なお、動き検出センサ１３０は、３軸の全てについて角度を測定しているが、２軸のみについて角度を測定してもよい。また、動き検出センサ１３０は、角度を測定しているが、撮像装置１００の動きを検出することができるのであれば、角度以外の物理量を測定してもよい。例えば、動き検出センサ１３０は、ｘ軸方向やｙ軸方向の加速度を測定してもよい。
［画像処理部の構成例］
図３は、実施の形態における画像処理部２００の一構成例を示すブロック図である。この画像処理部２００は、カメラ動き演算部２１０、補正量演算部２２０、切り出し処理部２４０、被写体動き検出部２５０、画像合成部２６０および回転補正部２７０を備える。
カメラ動き演算部２１０は、センサ信号に対する演算により撮像装置１００の一定期間内の動き量を取得するものである。このカメラ動き演算部２１０は、演算結果を補正量演算部２２０に供給する。なお、カメラ動き演算部２１０は、特許請求の範囲に記載の動き量取得部の一例である。
補正量演算部２２０は、カメラ動き演算部２１０の演算結果を用いて、切り出し処理部２４０および回転補正部２７０において切り出し領域の初期位置からの補正量を演算するものである。この補正量は、ｘ成分、ｙ成分およびロール角成分を含む。ｘ成分は、切り出し領域をｘ軸方向に沿って平行移動させる際の移動量であり、ｙ成分は、その領域をｙ軸方向に沿って平行移動させる際の移動量である。ロール角成分は、フレームの一部を回転させる際の回転角度である。補正量演算部２２０は、ｘ成分およびｙ成分を切り出し処理部２４０に供給し、ロール角成分を回転補正部２７０に供給する。
切り出し処理部２４０は、入力フレームが撮像されるたびに補正量（ｘ成分およびｙ成分）に基づいて入力フレームの一部を切り出すものである。この入力フレームにおいては、所定サイズの切り出し領域が予め設定される。切り出し処理部２４０は、ｘ軸に沿ってｘ成分だけ切り出し領域を初期位置から平行移動し、ｙ軸に沿ってｙ成分だけ切り出し領域を初期位置から平行移動する。そして、切り出し処理部２４０は、平行移動後の切り出し領域を入力フレームから切り出しフレームとして切り出す。切り出し処理部２４０は、その切り出しフレームを被写体動き検出部２５０に供給する。
被写体動き検出部２５０は、連続する複数の切り出しフレームから、被写体の動きベクトルを検出するものである。この被写体動き検出部２５０は、例えば、フレーム間差分法やブロックマッチング法を用いて、連続する複数の切り出しフレームから動被写体を検出し、その動被写体が動いた方向および距離を示す動きベクトルを求める。被写体動き検出部２５０は、動きベクトルを画像合成部２６０に供給する。
画像合成部２６０は、連続するＮ（Ｎは２以上の整数）枚の切り出しフレームを合成するものである。この画像合成部２６０は、Ｎ枚ごとに１枚の合成フレームを生成し、合成フレームとして回転補正部２７０に供給する。
前述の撮像素子１２０は、垂直同期信号Ｖｓｙｎｃに同期して、そのＶｓｙｎｃの周期内にＮ枚のフレームを撮像する。例えば、Ｎ＝２とし、垂直同期信号Ｖｓｙｎｃを３０ヘルツ（Ｈｚ）とすると、１秒間に６０枚の入力フレームが撮像され、１秒間に３０枚の合成フレームが生成される。
回転補正部２７０は、補正量（ロール角成分）に基づいて合成フレーム内の一部の切り出し領域を回転させるものである。この回転補正部２７０は、回転後の切り出し領域を出力フレームとして切り出して記録部１４０に出力する。なお、回転補正部２７０は、特許請求の範囲に記載の合成フレーム補正部の一例である。
［カメラ動き演算部の構成例］
図４は、実施の形態におけるカメラ動き演算部２１０の一構成例を示すブロック図である。このカメラ動き演算部２１０は、予測演算部２１１と、合成フレーム間動き量積分器２１２と、Ｎ個の合成フレーム内動き量積分器２１３とを備える。
予測演算部２１１は、所定の予測期間の前のセンサ信号の履歴に基づいて、その予測期間内の撮像装置１００の動き量を算出するための関数を求めるものである。予測演算部２１１は、例えば、予測期間前のセンサ信号の時間的変動を表す曲線に最もよくフィッティングするｍ次多項式を求める。この予測演算部２１１は、求めたｍ次多項式の係数を合成フレーム間動き量積分器２１２とＮ個の合成フレーム内動き量積分器２１３とに供給する。
合成フレーム間動き量積分器２１２は、連続する２つの合成フレームの間の積算期間Ｐｍ０内の撮像装置１００の動き量ｍ０を演算するものである。この動き量ｍ０は、ピッチ角成分、ヨー角成分およびロール角成分を含む。また、動き量ｍ０の演算は、その積算期間Ｐｍ０の終了前に開始される。このため、合成フレーム間動き量積分器２１２は、ｍ０の演算の開始時点から積算期間Ｐｍ０の終了時点までの予測期間内の動き量を予測する必要がある。
そこで、合成フレーム間動き量積分器２１２は、予測期間内の動き量をｍ次多項式を用いて演算し、予測期間までの動き量の積算値に加算する。合成フレーム間動き量積分器２１２は、加算した値を動き量ｍ０として補正量演算部２２０に供給する。
合成フレーム内動き量積分器２１３は、合成対象のＮ枚の切り出しフレームのうちｎ（ｎは、１乃至Ｎの整数）番目について動き量ｍｎを演算するものである。まず、Ｎ枚のうち最初の露光期間の重心のタイミングＴｃ１と、Ｎ枚目の露光期間の重心のタイミングＴｃＮとの間の特定のタイミングが起点タイミングＴｓとして設定される。
ｎ枚目の露光期間の重心のタイミングＴｃｎとすると、起点タイミングＴｓからＴｃｎまでの積算期間内の動き量がｍｎとして演算される。ここで、動き量ｍｎの演算の開始タイミングが、対応する積算期間の終了タイミングよりも前である場合に合成フレーム内動き量積分器２１３は、その終了タイミングまでの動き量を予測する必要がある。一方、動き量ｍｎの演算の開始タイミングが、対応する積算期間の終了タイミングよりも後の場合には、動き量を予測する必要が無い。合成フレーム内動き量積分器２１３は、必要に応じてｍ次多項式により予測演算を行って動き量ｍｎを求め、補正量演算部２２０に供給する。
図５におけるａは、実施の形態におけるカメラ動き演算部２１０の動作の一例を示すタイミングチャートである。垂直同期信号Ｖｓｙｎｃは、一定の周期で立ち上がる。例えば、タイミングＴｖ１、Ｔｖ２およびＴｖ３で垂直同期信号Ｖｓｙｎｃが立ち上がる。
Ｎ＝２とした場合、垂直同期信号Ｖｓｙｎｃの周期内に、２枚の入力フレームが撮像される。タイミングＴｖ１からタイミングＴｖ２までの間に撮像された２枚の入力フレームのそれぞれの露光期間の重心のタイミングをＴｃ１１、Ｔｃ１２とする。また、タイミングＴｖ_２からタイミングＴｖ３までの間に撮像された２枚の入力フレームのそれぞれの露光期間の重心のタイミングをＴｃ２１、Ｔｃ２２とする。また、Ｔｃ１１およびＴｃ１２の中間のタイミングを起点タイミングＴｓ１とし、Ｔｃ２１およびＴｃ２２の中間のタイミングを起点タイミングＴｓ２とする。
動き検出センサ１３０は、垂直同期信号Ｖｓｙｎｃより短い周期が経過するたびに動きを検出してセンサ信号を出力する。
合成フレーム間動き量積分器２１２は、起点タイミングＴｓ１から起点タイミングＴｓ２までの積算期間の動き量をｍ０として演算する。一方、１枚目に対応する合成フレーム内動き量積分器２１３は、起点タイミングＴｓ２からタイミングＴｃ２１までの調整期間内の動き量をｍ１として演算する。
また、２枚目に対応する合成フレーム内動き量積分器２１３は、起点タイミングＴｓ２からタイミングＴｃ２２までの調整期間内の動き量を動き量ｍ２として演算する。
ここで、動き量ｍ１の演算は、合成対象の２枚のうち１枚目において１ライン目の露光が終了するタイミングＴＬ２１までに完了する必要がある。このタイミングＴＬ２１以降に、１枚目のフレームの保持が開始され、この保持の際に、動き量ｍ１により切り出し領域が調整されるためである。また、この１枚目のフレームの補正量の演算には、動き量ｍ１に加えて動き量ｍ０も用いられる。このため、動き量ｍ０もタイミングＴＬ２１までに完了する必要がある。
そこで、合成フレーム間動き量積分器２１２は、タイミングＴＬ２１よりも、ｍ０の演算に要する時間だけ前のタイミングＴｍ０において動き量ｍ０の演算を開始する。このタイミングＴｍ０は、例えば、ｍ０の積算期間の終了時Ｔｓ２よりも前である。このため、合成フレーム間動き量積分器２１２は、タイミングＴｍ０から起点タイミングＴｓ２までの予測期間内の動き量を予測値として予測演算する必要がある。合成フレーム間動き量積分器２１２は、起点タイミングＴｓ１からタイミングＴｍ０までのセンサ信号の積算により動き量の実測値を求め、その実測値を予測値に加算してｍ０とする。同図における斜線の期間は、予測期間を示す。
また、合成フレーム内動き量積分器２１３は、タイミングＴＬ２１よりも、ｍ１の演算に要する時間だけ前のタイミングＴｍ１において動き量ｍ１の演算を開始する。このタイミングＴｍ１は、例えば、起点タイミングＴｓ２よりも前である。このため、合成フレーム内動き量積分器２１３は、タイミングＴｍ１から起点タイミングＴｓ２までの予測期間内の動き量を予測値として予測演算する必要がある。合成フレーム内動き量積分器２１３は、タイミングＴｃ２１からタイミングＴｍ１までのセンサ信号の積算により動き量の実測値を求め、予測値に加算してｍ１を演算する。同図における斜線の期間は、予測期間を示す。
また、動き量ｍ２の演算は、合成対象の２枚のうち２枚目のフレームの１ライン目の露光が終了するタイミングまでに完了すればよい。例えば、合成フレーム内動き量積分器２１３は、タイミングＴｃ２２に動き量ｍ２の演算を開始する。このタイミングＴｃ２２は、起点タイミングＴｓ２の後である。このため、合成フレーム内動き量積分器２１３は、予測演算を行わず、起点タイミングＴｓ２からタイミングＴｃ２２までのセンサ信号の積算により動き量ｍ２を求める。
切り出し処理部２４０は、演算された動き量ｍ１およびｍ２に応じて、連続する２枚のフレームのそれぞれの切り出し領域を平行移動させて切り出す。これらの動き量ｍ１およびｍ２は、共通のタイミング（Ｔｓ２）を起点としているため、２枚のフレームで同じ被写体が写った領域に、それぞれのフレームの切り出し領域の位置を合わせることができる。
ここで、切り出し処理部２４０が、タイミングＴｃ２１からタイミングＴｃ２２までの長さＬの期間内の動き量に応じて合成対象の２枚目のフレームの切り出し領域を平行移動することも考えられる。この場合は、１枚目のフレームにおいてもタイミングＴｃ２１までの長さＬの期間内の動き量に応じて切り出し領域が平行移動される。しかし、この方法では、１枚目の予測演算の必要がなくなる一方で、１枚目および２枚目のそれぞれの切り出し領域の平行移動の移動量が大きくなってしまう。実際には、一定の枠内でしか切り出し領域を移動できないため、移動量が大きいと合成において位置合わせの精度が低下するおそれがある。また、合成結果の時刻重心を大きく外して、合成フレーム間の電子手ブレ補正の精度が大きく劣化するおそれがある。
これに対して、撮像装置１００では、タイミングＴｃ２１およびＴｃ２２の中間の起点タイミングＴｓ２からＴｃ２１やＴｃ２２までの動き量に応じて切り出し領域を平行移動しているため、切り出し領域の移動量を比較的小さくすることができる。したがって、合成における位置合わせの精度を高くすることができる。また、合成フレーム間の電子手ブレ補正の精度の低下を防止することができる。
なお、動き量ｍ０、ｍ１の演算を行うタイミングＴｍ０、Ｔｍ１を起点タイミングＴｓ２よりも前としているが、このタイミングに限定されない。例えば、長時間露光のフレームと短時間露光のフレームとを画像合成部２６０が合成する場合（いわゆる、ハイダイナミックレンジ合成）がある。このハイダイナミックレンジ合成において長時間露光のフレームが最初のフレームである場合には図５におけるｂに例示するように、Ｔｍ０、Ｔｍ１が起点タイミングＴｓ２よりも後になることがあり、その際は予測演算が不要となる。
図６は、実施の形態における予測演算について説明するための図である。前述したように、合成フレーム間動き量積分器２１２は、動き量ｍ０の積算期間の終了時（Ｔｓ２）よりも前のタイミングＴｍ０において動き量ｍ０の演算を開始する必要がある。このため、合成フレーム内動き量積分器２１３は、タイミングＴｍ０から起点タイミングＴｓ２までの期間内の動き量を予測演算する。
予測演算においては、タイミングＴｍ０までのセンサ信号の軌跡に最もよくフィッティングするｍ次多項式が用いられる。同図における黒丸は、実測されたセンサ信号のプロットを示し、白丸は、ｍ次多項式から演算された値のプロットを示す。
［補正量演算部の構成例］
図７は、実施の形態における補正量演算部２２０の一構成例を示すブロック図である。この補正量演算部２２０は、手ブレ補正量演算部２３０と、Ｎ個の合成フレーム内補正量演算部２２１とを備える。
手ブレ補正量演算部２３０は、動き量ｍ０から、連続する２枚の合成フレーム間の動き量に応じた補正量ｓ０を演算するものである。この動き量ｓ０は、ｘ成分、ｙ成分およびロール角成分を含む。手ブレ補正量演算部２３０は、動き量ｓ０のｘ成分およびｙ成分であるｓ０（ｘ、ｙ）をＮ個の合成フレーム内補正量演算部２２１に供給する。また、手ブレ補正量演算部２３０は、動き量ｓ０のロール角成分であるｓ０（Ｒｏｌｌ）を回転補正部２７０に供給する。
合成フレーム内補正量演算部２２１は、動き量ｍｎおよび補正量ｓ０（ｘ、ｙ）から、合成対象のＮ枚のうちｎ番目のフレームの補正量ｓｎを演算するものである。この補正量ｓｎは、ｘ成分、ｙ成分およびロール角成分を含む。合成フレーム内補正量演算部２２１は、例えば、動き量ｍｎのピッチ角成分およびヨー角成分をｘ成分およびｙ成分に変換する。そして、合成フレーム内補正量演算部２２１は、次の式を用いて補正量ｓｎを演算して切り出し処理部２４０に供給する。
ｓｎ（ｘ）＝ｓ０（ｘ）＋ｍｎ（ｘ）
ｓｎ（ｙ）＝ｓ０（ｙ）＋ｍｎ（ｙ）
上式において、ｓｎ（ｘ）は、補正量ｓｎのｘ成分であり、ｓ０（ｘ）は、補正量ｓ０のｘ成分である。また、ｍｎ（ｘ）は、動き量ｍｎのｘ成分である。ｓｎ（ｙ）は、補正量ｓｎのｙ成分であり、ｓ０（ｙ）は、補正量ｓ０のｙ成分である。また、ｍｎ（ｙ）は、動き量ｍｎのｙ成分である。
［手ブレ補正量演算部の構成例］
図８は、実施の形態における手ブレ補正量演算部２３０の一構成例を示すブロック図である。この手ブレ補正量演算部２３０は、座標変換部２３１、切り出し位置決定部２３２を備える。切り出し位置決定部２３２は、ハイパスフィルタ２３３、カメラワーク推定部２３４、理想切り出し位置決定部２３５、および、補正枠内制限処理部２３６を備える。
座標変換部２３１は、例えば、次の式により動き量ｍ０のピッチ角成分およびヨー角成分をｘ成分およびｙ成分に変換するものである。
ｍ０（ｘ）＝Ｌｘ×ｔａｎ｛ｍ０（Ｙａｗ）｝
ｍ０（ｙ）＝Ｌｙ×ｔａｎ｛ｍ０（Ｐｉｔｃｈ）｝
上式において、ＬｘおよびＬｙは、レンズの焦点距離により決定される係数である。また、ｔａｎ（）は、正接関数である。ｍ０（Ｙａｗ）は、動き量ｍ０のヨー角成分であり、ｍ０（Ｐｉｔｃｈ）は、動き量ｍ０のピッチ角成分である。
座標変換部２３１は、変換後のｍ０（ｘ、ｙ）をハイパスフィルタ２３３、カメラワーク推定部２３４および理想切り出し位置決定部２３５に供給する。
ハイパスフィルタ２３３は、ｍ０（ｘ、ｙ）において所定のカットオフ周波数より高い周波数の成分を高周波数成分ＨＰＦ（ｍ０）として通過させるものである。ハイパスフィルタ２３３は、高周波数成分ＨＰＦ（ｍ０）を理想切り出し位置決定部２３５に供給する。
カメラワーク推定部２３４は、撮影者により特定の撮影操作（例えば、パン撮影）が行われたか否かを推定するものである。カメラワーク推定部２３４は、推定結果を示す係数Ｒ２を生成し、理想切り出し位置決定部２３５に供給する。この係数Ｒ２は、例えば、「０」乃至「１」の実数であり、パン撮影に類似する操作であるほど「１」に近い値が設定される。
理想切り出し位置決定部２３５は、次の式を使用して、補正量ｓ０'を算出するものである。この補正量ｓ０'は、ｘ成分およびｙ成分を含む。理想切り出し位置決定部２３５は、算出した補正量ｓ０'を補正枠内制限処理部２３６に供給する。
ｓ'（ｋ）＝ｓ０（ｋ−１）＋Ｒ１・｛ＨＰＦ（ｍ０）
＋Ｒ１・（１−Ｒ２）・{ｍ０-ＨＰＦ（ｍ０）}
上式において、Ｒ２は、手ブレ補正係数であり、「０」乃至「１」の実数が設定される。ｓ０'（ｋ）は、ｋ番目のフレームの補正量であり、ｓ０'（ｋ−１）は、ｋ−１番目のフレームの補正量ｓ０である。これらのうちｓ'（ｋ）が、今回のｓ０'として出力される。
補正枠内制限処理部２３６は、切り出し領域の位置を一定の補正枠内に制限するものである。例えば、ｘ軸上の補正枠のサイズは、±ｃｘであり、ｙ軸上の補正枠のサイズは、±ｃｙである。補正枠内制限処理部２３６は、補正量ｓ０'のｘ成分およびｙ成分に対して制限処理を行い、制限処理後のｘ成分およびｙ成分と、動き量ｍ０のロール角成分ｍ０（Ｒｏｌｌ）とを含む補正量をｓ０として出力する。この補正量ｓ０のｘ成分およびｙ成分であるｓ０（ｘ、ｙ）は、Ｎ個の合成フレーム内補正量演算部２２１に入力され、残りのロール角成分ｓ０（Ｒｏｌｌ）は、回転補正部２７０に入力される。
ここで、ｃｘは、ｓｘ−ｒｘに該当し、ｃｙは、ｓｙ−ｒｙに該当する。ｓｘおよびｓｙは、電子手ブレ補正全体のｘ軸およびｙ軸における補正枠のサイズである。ｒｘおよびｒｙは、電子手ブレ補正のうち、回転補正時のｘ軸およびｙ軸における補正枠のサイズである。
［切り出し処理部の構成例］
図９は、実施の形態における切り出し処理部２４０の一構成例を示すブロック図である。この切り出し処理部２４０は、セレクタ２４１、補正量選択制御部２４２および位置合わせ処理部２４３を備える。
補正量選択制御部２４２は、Ｎ個の補正量ｓｎのいずれかを示す選択信号ＳＥＬをセレクタ２４１に供給するものである。この補正量選択制御部２４２は、制御部１５０からのタイミング信号に基づいてＮ枚のうちｎ番目のフレームが撮像された際にｎ番目の補正量を示す選択信号ＳＥＬを生成する。
セレクタ２４１は、選択信号ＳＥＬに従ってＮ個の補正量ｓｎのいずれかを選択するものである。このセレクタ２４１は、選択した補正量ｓｎのｘ成分およびｙ成分であるｓ'（ｘ、ｙ）を位置合わせ処理部２４３に供給し、残りのロール角成分ｓ'（Ｒｏｌｌ）を被写体動き検出部２５０を介して画像合成部２６０に供給する。
位置合わせ処理部２４３は、入力フレームが入力されるたびに、その入力フレームにおいて補正量ｓ'（ｘ、ｙ）により切り出し領域の位置を補正し、補正後の切り出し領域を切り出すものである。この位置合わせ処理部２４３は、切り出した領域を切り出しフレームとして被写体動き検出部２５０に供給する。
［被写体動き検出部の構成例］
図１０は、被写体動き検出部２５０の一構成例を示すブロック図である。この被写体動き検出部２５０は、ゲイン調整部２５１、調整後動き検出部２５２およびフレームメモリ２５３を備える。
ゲイン調整部２５１は、切り出しフレームにおいて画素値を所定のゲインにより調整するものである。このゲイン調整部２５１は、調整後の切り出しフレームをフレームメモリ２５３および調整後動き検出部２５２に供給する。フレームメモリ２５３は、切り出しフレームを保持するものである。また、ゲイン調整前の切り出しフレームは、ゲイン調整部２５１の他、画像合成部２６０にも供給される。
調整後動き検出部２５２は、フレームメモリ２５３に保持された過去の切り出しフレームと、ゲイン調整部２５１からの現在の切り出しフレームとから、被写体の動きベクトルを検出するものである。この調整後動き検出部２５２は、検出した動きベクトルを画像合成部２６０に供給する。
［画像合成部の構成例］
図１１は、実施の形態における画像合成部２６０の一構成例を示すブロック図である。この画像合成部２６０は、画像合成処理部２６１およびフレームメモリ２６２を備える。
フレームメモリ２６２は、Ｎ−１枚の切り出しフレームを保持するものである。画像合成処理部２６１は、被写体動き検出部２５０からの現在の切り出しフレームと、フレームメモリ２６２に保持された過去の切り出しフレームとを合成するものである。
画像合成処理部２６１は、まず、被写体動き検出部２５０により検出された動きベクトルに基づいて合成対象のＮ枚の切り出しフレームのうち、動きベクトルに対応するものを平行移動させて一定の枠内で位置合わせを行う。そして、画像合成処理部２６１は、位置合わせ後のＮ枚のフレームのそれぞれにおいて対応する画素値の平均値を求め、その平均値の画素からなる合成フレームを生成する。これにより、映像信号に混在するノイズを低減することができる。このような合成処理は、３次元ノイズリダクションと呼ばれる。画像合成処理部２６１は、合成後のフレームを合成フレームとして回転補正部２７０に供給する。なお、画像合成処理部２６１は、特許請求の範囲に記載の合成処理部の一例である。
なお、画像合成部２６０は、３次元ノイズリダクション以外の合成処理（ハイダイナミックレンジ合成など）を行ってもよい。ハイダイナミックレンジ合成において、撮像素子１２０は、露光時間の異なる複数の切り出しフレームを撮像し、画像合成部２６０は、それらのフレームにおいて対応する画素値を加算して合成フレームを生成する。これにより、ダイナミックレンジを合成前よりも拡大することができる。
図１２は、実施の形態における入力フレーム、切り出しフレームおよび出力フレームのそれぞれのサイズの一例を示す図である。同図におけるａは、入力フレーム５００のサイズの一例を示し、同図におけるｂは、フレームメモリ２６２に保持される切り出しフレームの一例を示す。同図におけるｂの斜線部分は、フレームメモリ２６２内の切り出しフレームを示す。同図におけるｃは、出力フレーム５０２の一例を示す。
入力フレーム５００のｘ軸上の長さである幅Ｗと、ｙ軸上の長さである高さＨは、次の式により表される。
Ｗ＝ｗ＋２ｃｘ＋２ｒｘ＋２ｎｘ ・・・式１
Ｈ＝ｈ＋２ｃｙ＋２ｒｘ＋２ｎｙ ・・・式２
ｃｘ＝ｓｘ−ｒｘ ・・・式３
ｃｙ＝ｓｙ−ｒｙ ・・・式４
式３および式４を式１および式２に代入することにより、次の式が得られる。
Ｗ＝ｗ＋２ｓｘ＋２ｎｘ
Ｈ＝ｈ＋２ｓｘ＋２ｎｙ
ここで、ｗは、出力フレーム５０２の幅であり、ｓｘは、切り出し処理部２４０による切り出し処理（すなわち、手ブレ補正）におけるｘ軸上の補正枠のサイズである。ｒｘは、回転補正部２７０による回転補正におけるｘ軸上の補正枠のサイズである。ｎｘは、画像合成部２６０による合成時の位置合わせに用いられるｘ軸上の枠のサイズである。ｈは、出力フレーム５０２の高さであり、ｓｙは、手ブレ補正におけるＹ軸上の補正枠のサイズである。ｒｘは、回転補正におけるｙ軸上の補正枠のサイズである。ｎｙは、合成時の位置合わせに用いられるｙ軸上の枠のサイズである。
入力フレーム５００内には、幅がＷ−２ｃｘで、高さがＨ−２ｃｙの切り出し領域が設けられる。切り出し処理部２４０は、撮像装置１００の動きに応じて、ｓｘおよびｓｙのサイズの補正枠内で切り出し領域を平行移動し、移動後の切り出し領域を切り出して切り出しフレームとして出力する。この切り出しフレームは、フレームメモリ２６２に保持される。
続いて、画像合成部２６０は、ｎｘ、ｎｙの枠内で位置合わせを行って２枚の切り出しフレームを合成する。そして、回転補正部２７０は、ｒｘ、ｒｙの補正枠内で合成フレームを回転させて出力フレーム５０２を生成する。
図１３は、比較例における入力フレームと、回転補正後のフレームと、出力フレームとのそれぞれのサイズの一例を示す図である。この比較例においては、撮像装置は、合成処理および回転補正を順に実行した後に手ブレ補正（切り出し処理）を実行するものとする。同図におけるａは、入力フレームのサイズの一例を示し、同図におけるｂは、回転補正後のフレーム５０５の一例を示す。同図におけるａの斜線部分は、フレームメモリ内の入力フレームを示す。同図におけるｃは、出力フレーム５０６の一例を示す。
比較例の撮像装置は、合成において入力フレームをそのままフレームメモリに保持する。この入力フレームのサイズは、式１および式２により表される。そして、撮像装置は、フレームメモリに保持した過去のフレームと、現在のフレームとを合成し、回転補正を行う。これらの処理により、幅がＷ−２ｒｘ−２ｎｘで、高さがＨ−２ｒｙ−２ｒｎの合成フレーム５０５が生成される。最後に撮像装置は、その撮像装置の動きに応じて補正枠内で切り出しフレームを切り出して出力フレーム５０６を生成する。
このように、合成処理の後に切り出し処理を行う比較例では、合成に要するフレームメモリの容量は、切り出す前の入力フレームのデータ量以上でなければならない。
これに対して、撮像装置１００では、図１２に例示したように、合成処理の前に切り出し処理を行うため、フレームメモリ２６２の容量は、切り出した後の切り出しフレームのデータ量以上で済む。したがって、比較例と比較して、合成に要するフレームメモリの容量を削減することができる。これにより、合成処理時の計算量や、撮像装置のコストを低減することができる。
［撮像装置の動作例］
図１４は、実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、動画や静止画の撮像を開始するための操作（撮像ボタンの押下など）が行われたときに開始する。
撮像装置１００は、自身の動きを検出しつつ、フレームを撮像する（ステップＳ９０１）。そして、撮像装置１００は、自身の動きに基づいてフレームの一部を切り出す電子手ブレ補正を行う（ステップＳ９０２）。
続いて撮像装置１００は、連続する複数の切り出しフレームを比較して被写体の動きベクトルを検出する（ステップＳ９０３）。そして、撮像装置１００は、その動きベクトルに基づいて位置合わせを行い、Ｎ枚の切り出しフレームを合成する（ステップＳ９０４）。そして、撮像装置１００は、合成フレームに対して回転補正を行い、出力フレームを生成する（ステップＳ９０５）。ステップＳ９０５の後に撮像装置１００は、ステップＳ９０１以降を繰り返し実行する。
このように、本技術の実施の形態によれば、撮像装置１００は、フレームの一部を切り出してから、フレームメモリ２６２に保持して合成を行うため、フレームメモリ２６２の容量を切り出しフレームのデータ量に抑制することができる。
＜２．第１の変形例＞
上述の実施の形態では、撮像装置１００は、回転補正を行っていたが、この構成では、回転補正における補正枠のサイズの分、フレームメモリ２６２の容量が増大してしまう。この実施の形態の第１の変形例の撮像装置１００は、フレームメモリ２６２の容量をさらに削減する点において実施の形態と異なる。
図１５は、実施の形態の第１の変形例における画像処理部２００の一構成例を示すブロック図である。この第１の変形例の画像処理部２００は、回転補正部２７０を備えない点において実施の形態と異なる。第１の変形例の画像合成部２６０は、合成フレームを出力フレームとして出力する。
このように、本技術の実施の形態の第１の変形例によれば、撮像装置１００は、合成フレームに対して回転補正を行わないため、回転補正の補正枠の分、フレームメモリ２６２の容量を削減することができる。
＜３．第２の変形例＞
上述の実施の形態では、撮像装置１００は、回転補正と被写体の動きベクトルの検出とを行っていたが、この構成では、回転補正や合成処理における枠のサイズの分、フレームメモリ２６２の容量が増大してしまう。この実施の形態の第１の変形例の撮像装置１００は、フレームメモリ２６２の容量をさらに削減する点において実施の形態と異なる。
図１６は、実施の形態の第１の変形例における画像処理部２００の一構成例を示すブロック図である。この第１の変形例の画像処理部２００は、被写体動き検出部２５０および回転補正部２７０を備えない点において実施の形態と異なる。第１の変形例の切り出し処理部２４０は、切り出しフレームを画像合成部２６０に供給し、画像合成部２６０は、合成フレームを出力フレームとして出力する。
図１７は、上述の実施の形態と、第１および第２の変形例と、比較例とのそれぞれの効果をまとめた図である。実施の形態の撮像装置１００は、被写体の動きベクトルの検出を行うため、画像合成による画質向上の効果が大きくなる。また、実施の形態の撮像装置１００は、回転補正を行うため、電子手ブレ補正による画質向上の効果が大きくなる。
一方、第１の変形例では、回転補正を行わないため、電子手ブレ補正による画質向上の効果が小さくなる。また、第２の変形例では、さらに被写体の動きベクトルの検出も行わないため、画像合成による画質向上の効果も小さくなる。また、比較例では、被写体の動きベクトルの検出と回転補正とを行うため、画像合成および電子手ブレ補正による画質向上の効果が大きくなる。
図１８は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれの合成処理時のフレームメモリ使用量を比較するための図である。実施の形態における合成対象のフレームのサイズＳｉｎｃ０は、次の式により表される。
Ｓｉｎｃ０＝（ｗ＋２ｒｘ＋２ｎｘ）×（ｈ＋２ｒｙ＋２ｎｙ）
実施の形態における合成後のフレーム（合成フレーム）のサイズは、Ｓｏｕｔｃ０は、次の式により表される。
Ｓｏｕｔｃ０＝ｒ１２×（ｗ＋２ｒｘ＋２ｎｘ）×（ｈ＋２ｒｙ＋２ｎｙ）
上式において、ｒ１は、合成前の切り出しフレームに対する、動き検出の対象フレームのサイズの幅または高さの縮小率を示す。ここで、動き検出の対象フレームとは、ブロックマッチング法などを用いた前述の被写体動き検出の対象となるフレームである。このようにフレームを縮小して動き検出を行うのは、計算コストを低減するためである。なお、合成においては、この縮小したフレームは用いられず、Ｎ枚の切り出しフレームが等倍のスケールで合成される。
実施の形態におけるフレームメモリ２６２の切り出しフレームに要する使用量Ｓｍｃ０は、次の式により表される。
Ｓｍｃ０＝｛（Ｎ−１）＋ｒ１２｝×（ｗ＋２ｒｘ＋２ｎｘ）
×（ｈ＋２ｒｙ＋２ｎｙ）
次に、第１の変形例では、合成対象のフレームのサイズＳｉｎｃ１は、次の式により表される。
Ｓｉｎｃ１＝（ｗ＋２ｎｘ）×（ｈ＋２ｎｙ）
第１の変形例における合成後のフレームのサイズＳｏｕｔｃ１は、次の式により表される。
Ｓｏｕｔｃ１＝ｒ１２×（ｗ＋２ｎｘ）×（ｈ＋２ｎｙ）
第１の変形例におけるフレームメモリ２６２の使用量Ｓｍｃ１は、次の式により表される。
Ｓｍｃ１＝｛（Ｎ−１）＋ｒ１２｝×（ｗ＋２ｎｘ）×（ｈ＋２ｎｙ）
また、第２の変形例において合成対象のフレームのサイズＳｉｎｃ２は、第１の変形例のＳｉｎｃ１と同じである。
第２の変形例におけるフレームメモリの使用量Ｓｍｃ２は、次の式により表される。
Ｓｍｃ２＝（Ｎ−１）×（ｗ＋２ｎｘ）×（ｈ＋２ｎｙ）
一方、比較例における合成対象のフレームのサイズＳｉｎｃＳは、次の式により表される。
ＳｉｎｃＳ＝（ｗ＋２ｓｘ＋２ｎｘ）×（ｈ＋２ｓｙ＋２ｎｙ）
また、比較例における合成後のフレームのサイズＳｃｃＳは、次の式により表される。
ＳｏｕｔｃＳ＝ｒ１２×（ｗ＋２ｓｘ＋２ｎｘ）×（ｈ＋２ｓｙ＋２ｎｙ）
また、比較例におけるフレームメモリの使用量ＳｍｃＳは、次の式により表される。
ＳｍｃＳ＝｛（Ｎ−１）＋ｒ１２｝×（ｗ＋２ｓｘ＋２ｎｘ）
×（ｈ＋２ｓｙ＋２ｎｙ）
図１９は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれの手ブレ補正時のフレームメモリ使用量を比較するための図である。実施の形態における手ブレ補正対象のフレームのサイズＳｉｎｓ０は、ＳｉｎｃＳと同様である。また、実施の形態における手ブレ補正時のフレームメモリの使用量Ｓｍｓ０は、次の式により表される。
Ｓｍ０＝（ｗ＋２ｒｘ）×（ｈ＋２ｒｙ）
次に、第１および第２の変形例における手ブレ補正対象のフレームのサイズは、実施の形態のＳｉｎｃ０と同様である。
一方、比較例における手ブレ補正対象のフレームのサイズＳｉｎｓＳは、次の式により表される。また、比較例における手ブレ補正時のフレームメモリの使用量ＳｍｓＳは、ＳｉｎｓＳと同様である。
ＳｉｎｓＳ＝（ｗ＋２ｓｘ）×（ｈ＋２ｓｙ）
図２０は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の手ブレ補正時のフレームメモリ使用量を比較するための図である。縮小率ｒ１を０．５とし、縮小率ｒ２を０．２５とする。また、入力フレームの幅Ｗおよび高さＨに対する、ｓｘ、ｓｙ、ｃｘ、ｃｙ、ｒｘ、ｒｙ、ｎｘ、ｎｙ、ｗおよびｈの比率を次のように設定する。
Ｗ：ｓｘ＝１００％：１０％
Ｈ：ｓｙ＝１００％：１０％
Ｗ：ｃｘ＝１００％：８％
Ｈ：ｃｙ＝１００％：５％
Ｗ：ｒｘ＝１００％：２％
Ｈ：ｒｙ＝１００％：５％
Ｗ：ｎｘ＝１００％：２％
Ｈ：ｎｙ＝１００％：２％
Ｗ：ｗ＝１００％：７６％
Ｈ：ｈ＝１００％：７６％
これらの設定値と、図１８に例示した関係式とを用いて実施の形態と第１および第２の変形例と比較例とにおいて合成対象のフレームサイズ、合成により縮小する範囲およびフレームメモリの使用量を求める。この結果、比較例のフレームメモリの使用量を１．２５０とすると、実施の形態の使用量は０．９４５でよく、フレームメモリの容量を削減することができる。また、第１の変形例では０．８００、第２の変形例では０．６４０でよく、フレームメモリの容量をさらに削減することができる。
図２１は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の手ブレ補正時のフレームメモリ使用量の具体例である。諸条件は、図２０の場合と同様である。比較例のフレームメモリの使用量を０．９２１６とすると、実施の形態の使用量は０．６８８０でよく、フレームメモリの容量を削減することができる。
図２２は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の合成処理時のフレームメモリ使用量を示すグラフである。ここでは、図２０で得られた結果に対して、撮像フレームのサイズで正規化が行われている。図２２に例示するように、比較例に対して、実施の形態のフレームメモリの使用量は小さく、第１および第２の使用量はさらに小さい。
図２３は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝４の合成処理時のフレームメモリ使用量の具体例である。合成対象のフレーム数Ｎ以外の諸条件は、図２０の場合と同様である。同図に例示するように、比較例に対して、実施の形態のフレームメモリの使用量は小さく、第１および第２の使用量はさらに小さい。
図２４は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の合成処理時のフレームメモリ使用量を示すグラフである。ここでは、図２３で得られた結果に対して、撮像フレームのサイズで正規化が行われている。
図２５は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量を比較するための図である。動きの検出は、ブロックマッチングにより行われるものとする。合成処理時の動き検出の粒度をｓ１とし、電子手ブレ補正時の動き検出の粒度をｓ２とする。ここで、粒度は、フレーム全体に対する、ブロックマッチングを実行する座標の合計の比率を示す。例えば、フレームの全ての座標でブロックマッチングを実行する際は、粒度は１００％となる。また、Ｘ軸方向およびＹ軸方向において１画素飛ばしでブロックマッチングを実行する場合には粒度は２５％となる。また、比較例におけるカメラの動き検出時の検出枠サイズをｐｘおよびｐｙとする。また、実施の形態と第１および第２の変形例と比較例とにおける被写体の動きベクトル検出時の検出枠サイズをｑｘおよびｑｙとする。
実施の形態の被写体の動きの検出対象のフレームサイズＳｉｎｍ０は、Ｓｏｕｔｃ０と同様である。また、実施の形態の被写体動き検出の検出範囲は、（２ｑｘ）×（２ｑｙ）である。また、実施の形態の被写体動き検出処理の計算量Ｑ０は、次の式により表される。
Ｑ０＝（Ｎ−１）×ｒ１２×（ｗ＋２ｒｘ＋２ｎｘ）
×（ｈ＋２ｒｙ＋２ｎｙ）×ｓ１２×２ｑｘ×２ｑｙ
次に、第１の変形例の被写体の動きの検出対象のフレームサイズＳｉｎｍ１は、Ｓｏｕｔｃ１と同様である。また、第１の変形例の被写体動き検出の検出範囲は、（２ｑｘ）×（２ｑｙ）である。また、第１の変形例の被写体動き検出処理の計算量Ｑ１は、次の式により表される。
Ｑ１＝（Ｎ−１）×ｒ１２×（ｗ＋２ｎｘ）
×（ｈ＋２ｎｙ）×ｓ１２×２ｑｘ×２ｑｙ
一方、比較例の被写体の動きの検出対象のフレームサイズＳｉｎｍ０は、ＳｏｕｔｃＳと同様である。また、比較例の被写体動き検出の検出範囲は、（２ｐｘ＋２ｑｘ）×（２ｐｙ＋２ｑｙ）である。また、比較例の被写体動き検出処理の計算量ＱＳは、次の式により表される。
ＱＳ＝（Ｎ−１）×ｒ１２×（ｗ＋２ｓｘ＋２ｎｘ）×（ｈ＋２ｓｙ＋２ｎｙ）
×ｓ１２×（２ｐｘ＋２ｑｘ）×（２ｐｙ＋２ｑｙ）
図２６は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量の具体例である。図２０と同様の諸条件と、図２５に例示した関係式とを用いて実施の形態と第１および第２の変形例と比較例とにおいて、被写体動き検出時の検出対象のフレームサイズ、検出範囲および計算量を求める。ただし、粒度ｓ１およびｓ２はいずれも０．１２５に設定される。また、ＷおよびＨに対するｐｘ、ｐｙ、ｑｘ、ｑｙの比率は、次のように設定される。
Ｗ：ｐｘ＝１００％：３％
Ｈ：ｐｙ＝１００％：５％
Ｗ：ｑｘ＝１００％：３％
Ｈ：ｑｙ＝１００％：５％
比較例の計算量を９．３７５Ｅ−０５とすると、実施の形態の計算量は２．０２５Ｅ−０５に減少する。また、第１の変形例の計算量は１．５００Ｅ−０５となり、さらに減少する。
図２７は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝２の被写体動き検出時の計算量を示すグラフである。図２７では、図２６の計算結果について、実施の形態の計算量により、正規化が行われている。
図２８は、実施の形態と、第１および第２の変形例と、比較例とのそれぞれのＮ＝４の被写体動き検出時の計算量の具体例である。Ｎ以外の諸条件は、図２６の場合と同様とする。比較例の計算量を２．８１３Ｅ−０４とすると、実施の形態の計算量は６．０７５Ｅ−０５となる。また、第１の変形例の計算量は４．５００Ｅ−０５となる。
このように、本技術の実施の形態の第２の変形例によれば、撮像装置１００は、動きベクトルの検出と回転補正とを行わないため、合成処理および回転補正における枠の分、フレームメモリ２６２の容量を削減することができる。また、被写体動き検出時の計算量を削減することができる。
＜４．第３の変形例＞
上述の実施の形態では、撮像装置１００は、一定の予測期間内の自身の動き量を予測し、その動き量に基づいて電子手ブレ補正を行っていた。しかし、予測期間が長いほど、動き量の予測精度が低下し、電子手ブレ補正後の画質が低下するという問題がある。この実施の形態の第３の変形例の撮像装置１００は、撮像装置１００の動き量の予測精度を向上させた点において実施の形態と異なる。
図２９は、実施の形態の第３の変形例におけるＮ＝２の際のカメラ動き演算部の動作の一例を示すタイミングチャートである。この第３の変形例では、予測期間の長さは、許容値以上の予測精度になるような所定の閾値以下に制限される。開始タイミングＴｍ０から起点タイミングＴｓ２までの期間と、開始タイミングＴｍ１から起点タイミングＴｓ２までの期間とのいずれかが閾値を超える場合には、Ｔｓ２よりもＴｃ２１に近いタイミングＴｓ２'が起点として用いられる。この場合、開始タイミングＴｍ０またはＴｍ１から起点タイミングＴｓ２'までの期間が予測期間となる。起点タイミングＴｓ２'は、予測期間が閾値以下になるタイミングである。
このように、予測期間を閾値以下に制限することにより、実施の形態よりも予測精度を向上させることができる。ただし、その一方で、合成フレームに対する電子手ブレ補正の精度が低下する。これは、画像合成部２６０が合成対象の２枚のフレームを同程度の比率で合成するという仮定のもとで、手ブレ補正のタイミングの区切りをＴｓ２と仮置きしているためである。閾値は、予測精度の向上と、電子手ブレ補正の精度の低下とのバランスを考慮して設定される。
図３０は、実施の形態の第３の変形例におけるＮ＝４の際のカメラ動き演算部の動作の一例を示すタイミングチャートである。Ｎ＝２の場合と同様に、Ｔｍ０またはＴｍ１からＴｓ２'までの期間が予測期間となり、２枚目のフレームに対応する積算期間は、Ｔｓ２'からＴｃ２２までとなる。また、３枚目のフレームに対応する積算期間は、Ｔｓ２'から、３枚目の露光重心のタイミングＴｃ２３までとなり、４枚目のフレームに対応する積算期間は、Ｔｓ２'から、４枚目の露光重心のタイミングＴｃ２４までとなる。
このように、本技術の実施の形態の第３の変形例によれば、撮像装置１００の動き量を予測する予測期間を閾値以下に制限するため、動き量の予測精度を向上させることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、本技術は以下のような構成もとることができる。
（１）入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す切り出し処理部と、
前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、
前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部と
を具備する画像処理装置。
（２）連続する２枚の前記合成フレームのそれぞれの露光タイミングの一方から他方までの期間内の前記撮像部の動き量を合成フレーム間動き量として取得する動き量取得部と、
前記合成フレーム間動き量に基づいて前記合成フレームの一部を出力フレームとして切り出す合成フレーム補正部と
をさらに具備する前記（１）記載の画像処理装置。
（３）連続する２枚の前記現在切り出しフレームの一方の露光タイミングと他方の露光タイミングとの間の起点タイミングから前記一方の露光タイミングまでの期間内の前記撮像部の動き量を合成フレーム内動き量として取得する動き量取得部をさらに具備し、
前記切り出し処理部は、前記合成フレーム内動き量に基づいて前記現在切り出しフレームを切り出して前記保持部に供給する
前記（２）記載の画像処理装置。
（４）前記合成フレーム間動き量は、前記合成フレーム間動き量の演算を開始する第１の開始タイミングから前記起点タイミングまでの第１の予測期間内の前記動き量を示す第１の予測値を含み、
前記動き量取得部は、前記第１の開始タイミングまでの前記動き量に基づいて前記第１の予測値を取得する
前記（３）記載の画像処理装置。
（５）前記第１の予測期間の長さは、所定の閾値を超えない
前記（４）記載の画像処理装置。
（６）前記合成フレーム内動き量は、前記合成フレーム内動き量の演算を開始する第２の開始タイミングから前記起点タイミングまでの第２の予測期間内の前記動き量を示す第２の予測値を含み、
前記動き量取得部は、前記第２の開始タイミングまでの前記撮像部の動き量に基づいて前記第２の予測値を取得する
前記（４）または（５）に記載の画像処理装置。
（７）前記第２の予測期間の長さは、前記所定の閾値を超えない
前記（６）記載の画像処理装置。
（８）連続する２枚の前記現在切り出しフレームに基づいて被写体が動いた方向を示す動きベクトルを検出する被写体動き検出部をさらに具備し、
前記合成処理部は、前記動きベクトルに基づいて前記現在切出しフレームと前記過去切出しフレームとを合成する
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）入力フレームを撮像する撮像部と、
前記入力フレームが撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す入力フレーム切り出し処理部と、
前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、
前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部と
を具備する撮像装置。
（１０）前記撮像部の動きを検出するセンサをさらに具備する
前記（９）記載の撮像装置。
（１１）入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す入力フレーム切り出し処理手順と、
前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリに保持された前記過去切り出しフレームと前記現在切出しフレームとを合成して合成フレームとして出力する合成処理手順と
を具備する画像処理方法。
（１２）入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す切り出し処理手順と、
前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリに保持された前記過去切り出しフレームと前記現在切出しフレームとを合成して合成フレームとして出力する合成処理手順と
をコンピュータに実行させるためのプログラム。
１００ 撮像装置
１１０ 撮像レンズ
１２０ 撮像素子
１３０ 動き検出センサ
１４０ 記録部
１５０ 制御部
２００ 画像処理部
２１０ カメラ動き演算部
２１１ 予測演算部
２１２ 合成フレーム間動き量積分器
２１３ 合成フレーム内動き量積分器
２２０ 補正量演算部
２２１ 合成フレーム内補正量演算部
２３０ 手ブレ補正量演算部
２３１ 座標変換部
２３２ 切り出し位置決定部
２３３ ハイパスフィルタ
２３４ カメラワーク推定部
２３５ 理想切り出し位置決定部
２３６ 補正枠内制限処理部
２４０ 切り出し処理部
２４１ セレクタ
２４２ 補正量選択制御部
２４３ 位置合わせ処理部
２５０ 被写体動き検出部
２５１ ゲイン調整部
２５２ 調整後動き検出部
２５３、２６２ フレームメモリ
２６０ 画像合成部
２６１ 画像合成処理部
２７０ 回転補正部

Claims (12)

  1. 入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す切り出し処理部と、
    前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、
    前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部と
    を具備する画像処理装置。
  2. 連続する２枚の前記合成フレームのそれぞれの露光タイミングの一方から他方までの期間内の前記撮像部の動き量を合成フレーム間動き量として取得する動き量取得部と、
    前記合成フレーム間動き量に基づいて前記合成フレームの一部を出力フレームとして切り出す合成フレーム補正部と
    をさらに具備する請求項１記載の画像処理装置。
  3. 連続する２枚の前記現在切り出しフレームの一方の露光タイミングと他方の露光タイミングとの間の起点タイミングから前記一方の露光タイミングまでの期間内の前記撮像部の動き量を合成フレーム内動き量として取得する動き量取得部をさらに具備し、
    前記切り出し処理部は、前記合成フレーム内動き量に基づいて前記現在切り出しフレームを切り出して前記保持部に供給する
    請求項２記載の画像処理装置。
  4. 前記合成フレーム間動き量は、前記合成フレーム間動き量の演算を開始する第１の開始タイミングから前記起点タイミングまでの第１の予測期間内の前記動き量を示す第１の予測値を含み、
    前記動き量取得部は、前記第１の開始タイミングまでの前記動き量に基づいて前記第１の予測値を取得する
    請求項３記載の画像処理装置。
  5. 前記第１の予測期間の長さは、所定の閾値を超えない
    請求項４記載の画像処理装置。
  6. 前記合成フレーム内動き量は、前記合成フレーム内動き量の演算を開始する第２の開始タイミングから前記起点タイミングまでの第２の予測期間内の前記動き量を示す第２の予測値を含み、
    前記動き量取得部は、前記第２の開始タイミングまでの前記撮像部の動き量に基づいて前記第２の予測値を取得する
    請求項４記載の画像処理装置。
  7. 前記第２の予測期間の長さは、前記所定の閾値を超えない
    請求項６記載の画像処理装置。
  8. 連続する２枚の前記現在切り出しフレームに基づいて被写体が動いた方向を示す動きベクトルを検出する被写体動き検出部をさらに具備し、
    前記合成処理部は、前記動きベクトルに基づいて前記現在切出しフレームと前記過去切出しフレームとを合成する
    請求項１記載の画像処理装置。
  9. 入力フレームを撮像する撮像部と、
    前記入力フレームが撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す入力フレーム切り出し処理部と、
    前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリと、
    前記現在切出しフレームと前記過去切出しフレームとを合成して合成フレームとして出力する合成処理部と
    を具備する撮像装置。
  10. 前記撮像部の動きを検出するセンサをさらに具備する
    請求項９記載の撮像装置。
  11. 入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す入力フレーム切り出し処理手順と
    前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリに保持された前記過去切り出しフレームと前記現在切出しフレームとを合成して合成フレームとして出力する合成処理手順と
    を具備する画像処理方法。
  12. 入力フレームが撮像部により撮像されるたびに前記撮像部の動きに基づいて前記入力フレームの一部を現在切出しフレームとして切り出す切り出し処理手順と
    前記現在切出しフレームを過去切出しフレームとして保持するフレームメモリに保持された前記過去切り出しフレームと前記現在切出しフレームとを合成して合成フレームとして出力する合成処理手順と
    をコンピュータに実行させるためのプログラム。
JP2016087820A 2016-04-26 2016-04-26 画像処理装置、撮像装置、画像処理方法、および、プログラム Active JP6759680B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016087820A JP6759680B2 (ja) 2016-04-26 2016-04-26 画像処理装置、撮像装置、画像処理方法、および、プログラム
US16/085,676 US10979653B2 (en) 2016-04-26 2017-01-30 Image processing apparatus, imaging apparatus, image processing method, and program
PCT/JP2017/003096 WO2017187691A1 (ja) 2016-04-26 2017-01-30 画像処理装置、撮像装置、画像処理方法、および、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016087820A JP6759680B2 (ja) 2016-04-26 2016-04-26 画像処理装置、撮像装置、画像処理方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2017199995A true JP2017199995A (ja) 2017-11-02
JP6759680B2 JP6759680B2 (ja) 2020-09-23

Family

ID=60160201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016087820A Active JP6759680B2 (ja) 2016-04-26 2016-04-26 画像処理装置、撮像装置、画像処理方法、および、プログラム

Country Status (3)

Country Link
US (1) US10979653B2 (ja)
JP (1) JP6759680B2 (ja)
WO (1) WO2017187691A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008288B2 (en) 2019-02-25 2024-06-11 Sony Semiconductor Solutions Corporation Audio signal processing device based on orientation

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6663491B2 (ja) * 2016-06-08 2020-03-11 シャープ株式会社 画像処理装置、画像処理プログラム、および記録媒体
CN108989796A (zh) * 2018-08-09 2018-12-11 浙江大华技术股份有限公司 一种图像采集设备选择方法及装置
JP2020107036A (ja) * 2018-12-27 2020-07-09 ソニーセミコンダクタソリューションズ株式会社 画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4401949B2 (ja) 2004-11-26 2010-01-20 キヤノン株式会社 動画撮像装置及び動画撮像方法
JP4752459B2 (ja) * 2005-11-15 2011-08-17 パナソニック株式会社 撮像装置
US7956899B2 (en) * 2007-08-29 2011-06-07 Sanyo Electric Co., Ltd. Imaging device and image processing apparatus
JP4969371B2 (ja) * 2007-08-29 2012-07-04 三洋電機株式会社 撮像装置
JP2009188754A (ja) * 2008-02-06 2009-08-20 Olympus Imaging Corp 撮像装置におけるパン又はチルト検出方法、及び撮像装置
JP4492724B2 (ja) 2008-03-25 2010-06-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5843454B2 (ja) * 2011-03-15 2016-01-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6147172B2 (ja) * 2013-11-20 2017-06-14 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、及びプログラム
JP6289070B2 (ja) * 2013-12-17 2018-03-07 キヤノン株式会社 撮像装置およびその制御方法
US9449374B2 (en) * 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
JP6395506B2 (ja) * 2014-08-22 2018-09-26 キヤノン株式会社 画像処理装置および方法、プログラム、並びに撮像装置
US9560287B2 (en) * 2014-12-19 2017-01-31 Sony Corporation Noise level based exposure time control for sequential subimages
US10397600B1 (en) * 2016-01-29 2019-08-27 Google Llc Dynamic reference motion vector coding mode

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008288B2 (en) 2019-02-25 2024-06-11 Sony Semiconductor Solutions Corporation Audio signal processing device based on orientation

Also Published As

Publication number Publication date
US20200228728A1 (en) 2020-07-16
WO2017187691A1 (ja) 2017-11-02
US10979653B2 (en) 2021-04-13
JP6759680B2 (ja) 2020-09-23

Similar Documents

Publication Publication Date Title
JP5414405B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP4497001B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP6087671B2 (ja) 撮像装置およびその制御方法
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
WO2017187691A1 (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP2011029735A5 (ja)
JP2014039223A5 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
JP4947576B2 (ja) 撮像装置、ぶれ補正方法及び撮像方法
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
US20130162868A1 (en) Image processing apparatus having function of reading captured image, control method thereof, and imaging apparatus
JP6223161B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP2008099260A (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2011114486A (ja) 撮像装置
JP6730423B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN106454066B (zh) 图像处理设备及其控制方法
JP2003078808A (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JP2015080157A (ja) 画像処理装置、画像処理方法及びプログラム
JP6604783B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6742823B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6808446B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2007049648A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2017005539A (ja) 撮影装置
US20180302589A1 (en) Moving image reproduction apparatus having function of correcting camera shake during moving image reproduction, method of controlling the same, and storage medium
JP6374228B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R151 Written notification of patent or utility model registration

Ref document number: 6759680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151