JP2016019076A - 撮像装置、撮像方法、およびプログラム、並びに再生装置 - Google Patents

撮像装置、撮像方法、およびプログラム、並びに再生装置 Download PDF

Info

Publication number
JP2016019076A
JP2016019076A JP2014139507A JP2014139507A JP2016019076A JP 2016019076 A JP2016019076 A JP 2016019076A JP 2014139507 A JP2014139507 A JP 2014139507A JP 2014139507 A JP2014139507 A JP 2014139507A JP 2016019076 A JP2016019076 A JP 2016019076A
Authority
JP
Japan
Prior art keywords
area
frame
unit
camera shake
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014139507A
Other languages
English (en)
Inventor
大輔 磯
Daisuke Iso
大輔 磯
英史 山田
Hidefumi Yamada
英史 山田
哲平 栗田
Teppei Kurita
哲平 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014139507A priority Critical patent/JP2016019076A/ja
Priority to US15/320,782 priority patent/US10003745B2/en
Priority to PCT/JP2015/067945 priority patent/WO2016006430A1/ja
Publication of JP2016019076A publication Critical patent/JP2016019076A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2207/00—Control of exposure by setting shutters, diaphragms, or filters separately or conjointly
    • G03B2207/005—Control of exposure by setting shutters, diaphragms, or filters separately or conjointly involving control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection

Abstract

【課題】 イメージセンサを複数のエリアに区分し、エリア毎に手ブレ量に応じて露光制御する。
【解決手段】 本開示の一側面である撮像装置は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部とを備える。本開示は、例えば、エリアADC型のイメージセンサを備えるカメラ等の電子装置に適用できる。
【選択図】 図１

Description

本開示は、撮像装置、撮像方法、およびプログラム、並びに再生装置に関し、特に、撮像するフレーム内のエリア毎に手ブレ量を検出し、検出した手ブレ量に応じてエリア毎に露光時間、画素の加算方式などを変更できるようにした撮像装置、撮像方法、およびプログラム、並びに再生装置に関する。
従来、デジタルビデオカメラに代表される撮像装置においては、設定された撮像モードに応じてイメージセンサの露光時間を自動的に調整したり、イメージセンサからの画素の読み出し方式を変更したりするものがある。具体的には、例えば、撮像モードが夜景モードに設定されている場合、画素の読み出し方式が画素加算（隣接する複数の画素の画素値を加算して１画素の画素値として読み出す方式）に変更される。
また、従来の撮像装置においては、手ブレを検出する機構を備えるものが存在し、検出した手ブレ量に応じて、イメージセンサの露光時間を調整したり、イメージセンサの画素加算方式を変更したりする制御方法が提案されている。
例えば特許文献１には、撮像モードが夜景モードに設定されている場合、検出された手ブレ量が大きいときには画素加算方式における画素値を加算する画素の数を多く設定し、検出された手ブレ量が小さいときには画素加算方式における画素値を加算する画素の数を例えば１に設定して画素加算を行わずに全画素読み出しとする制御方法が提案されている。
この制御方式によれば、夜景モードであっても手ブレ量が小さいときには高解像度の画像を得ることができる。反対に、夜景モードであって手ブレ量が大きいときには画素加算により手振れを補正した画像を得ることができる。
ただし、手ブレ量はフレームの全体で必ずしも均一ではないので、フレーム上に手ブレ量が大きいエリアと小さいエリアが存在する場合、手ブレ量が大きいエリアについては画素加算を行うようにし、手ブレ量が小さいエリアについては全画素読み出しを行うようにして、可能な限り高解像度な画像を出力できるようにすることが望ましい。
なお、イメージセンサを複数のエリアに区分してエリア毎に制御することに関連し、例えば特許文献２には、エリア毎に露光時間を変更できるイメージセンサが提案されている。
特許０４７７１０００号公報 特開２０１２−１７５２３４号公報
特許文献２に記載のイメージセンサによれば、ダイナミックレンジが広いシーンで撮像する場合には、明るい被写体を写すエリアでは露光時間を短くし、反対に、暗い被写体を写すエリアでは露光時間を長くすることで画面全体を飽和も黒つぶれもなく撮像することができる。
しかしながら、該イメージセンサでは、手ブレが考慮されていないので、例えば、暗い被写体を写すエリアで大きな手ブレが生じていた場合でも露光時間が長くなってしまうので、エリア毎に異なるボケが発生してしまう可能性がある。
本開示はこのような状況に鑑みてなされたものであり、イメージセンサを複数のエリアに区分し、エリア毎に手ブレ量に応じて露光制御できるようにするものである。
本開示の第１の側面である撮像装置は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部とを備える。
前記制御部は、さらに、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサ部の画素加算方式を制御することができる。
前記制御部は、前記エリア毎に計算された前記手ブレ量に応じて前記エリア毎に、１フレーム周期の間に前記イメージセンサ部の露光と画素読み出しを１回以上実行させることができる。
本開示の第１の側面である撮像装置は、角速度または加速度の少なくとも一方を検出する動きセンサ部をさらに備えることができ、前記計算部は、検出された前記角速度または前記加速度の少なくとも一方に基づき、前記エリア毎の手ブレ量を計算することができる。
前記計算部は、前記エリア毎にサンプリングされる複数の画素の画素データの分散に基づき、前記エリア毎の手ブレ量を計算することができる。
前記イメージセンサ部は、複数の画素が配置されている複数の領域毎に、前記複数の画素が共用する一つのADCが設けられているようにすることができ、前記エリアは、一つのADCを共有する複数の画素が配置されている前記領域に相当するようにすることができる。
本開示の第１の側面である撮像装置は、前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部をさらに備えることができる。
前記データ出力部は、同一のエリアから読み出された前記画素データを同一のパケットに格納するとともに、フレームにおける前記エリアの位置を示すエリア番号を前記同一のパケットに記述することができる。
前記データ出力部は、前記同一のパケットにさらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つを記述することができる。
本開示の第１の側面である撮像装置は、前記データ出力部によって生成された、前記画素データがエリア毎にパケット化されている前記画像データに基づいて前記フレームを再合成する再生部をさらに備えることができる。
本開示の第１の側面である撮像方法は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の撮像方法において、前記撮像装置による、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップとを含む。
本開示の第１の側面であるプログラムは、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の制御用のプログラムにおいて、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップとを含む処理を撮像装置のコンピュータに実行させる。
本開示の第１の側面においては、フレームを複数に区分したエリア毎の手ブレ量が計算され、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間が制御される。
本開示の第２の側面である再生装置は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と、前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部とを備える撮像装置から出力される前記画像データを再生する再生装置において、前記画像データをパケット単位で取得する取得部と、取得された前記画像データのパケットを解析し、前記パケットに対応する前記エリア毎に前記フレームを復元する復元部とを備える。
前記画像データの前記パケットには、同一のエリアから読み出された前記画素データが格納されているとともに、フレームにおける前記エリアの位置を示すエリア番号が記述されているようにすることができる。
前記画像データの前記パケットには、さらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つが記述されているようにすることができる。
本開示の第２の側面においては、画像データがパケット単位で取得され、取得された前記画像データのパケットが解析されて、前記パケットに対応するエリア毎にフレームが復元される。
本開示の第１の側面によれば、エリア毎に手ブレ量に応じて露光制御することができる。
本開示の第２の側面によれば、エリア毎にパケット化されている画像データからフレームを復元することができる。
本開示を適用した撮像装置の構成例を示すブロック図である。 撮像部の構成例を示すブロック図である。 イメージセンサの構成例を示すブロック図である。 角速度に基づく動き情報の生成を説明するための図である。 各エリアの手ブレ量に応じた露光時間の設定を説明する図である。 各エリアの手ブレ量に応じた画素加算を説明する図である。 フレーム番号、エリア番号、およびサブフレーム番号の関係を説明するための図である。 画素データパケットのデータ構造を示す図である。 エリア毎の露光処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
＜本実施の形態である撮像装置の構成例＞
図１は、本実施の形態である撮像装置の構成例を示している。この撮像装置１０は、所定のフレームレートで動画像を撮像するものであり、具体的には、デジタルビデオカメラの他、動画撮像機能を有するデジタルスチルカメラやスマートフォンなどの電子装置が想定される。ただし、本開示は、静止画像を撮像する場合にも適用できる。
この撮像装置１０は、撮像部１１、角速度センサ部１２、動き情報取得部１３、動き量計算部１４、露光・読み出し制御部１５、データ出力部１６、および再生部１７を有する。
撮像部１１は、露光・読み出し制御部１５からの制御情報に従い、所定のフレームレートで撮像を行い、その結果得られる画素データをデータ出力部１６に供給する。なお、撮像に際しては、フレームを複数の区分したエリア毎に露光時間、画素加算方式を変更できるものとする。
また、撮像部１１は、動き情報取得部１３からの要求に応じ、生成した画素データを供給する。ただし、動き情報取得部１３に対しては、フレーム全体の画素データを供給する必要はなく、フレームを複数に区分した各エリアのＮ個の画素についてのみ、１フレーム期間（例えば、フレームレートが30fpsの場合、1/30s）に複数回露光し、その都度、画素データを読み出して動き情報取得部１３に供給すればよい。
角速度センサ部１２は、撮像中の撮像装置１０の動きを、フレームの中心座標、すなわち、イメージセンサ３２の中心を通る、互いに直交する３軸（ｘ軸、ｙ軸、ｚ軸）それぞれを中心とする角速度を所定のサンプリング周期で検出する。なお、角速度センサ部１２に加えて、または角速度センサ部１２の代わりに、３軸方向の加速度を検出する加速度センサを搭載するようにしてもよい。
動き情報取得部１３は、撮像部１１から画素データを取得する処理、または角速度センサ部１２で検出された角速度を取得する処理の少なくとの一方を行い、取得した画素データ、または角速度の少なくとも一方を動き情報として動き量計算部１４に供給する。
動き量計算部１４は、動き情報取得部１３からの動き情報に基づき、フレーム上のエリア毎の手ブレ量を計算して露光・読み出し制御部１５に通知する。なお、動き情報に基づく手ブレ量の計算の詳細については後述する。
露光・読み出し制御部１５は、動き量計算部１４から通知される、フレーム上のエリア毎に手ブレ量に基づき、エリア毎の露光時間、画素加算方式を決定し、制御情報として撮像部１１に通知する。ここで、画素加算方式としては、水平方向1/2、水平方向1/4、垂直方向1/8などを選択することができる。なお、画素加算の代わりに、単に画素を間引きして読み出すように制御してもよい。
また、露光・読み出し制御部１５は、決定したエリア毎の露光時間、画素加算方式をデータ出力部１６にも通知する。さらに、露光・読み出し制御部１５は、決定したエリア毎の露光時間に基づく露光経過時間を動き量計算部１４に通知する。
データ出力部１６は、撮像部１１から入力される画素データを、フレームのエリア毎にパケット化することによって画像データを生成する。画素データを格納するパケットのデータ構造（以下、画素データフォーマットと称する）については後述する。
データ出力部１６は、生成した画像データをパケット毎に再生部１７に出力する。なお、データ出力部１６から再生部１７に対して画像データのパケットを出力する順序は、必ずしも所定の順序（例えば、エリア単位でのラスタースキャン順等）に従う必要がなく任意である。
再生部１７は、データ取得部１８、画像再合成部１９、および画像表示部２０から構成される。
データ取得部１８は、データ出力部１６が出力する画像データのパケットを取得して一時的に保持して、パケットに格納されているエリア番号、フレーム番号などを解析し、解析結果を画像再合成部１９に通知する。また、データ取得部１８は、画像再合成部１９からの要求に応じ、保持する画像データのパケットを画像再合成部１９に供給する。
画像再合成部１９は、データ取得部１８から供給されたパケットに格納されている、エリア毎の画素データを、フレーム単位の画像データに再合成して画像表示部２０に出力する。画像表示部２０は、再合成された画像データに画像を表示する。
なお、再生部１７については、撮像装置１０から独立した再生装置として存在することもできる。
＜撮像部１１の詳細な構成例＞
次に、撮像部１１の詳細な構成例について、図２および図３を参照して説明する。
図２は、撮像部１１の構成例を示している。すなわち、撮像部１１は、光学レンズ部３１およびイメージセンサ３２を有する。光学レンズ部３１は、被写体の光学像をイメージセンサ３２に集光する。イメージセンサ３２は、CMOSなどの固体撮像素子から成り、光電変換によって入射光に応じた画素データを生成する。
図３は、イメージセンサ３２の構成例を示している。イメージセンサ３２は、数百万単位の画素から成る画素部４１と、複数のADC(Analog Digital Converter)４２からなるADC群４３を有する。画素部４１は、縦横に配置された複数の画素から成るエリア４４に区分されており、１つのエリア４４に属する複数の画素が、１つのADC４２を共用する。すなわち、本実施の形態では、１つのADC４２を共用する１つのエリア４４に対して手ブレ量を計算し、この手ブレ量に応じてエリア４４毎の露光時間、画素加算方式が設定される。
ただし、エリア４４と、必ずしも１つのADC４２を共用するイメージセンサ３２上の領域とを一致させない場合でも、本開示は適用できる。
＜動き情報に基づく手ブレ量の計算＞
次に、動き量計算部１４による、動き情報に基づく手ブレ量の計算について説明する。
はじめに、角速度に基づく手ブレ量の計算について説明する。図４は、角速度センサ部１２により検出される、イメージセンサ３２の中心座標を通る、互いに直交する３軸（ｘ軸、ｙ軸、ｚ軸）それぞれを中心とする角速度に基づく、回転角（ピッチ角θｘ、ヨー角θｙ、ロール角θｚ）と、手ブレ量の関係を示している。
なお、図４において、（ｘ，ｙ）はエリア内の座標である。（Ｘ，Ｙ）はフレームの中心座標である。Ｌはイメージセンサ３２の焦点距離である。（α、β）は画素位置のｘ，ｙ方向角、（θx，θy，θz）は、Ｘ軸を中心とするピッチ、Ｙ軸を中心とするヨー、Ｚ軸を中心とするロールである。
動き量計算部１４においては、角速度センサ部１２により検出される３軸の角速度を積分して回転角（θx，θy，θz）を計算し、計算した回転角（θx，θy，θz）と焦点Ｍ距離Ｌを用いて、角速度取得タイミングにおける、各エリアの中心座標（ｘ，ｙ）における手ブレ量（ｄx，ｄy）を次式（１）に従って演算する。
Figure 2016019076
 ・・・（１）
次に、各エリアから取得するＮ個の画素データの分散値に基づいて手ブレ量の計算について説明する。
通常、各エリアにおける画素データの分散値は、イメージセンサ３２におけるノイズと、被写体の特徴を示すパターンによって決定されるが、手ブレが発生している場合、被写体のパターンが失われてしまうため、分散値が手ブレ未発生の場合に比較して小さくなる傾向がある。そこで、本実施の形態では、各エリアの画素データの分散値を計算し、その分散値と所定の閾値との比較結果により、手ブレの有無と、手ブレ量を判断するようにする。なお、この閾値については、イメージセンサ３２のノイズモデルとISO感度設定に基づいて決定することができる。
具体的には、まず、各エリアからＮ個の画素をサンプリングし、１フレーム期間Ｔに複数露光して、同一座標の複数の画素データを取得する。ここで、Ｎ個の画素データのうちのｉ番目の画素のタイミングｔjにおける画素データをｐi（ｔj）と記載する。次に、画素データｐi（ｔj）をタイミングｔ＝１からｔ＝ｔjまで次式（２）に従って累積し、累積画素値ｐi,jを算出する。
Figure 2016019076
 ・・・（２）
次に、エリア内におけるＮ個の画素の累積画素値ｐi,jの平均値ｐjを次式（３）に従って計算する。
Figure 2016019076
 ・・・（３）
さらに、次式（４）に従い、エリア内におけるＮ個の画素のタイミングｔ＝ｔjにおける画素データの分散値ｖjを算出する。
Figure 2016019076
 ・・・（４）
最後に、算出した分散値ｖjと所定の閾値を比較し、分散値ｖjが所定の閾値よりも小さい場合に手ブレ発生と判断し、分散値ｖjとさらに小さな複数の閾値とを比較して、手ブレ量を決定する。
なお、動き情報取得部１３にて、撮像部１１から画素データを取得する処理、および角速度センサ部１２で検出された角速度を取得する処理を行った場合、動き量計算部１４にて、いずれか一方を優先的に用いて手ブレ量を計算するようにしてもよい。また、それぞれから手ブレ量を計算し、それぞれの計算結果に所定の重み付け係数を乗算してから加算するようにしてもよい。
＜エリア毎の手ブレ量に基づく露光時間と画素加算方式の制御＞
次に、露光・読み出し制御部１５による、エリア毎の手ブレ量に基づく露光時間と画素加算方式の制御について説明する。
図５は、エリア毎の手ブレ量に基づく露光時間の制御を説明するための図である。例えば、同図Ａに示されるように、動き量計算部１４によってエリア毎の手ブレ量が計算された場合、その大きさに応じてエリア毎に露光時間を設定する。同図の場合、各エリアが、露光時間が長いエリア、露光時間が短いエリア、または、露光時間がより短く露光と画素データの出力を２回行うエリアのいずれかに設定されている。なお、手ブレ量に応じた露光時間の設定の選択肢は、上述した３種類に限定するものではなく、より細分化してもよい。また、露光と画素データの出力を３回以上行うエリアを設けてもよい。
図６は、エリア毎の手ブレ量に基づく画素加算方式の制御を説明するための図である。例えば、同図Ａに示されるように、動き量計算部１４によってエリア毎の手ブレ量が計算された場合、その大きさに応じてエリア毎に画素加算方式（加算画素数）を設定する。同図の場合、各エリアが、加算画素数の異なる４種類の画素加算方式のいずれかに設定されている。なお、手ブレ量に応じた画素加算方式の設定の選択肢は４種類に限定するものではなく、それ以下、またはそれ以上でもよい。
＜画素データフォーマットについて＞
次に、データ出力部１６から出力される画像データのパケットのデータ構造（画素データフォーマット）について、図７および図８を参照して説明する。
図７は、フレームと、エリアと、サブフレームの関係を示している。各フレームには時系列順を示すフレーム番号が付与される。フレームを複数に区分した各エリアには、フレームにおけるエリアの位置を示すフレーム番号が付与される。複数回露光および読み出しが行われたエリアに対しては、各回時に対してサブフレーム番号が付与される。
なお、エリアの形状については、必ずしも固定する必要はなく、動的に変化させてもよい。
図８は、画素データのパケットの画素データフォーマットを示している。該パケット５０は、エリア毎に生成される。
該パケット５０には、エリア番号領域５１、フレーム番号領域５２、サブフレーム番号領域５３、および加算パターン領域５４が設けられている。エリア番号領域５１乃至加算パターン領域５４は、それぞれビット幅が設定されているので、エリア番号領域５１から加算パターン領域５４までのデータ長は固定長となる。
該パケット５０には、複数の画素データ領域５５−１乃至５５−ｎが設けられている。なお、エリアから読み出される画素の数は、設定された画素加算方式（加算画素数）によって変更され得るので、画素データ領域５５−１乃至５５−ｎのデータ長は可変長となる。
エリア番号領域５１には、フレームにおけるエリアの位置を示すエリア番号が格納される。フレーム番号領域５２には、該パケット５０に対応するエリアを含むフレームの時系列順序を示すフレーム番号が格納される。サブフレーム番号領域５３には、撮影回時を示すサブフレーム番号が格納される。加算パターン領域５４には、該パケット５０に対応するエリアに設定された画素加算方式のパターンを示す情報が格納される。なお、画素加算方式のパターンには、エリア形状を動的に変化させた場合の情報も含むようにする。
画素データ領域５５には、該パケット５０に対応するエリアから読み出された画素の画素データが格納される。例えば、対応するエリアから２画素のみが読み出された場合には、画素データ領域５５−１および５５−２が設けられて、それぞれに画素加算された画素データが格納される。また、例えば、対応するエリアから１画素も読み出されない場合には、画素データ領域５５は設けられない。この場合、対応するエリアから１画素も読み出されない情報は、画素加算方式のパターンを示す情報として、加算パターン領域５４に格納されている。
該パケット５０を受け取る再生部１７では、エリア番号、フレーム番号、サブフレーム番号、画素加算方式のパターンに基づいて、画素データ領域５５に格納されている画素データの画素の座標を特定することができる。したがって、パケット５０の出力順序がラスタースキャン順や時系列順ではなく、ランダムなものであっても再生部１７において、フレームを正確に復元することができる。
図８に示されたように、画素データフォーマットの画素データ領域５５−１乃至５５−ｎを可変長としたことにより、手ブレ量が大きいことにより加算画素数が多くなって、読み出される画素数が少ないエリアについては、対応するパケットのデータ量を減らすことができる。よって、データ出力部１６から後段に対して、効率的に画像データを転送することができる。
なお、図８には、各領域のビット幅（16bitなど）を記載しているが、これらは一例であり、イメージセンサ３２の構成に応じて変更可能である。
＜１フレーム期間におけるエリア毎の露光処理＞
次に、図９は、１フレーム期間におけるエリア毎の露光処理を説明するフローチャートである。
この露光処理は、１フレーム期間毎に、フレームを構成する複数の各エリアに対して実行される。
ステップＳ１において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に従い、露光を開始する。なお、ここで開始した露光の露光時間は、フレーム全体の明るさなどに基づき、全てのエリアに対して統一して設定されたものである。
ステップＳ２において、動き量計算部１４は、処理対象のエリアについて、動き情報取得部１３からの動き情報に基づいて所定のサンプリング周期で手ブレ量を計算して露光・読み出し制御部１５に通知する。ステップＳ３において、露光・読み出し制御部１５は、露光開始からの手ブレ量の合計が所定の閾値以上であるか否かを判定する。ここで、露光開始からの手ブレ量の合計が所定の閾値以上であると判定された場合、直ちに露光を中止するため、処理はステップＳ４に進められる。
ステップＳ４において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に従って露光を終了する。ステップＳ５において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に対応する画素加算方式で画素データを読み出してデータ出力部１６に出力する。なお、当該エリアに対する画素加算方式がまだ設定されていない場合には、該エリアの全画素が読み出される。
ステップＳ６において、露光・読み出し制御部１５は、当該露光処理を開始してから１フレーム期間が経過したか否かを判定する。１フレーム期間が経過していない場合、１フレーム期間に同一のエリアに対して複数回の露光が行われることになり、処理はステップＳ１に戻されてそれ以降が繰り返される。反対に、１フレーム期間が経過した場合、当該露光処理は終了される。
なお、ステップＳ３において、露光開始からの手ブレ量の合計が所定の閾値よりも小さいと判定された場合、処理はステップＳ７に進められる。ステップＳ７において、露光・読み出し制御部１５は、ステップＳ１で露光が開始されてから、設定されている露光時間に達したか否かを判定する。ここで、露光時間に達したと判定された場合、露光を終了するため、処理はステップＳ４に進められる。反対に、まだ露光時間に達していないと判定された場合、処理はステップＳ８に進められる。
ステップＳ８において、露光・読み出し制御部１５は、当該露光処理を開始してから１フレーム期間が経過したか否かを判定する。１フレーム期間が経過していない場合、露光が継続されたままで、処理はステップＳ２に戻されてそれ以降が繰り返される。反対に、１フレーム期間が経過した場合、処理はステップＳ９に進められる。
ステップＳ９において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に従って露光を終了する。ステップＳ１０において、露光・読み出し制御部１５は、１フレーム期間における手ブレ総量に応じて、処理対象のエリアの画素加算方式を決定し、制御情報として撮像部１１に通知する。
ステップＳ１１において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報（画素加算方式）に従い、画素データを読み出してデータ出力部１６に出力する。以上で当該露光処理は終了される。
以上説明したように、１フレーム期間におけるエリア毎の露光処理によれば、処理対象のエリアについて、露光開始からの手ブレ量が所定の閾値を超えない限界まで露光時間を確保することができるため、SNR向上を図ることができる。
また、露光開始からの手ブレ量の合計が大きければ（所定の閾値以上であれば）、直ちに露光を中止するので、該エリアに対する手ブレの影響を抑止することができる。さらに、１フレーム期間における手ブレ総量に応じて、処理対象のエリアの画素加算方式を決定するので、手ブレが小さい場合には、解像度を維持しつつSNR向上、省電力化を図ることができる。反対に、手ブレが大きい場合には、加算する画素の数を増すことにより解像度を落として感度を上げることができる。感度を上げた場合、露光時間を短くすることができるので、手ブレの影響を抑制することができる。
＜再生部１７におけるフレームの再合成＞
次に、画像データのパケットを受け取った再生部１７におけるフレームの再合成について説明する。
上述したように、本実施の形態では、手ブレ量が大きくぼやけてしまうエリアでは画素数が少なくなっているので、単純な線形補間によってエリア内の画素を復元してもフレーム全体に対して大きな劣化は生じにくい。
そこで、再生部１７では、例えば、次式（５）に示すような線形補間式によってエリア内の画素を復元する。
Figure 2016019076
 ・・・（５）
なお、式（５）において、ｘは復元する画素座標である。ｕは出力があった画素座標である。ｃはｘまたはｕにおけるカラーフィルタ識別子である。ｄ（ｘ，ｕ）は座標ｘ，ｕ間の距離である。ｗ（ｄ）は距離に応じて決まる重み関数である。Ｓは該エリアから出力があった画素座標の集合である。
式（５）を用いれば、復元しようとする画素と実際に出力のあった画素との距離によって決まる重み関数を利用してエリア内の画素を線形補間することができる。
なお、式（５）の他にも、画像の疎性に基づき、辞書を利用したスパースコーディング、または辞書なしのスパースコーディングによってエリア内の画素を復元するようにしてもよい。
次式（６）に辞書を利用したスパースコーディングの一例を示す。
Figure 2016019076
 ・・・（６）
なお、式（６）において、ｓは該エリアから出力があった全ての画素データのベクトルである。Ｄは事前に求められている学習データである。αは該エリアから出力された画素の位置を示すマスクベクトルである。ｐは該エリアの復元される全ての画素データのベクトルである。κはスパースコーディングで利用されるノルムであり、０，１がよく用いられる。
次式（７）に辞書を用いないスパースコーディングの一例を示す。
Figure 2016019076
 ・・・（７）
式（７）において、ｓは該エリアから出力があった全ての画素データのベクトルである。Ａは該エリアから出力された画素の位置を示すマスク行列である。ｐは該エリアの復元される全ての画素データのベクトルである。κはスパースコーディングで利用されるノルムであり、０，１がよく用いられる。
画像データのパケットからフレームを再合成する方法は、上述した式（５）乃至（７）に限るものではなく任意の式、方法を用いることができる。
なお、あるフレームの再生時刻までに、そのフレームを構成する、あるエリアに対応するパケットが再生部１７に供給されていなかった場合には、所定のエラー処理により、該エリア内の全画素の画素データを生成するようにする。所定のエラー処理としては、例えば、前のフレームの同じ位置のエリアの画素データを流用したり、同一フレームの隣接するエリアの画素データを用いて、対応するパケットが届いていないエリアの全画素を同一の画素データで塗りつぶしたりする方法を採用することができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本開示は以下のような構成も取ることができる。
（１）
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と
を備える撮像装置。
（２）
前記制御部は、さらに、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサ部の画素加算方式を制御する
前記（１）に記載の撮像装置。
（３）
前記制御部は、前記エリア毎に計算された前記手ブレ量に応じて前記エリア毎に、１フレーム周期の間に前記イメージセンサ部の露光と画素読み出しを１回以上実行させる
前記（１）または（２）に記載の撮像装置。
（４）
角速度または加速度の少なくとも一方を検出する動きセンサ部を
さらに備え、
前記計算部は、検出された前記角速度または前記加速度の少なくとも一方に基づき、前記エリア毎の手ブレ量を計算する
前記（１）から（３）のいずれかに記載の撮像装置。
（５）
前記計算部は、前記エリア毎にサンプリングされる複数の画素の画素データの分散に基づき、前記エリア毎の手ブレ量を計算する
前記（１）から（４）のいずれかに記載の撮像装置。
（６）
前記イメージセンサ部は、複数の画素が配置されている複数の領域毎に、前記複数の画素が共用する一つのADCが設けられており、
前記エリアは、一つのADCを共有する複数の画素が配置されている前記領域に相当する
前記（１）から（５）のいずれかに記載の撮像装置。
（７）
前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部を
さらに備える前記（１）から（６）のいずれかに記載の撮像装置。
（８）
前記データ出力部は、同一のエリアから読み出された前記画素データを同一のパケットに格納するとともに、フレームにおける前記エリアの位置を示すエリア番号を前記同一のパケットに記述する
前記（７）に記載の撮像装置。
（９）
前記データ出力部は、前記同一のパケットにさらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つを記述する
前記（８）に記載の撮像装置。
（１０）
前記データ出力部によって生成された、前記画素データがエリア毎にパケット化されている前記画像データに基づいて前記フレームを再合成する再生部を
さらに備える前記（７）から（９）のいずれかに記載の撮像装置。
（１１）
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の撮像方法において、
前記撮像装置による、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
を含む撮像方法。
（１２）
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の制御用のプログラムにおいて、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
を含む処理を撮像装置のコンピュータに実行させるプログラム。
（１３）
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と、
前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部と
を備える撮像装置から出力される前記画像データを再生する再生装置において、
前記画像データをパケット単位で取得する取得部と、
取得された前記画像データのパケットを解析し、前記パケットに対応する前記エリア毎に前記フレームを復元する復元部と
を備える再生装置。
（１４）
前記画像データの前記パケットには、同一のエリアから読み出された前記画素データが格納されているとともに、フレームにおける前記エリアの位置を示すエリア番号が記述されている
前記（１３）に記載の再生装置。
（１５）
前記画像データの前記パケットには、さらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つが記述されている
前記（１４）に記載の再生装置。
１０ 撮像装置， １１ 撮像部， １２ 角速度センサ， １３ 動き情報取得部， １４ 動き量計算部， １５ 露光・読み出し制御部， １６ データ出力部， １７ 再生部， １８ データ取得部， １９ 画像再合成部， ２０ 画像表示部， ３１ 光学レンズ部， ３２ イメージセンサ， ４１ 画素部， ４２ ADC， ４３ ADC群， ４４ エリア， ５０ パケット， １００ コンピュータ， １０１ CPU

Claims (15)

  1. フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
    前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
    前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と
    を備える撮像装置。
  2. 前記制御部は、さらに、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサ部の画素加算方式を制御する
    請求項１に記載の撮像装置。
  3. 前記制御部は、前記エリア毎に計算された前記手ブレ量に応じて前記エリア毎に、１フレーム周期の間に前記イメージセンサ部の露光と画素読み出しを１回以上実行させる
    請求項２に記載の撮像装置。
  4. 角速度または加速度の少なくとも一方を検出する動きセンサ部を
    さらに備え、
    前記計算部は、検出された前記角速度または前記加速度の少なくとも一方に基づき、前記エリア毎の手ブレ量を計算する
    請求項２に記載の撮像装置。
  5. 前記計算部は、前記エリア毎にサンプリングされる複数の画素の画素データの分散に基づき、前記エリア毎の手ブレ量を計算する
    請求項２に記載の撮像装置。
  6. 前記イメージセンサ部は、複数の画素が配置されている複数の領域毎に、前記複数の画素が共用する一つのADCが設けられており、
    前記エリアは、一つのADCを共有する複数の画素が配置されている前記領域に相当する
    請求項２に記載の撮像装置。
  7. 前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部を
    さらに備える請求項２に記載の撮像装置。
  8. 前記データ出力部は、同一のエリアから読み出された前記画素データを同一のパケットに格納するとともに、フレームにおける前記エリアの位置を示すエリア番号を前記同一のパケットに記述する
    請求項７に記載の撮像装置。
  9. 前記データ出力部は、前記同一のパケットにさらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つを記述する
    請求項８に記載の撮像装置。
  10. 前記データ出力部によって生成された、前記画素データがエリア毎にパケット化されている前記画像データに基づいて前記フレームを再合成する再生部を
    さらに備える請求項７に記載の撮像装置。
  11. フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の撮像方法において、
    前記撮像装置による、
    前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
    前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
    を含む撮像方法。
  12. フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の制御用のプログラムにおいて、
    前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
    前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
    を含む処理を撮像装置のコンピュータに実行させるプログラム。
  13. フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
    前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
    前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と、
    前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部と
    を備える撮像装置から出力される前記画像データを再生する再生装置において、
    前記画像データをパケット単位で取得する取得部と、
    取得された前記画像データのパケットを解析し、前記パケットに対応する前記エリア毎に前記フレームを復元する復元部と
    を備える再生装置。
  14. 前記画像データの前記パケットには、同一のエリアから読み出された前記画素データが格納されているとともに、フレームにおける前記エリアの位置を示すエリア番号が記述されている
    請求項１３に記載の再生装置。
  15. 前記画像データの前記パケットには、さらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つが記述されている
    請求項１４に記載の再生装置。
JP2014139507A 2014-07-07 2014-07-07 撮像装置、撮像方法、およびプログラム、並びに再生装置 Pending JP2016019076A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014139507A JP2016019076A (ja) 2014-07-07 2014-07-07 撮像装置、撮像方法、およびプログラム、並びに再生装置
US15/320,782 US10003745B2 (en) 2014-07-07 2015-06-23 Imaging apparatus, imaging method and program, and reproduction apparatus
PCT/JP2015/067945 WO2016006430A1 (ja) 2014-07-07 2015-06-23 撮像装置、撮像方法、およびプログラム、並びに再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014139507A JP2016019076A (ja) 2014-07-07 2014-07-07 撮像装置、撮像方法、およびプログラム、並びに再生装置

Publications (1)

Publication Number Publication Date
JP2016019076A true JP2016019076A (ja) 2016-02-01

Family

ID=55064068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014139507A Pending JP2016019076A (ja) 2014-07-07 2014-07-07 撮像装置、撮像方法、およびプログラム、並びに再生装置

Country Status (3)

Country Link
US (1) US10003745B2 (ja)
JP (1) JP2016019076A (ja)
WO (1) WO2016006430A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105187A1 (ja) * 2016-12-08 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像素子および撮像装置の制御方法
CN109151333A (zh) * 2018-08-22 2019-01-04 Oppo广东移动通信有限公司 曝光控制方法、装置以及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10306148B2 (en) * 2016-08-30 2019-05-28 Microsoft Technology Licensing, Llc Motion triggered gated imaging
JP2021132292A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、システム、及び、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2940762B2 (ja) * 1993-06-28 1999-08-25 三洋電機株式会社 手振れ補正装置を有するビデオカメラ
JP2902966B2 (ja) * 1994-12-16 1999-06-07 三洋電機株式会社 手振れ補正装置およびそれを用いたビデオカメラ
JP4434939B2 (ja) * 2004-12-27 2010-03-17 キヤノン株式会社 撮像装置及びその制御方法
JP4586534B2 (ja) * 2004-12-28 2010-11-24 セイコーエプソン株式会社 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
JP4277216B2 (ja) * 2005-01-13 2009-06-10 ソニー株式会社 撮像装置及び撮像結果の処理方法
JP2007139874A (ja) * 2005-11-15 2007-06-07 Canon Inc 撮像装置
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
JP4771000B2 (ja) 2010-07-23 2011-09-14 カシオ計算機株式会社 電子カメラ
JP2012175234A (ja) 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
JP5249377B2 (ja) * 2011-03-22 2013-07-31 キヤノン株式会社 撮像装置、及びその制御方法、プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105187A1 (ja) * 2016-12-08 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像素子および撮像装置の制御方法
US10834294B2 (en) 2016-12-08 2020-11-10 Sony Semiconductor Solutions Corporation Imaging device, imaging element, and method of controlling imaging device
CN109151333A (zh) * 2018-08-22 2019-01-04 Oppo广东移动通信有限公司 曝光控制方法、装置以及电子设备
US11233948B2 (en) 2018-08-22 2022-01-25 Shenzhen Heytap Technology Corp., Ltd. Exposure control method and device, and electronic device

Also Published As

Publication number Publication date
US20170155844A1 (en) 2017-06-01
WO2016006430A1 (ja) 2016-01-14
US10003745B2 (en) 2018-06-19

Similar Documents

Publication Publication Date Title
US9124807B2 (en) Imaging apparatus, control method therefor, and storage medium
JP5367640B2 (ja) 撮像装置および撮像方法
CA2827605A1 (en) Image pickup apparatus, method of controlling image pickup apparatus, and program
JP2004266322A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
WO2016006430A1 (ja) 撮像装置、撮像方法、およびプログラム、並びに再生装置
WO2013151873A1 (en) Joint video stabilization and rolling shutter correction on a generic platform
JP2011114649A (ja) 撮像装置
JP2014039223A5 (ja) 画像処理装置、その制御方法、および制御プログラム
KR20200011000A (ko) 증강 현실 프리뷰 및 위치 추적을 위한 장치 및 방법
CN104380710A (zh) 闪烁减少装置、拍摄装置以及闪烁减少方法
CN109076170B (zh) 图像处理设备、图像处理方法、成像设备和存储介质
JP2007243335A (ja) 手振れ補正方法、手振れ補正装置および撮像装置
KR101805629B1 (ko) 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치
US9066011B2 (en) Image synthesizing apparatus that synthesizes multiple images to obtain moving image, control method therefor, and storage medium
JP2017183870A (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
JP2011114486A (ja) 撮像装置
EP2117227B1 (de) Datenübertragungseinrichtung, Bildstabilisierungssystem und Bilderfassungseinheit
JP6198567B2 (ja) イメージセンサおよびその動作方法、並びに電子機器
WO2023042432A1 (ja) 撮像システム、処理装置、および機械学習装置
JP2006287946A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP6334288B2 (ja) 撮像装置およびカプセル内視鏡
JP4606976B2 (ja) 画像処理装置
JP2015026910A (ja) 撮像装置及びその制御方法
JP2006135838A (ja) 動き検出装置
CN115037915B (zh) 视频处理方法和处理装置