JP2018098524A - 撮像素子、撮像システムおよび撮像素子の制御方法 - Google Patents

撮像素子、撮像システムおよび撮像素子の制御方法 Download PDF

Info

Publication number
JP2018098524A
JP2018098524A JP2016238086A JP2016238086A JP2018098524A JP 2018098524 A JP2018098524 A JP 2018098524A JP 2016238086 A JP2016238086 A JP 2016238086A JP 2016238086 A JP2016238086 A JP 2016238086A JP 2018098524 A JP2018098524 A JP 2018098524A
Authority
JP
Japan
Prior art keywords
pixel data
areas
pixel
unit
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016238086A
Other languages
English (en)
Inventor
幸直 見城
Yukinao Kenjo
幸直 見城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2016238086A priority Critical patent/JP2018098524A/ja
Priority to PCT/JP2017/032487 priority patent/WO2018105187A1/ja
Priority to US16/340,963 priority patent/US10834294B2/en
Publication of JP2018098524A publication Critical patent/JP2018098524A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
    • H04N3/1562—Control of the image-sensor operation, e.g. image processing within the image-sensor for selective scanning, e.g. windowing, zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Abstract

【課題】動画データを撮像する撮像素子において、動画データのフレームレートの変換を容易にする。
【解決手段】画素アレイ部は、それぞれが複数の部分領域からなる複数の分割領域に分割される。走査回路は、複数の分割領域のそれぞれにおいて複数の部分領域のうち所定数の領域を第１の部分領域として露光させて第１の画素データを出力させる制御と、複数の分割領域のそれぞれにおいて複数の部分領域のうち第１の部分領域とは異なる領域を第２の部分領域として露光させて第２の画素データを出力させる制御とを順に行う。画像処理部は、第１の画素データを配列して第１のフレームを生成する処理と、第２の画素データを配列して第２のフレームを生成する処理とを順に行う。
【選択図】図２

Description

本技術は、撮像素子、撮像システムおよび撮像素子の制御方法に関する。詳しくは、動画データを撮像する撮像素子、撮像システムおよび撮像素子の制御方法に関する。
従来より、デジタルビデオカメラなどの撮像装置においては、画像データを撮像するために固体撮像素子が用いられている。例えば、画素アレイを複数の矩形のエリアに分割し、エリアごとにＡＤＣ（Analog to Digital Converter）を配置した固体撮像素子が提案されている（例えば、特許文献１参照。）。
特開２０１６−１９０７６号公報
上述の従来技術において、複数の画像データからなる動画データを撮像し、撮像後に、その動画データのフレームレートを高くするには、連続する２フレーム間に新たなフレームを補間する必要がある。しかしながら、フレームを補間する方法では、動画データのデータ量が大きいほど補間に要する処理量が大きくなり、また、動きの激しい被写体ほど補間が不正確となる。このように、上述の固体撮像素子では、データ量が多い動画データや動きの激しい被写体を撮像した動画データにおいてフレームレートの変換が困難になるという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、動画データを撮像する撮像素子において、動画データのフレームレートの変換を容易にすることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、それぞれが複数の部分領域からなる複数の分割領域に分割された画素アレイ部と、前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち所定数の領域を第１の部分領域として露光させて第１の画素データを出力させる制御と、前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち前記第１の部分領域とは異なる領域を第２の部分領域として露光させて第２の画素データを出力させる制御とを順に行う走査回路と、前記第１の画素データから第１のフレームを生成する処理と、前記第２の画素データから第２のフレームを生成する処理とを順に行う画像処理部とを具備する撮像装置、および、その制御方法である。これにより、第１の部分領域の露光により画素データから第１のフレームが生成され、第２の部分領域の露光により第２のフレームが生成されるという作用をもたらす。
また、この第１の側面において、前記複数の分割領域は、前記画素アレイ部を四分木分割により分割した領域であり、前記複数の部分領域は、前記複数の分割領域のそれぞれを四分木分割により分割した領域であり、前記走査回路は、前記第１および第２の部分領域のそれぞれを四分木探索により求めて露光してもよい。これにより、第１および第２の部分領域のそれぞれが四分木探索により取得されるという作用をもたらす。
また、この第１の側面において、互いに異なる区分領域に接続された複数のアナログデジタル変換器をさらに具備し、前記区分領域のそれぞれは、所定数の前記分割領域からなり、前記複数のアナログデジタル変換器のそれぞれは、前記接続された区分領域からの画素データに対してアナログデジタル変換を行って前記画像処理部に供給してもよい。これにより、区分領域ごとにアナログデジタル変換が行われるという作用をもたらす。
また、この第１の側面において、前記画素アレイ部において所定方向に配線された信号線をさらに具備し、前記画素データは、前記信号線を介して伝送され、前記走査回路は、所定方向に沿って配列された前記区分領域のそれぞれにおいて互いに異なる前記部分領域を前記第１の部分領域として露光させてもよい。これにより、所定方向に沿って配列された区分領域のそれぞれにおいて互いに異なる部分領域が露光されるという作用をもたらす。
また、この第１の側面において、前記走査回路は、所定の同期信号に同期して前記制御を行い、前記区分領域内の最後の画素データが出力されたタイミングから前記所定の同期信号の立上りのタイミングまでのブランク区間は略零であってもよい。これにより、露光タイミングの時間的、空間的な一様性を確保することができるという作用をもたらす。
また、この第１の側面において、前記撮像装置の動きを検出する動きセンサをさらに具備し、前記画像処理部は、前記第１のフレームの露光中心時刻と前記第１の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第１の画素データをマッピングして前記第１のフレームを生成し、前記第２のフレームの露光中心時刻と前記第２の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第２の画素データをマッピングして前記第２のフレームを生成してもよい。これにより、動きセンサからの動きに基づいたマッピングによりフレームが生成されるという作用をもたらす。
また、この第１の側面において、前記画像処理部は、前記生成した第１および第２のフレームのそれぞれにおいて欠陥画素を補間してもよい。これにより、欠陥画素が補間されたフレームが生成されるという作用をもたらす。
また、この第１の側面において、前記画像処理部は、前記第１および第２のフレームを含む動画データを生成する前段処理部と、前記動画データから前記撮像装置の動きを推定する動き推定部と、前記第１のフレームの露光中心時刻と前記第１の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第１の画素データをマッピングして前記第１のフレームを生成し、前記第２のフレームの露光中心時刻と前記第２の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第２の画素データをマッピングして前記第２のフレームを生成する後段処理部とを備えてもよい。これにより、動画データから推定された動きに基づいたマッピングによりフレームが生成されるという作用をもたらす。
また、この第１の側面において、前記画像処理部は、前記第１および第２のフレームのダイナミックレンジを拡大してもよい。これにより、ダイナミックレンジの広いフレームが生成されるという作用をもたらす。
また、この第１の側面において、前記画像処理部は、互いに一部が重複する前記第１および第２のフレームを生成してもよい。これにより、フレームの解像度やフレームレートが向上するという作用をもたらす。
また、本技術の第２の側面は、それぞれが複数の部分領域からなる複数の分割領域に分割された画素アレイ部と、前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち所定数の領域を第１の部分領域として露光させて第１の画素データを出力させる制御と、前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち前記第１の部分領域とは異なる領域を第２の部分領域として露光させて第２の画素データを出力させる制御とを順に行う走査回路とを具備する撮像素子である。これにより、互いに異なるフレームに対応する部分領域のそれぞれが露光されるという作用をもたらす。
本技術によれば、動画データを撮像する撮像素子において、動画データのフレームレートの変換を容易にすることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素アレイ部とＡＤ変換部との間の配線の一例を示す斜視図である。 本技術の第１の実施の形態における画素アレイ部の一構成例を示す平面図である。 本技術の第１の実施の形態における空間分割方法を説明するための図である。 本技術の第１の実施の形態におけるエリア内の画素の露光順の一例を示す図である。 本技術の第１の実施の形態における第１サブフレームに対応する領域を示す図である。 本技術の第１の実施の形態における第２サブフレームに対応する領域を示す図である。 本技術の第１の実施の形態における第３サブフレームに対応する領域を示す図である。 本技術の第１の実施の形態における第４サブフレームに対応する領域を示す図である。 本技術の第１の実施の形態における露光タイミングを示すタイミングチャートの一例である。 本技術の第１の実施の形態における画像処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における圧縮部の一構成例を示すブロック図である。 本技術の第１の実施の形態における伸長部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるフレームレート変換部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるマッピング処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における露光中心と動きベクトルとの関係を示す図である。 本技術の第１の実施の形態における動きベクトルの一例を示す図である。 本技術の第１の実施の形態における正規化部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるガウシアンフィルタにおける係数の一構成例を示す図である。 本技術の第１の実施の形態におけるフレームレート変換前後の動画データの一例を示す図である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態における撮像処理の一例を示すフローチャートである。 本技術の第１の実施の形態におけるレイヤＬ２アドレス取得処理の一例を示すフローチャートである。 本技術の第１の実施の形態におけるレイヤＬ１アドレス取得処理の一例を示すフローチャートである。 本技術の第１の実施の形態におけるレイヤＬ４露光処理の一例を示すフローチャートである。 本技術の第１の実施の形態におけるフレームレート変換処理の一例を示すフローチャートである。 本技術の第１の実施の形態におけるスキャン方式ごとの欠陥画素率の一例を示す図である。 本技術の第１の実施の形態におけるカラムＡＤＣの場合の画素アレイ部の一構成例を示す平面図である。 本技術の第１の実施の形態におけるアドレスのシフト方法について説明するための図である。 本技術の第１の実施の形態の第１の変形例における空間分割方法の一例を示す図である。 本技術の第１の実施の形態の第２の変形例における正規化部の一構成例を示すブロック図である。 本技術の第１の実施の形態の第３の変形例におけるフレームの分割方法の一例を示す図である。 本技術の第２の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第２の実施の形態におけるフレームレート変換部の一構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（サブフレームごとにレイヤ内の異なる部分を露光する例）
２．第２の実施の形態（動きを推定し、サブフレームごとにレイヤ内の異なる部分を露光する例）
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、時系列順に複数の画像データを含む動画データを撮像するものであり、撮像レンズ１１０、撮像素子２００、撮像制御部１２０、画像処理部１３０、動きセンサ１４０、データストレージ１５０および表示部１６０を備える。撮像装置１００としては、例えば、スマートフォンやパーソナルコンピュータなどの撮像機能を持つ情報処理装置や、デジタルカメラが挙げられる。
撮像レンズ１１０は、被写体からの光を集光して撮像素子２００に導くものである。
撮像制御部１２０は、撮像素子２００を制御して画像データを撮像させるものである。この撮像制御部１２０は、例えば、ユーザの所定の操作（シャッターボタンの押下など）に応じて、撮像制御部１２０は、撮像素子２００への垂直同期信号ＶＳＹＮＣの供給を開始する。この垂直同期信号ＶＳＹＮＣは、撮像のタイミングを示す所定周波数（例えば、３０ヘルツ）の同期信号であり、信号線１２９を介して供給される。そして、撮像制御部１２０は、ユーザの所定の操作（停止ボタンの押下など）に応じて垂直同期信号ＶＳＹＮＣの供給を停止する。
撮像素子２００は、垂直同期信号ＶＳＹＮＣに同期して、画像データを撮像するものである。例えば、ＣＭＯＳ（Complementary MOS）センサが撮像素子２００として用いられる。そして、撮像素子２００は、撮像した画像データを信号線２０９を介して画像処理部１３０に供給する。
動きセンサ１４０は、撮像装置１００の動きを検出するものである。例えば、加速度センサやジャイロセンサが動きセンサ１４０として用いられる。この動きセンサ１４０には、測定タイミングを示す所定の周波数のタイミング信号が入力される。動きセンサ１４０は、そのタイミング信号の周期が経過するたびに、動きを測定して、その測定値を示す動きデータを画像処理部１３０に信号線１４９を介して供給する。
画像処理部１３０は、画像データからなる動画データに対して所定の画像処理を実行するものである。この画像処理部１３０は、動画データを圧縮し、動きセンサ１４０からの動きデータとともにデータストレージ１５０に信号線１３９を介して供給する。
また、画像処理部１３０は、動画データの再生や編集がユーザにより指示されると、信号線１３９を介してデータストレージ１５０から動画データを読み出して伸長する。伸長の際に、画像処理部１３０は、動きデータを用いて動画データのフレームレートの変換を行う。そして、画像処理部１３０は、伸長した動画データを信号線１３８を介して表示部１６０に供給する。
データストレージ１５０は、動画データや動きデータなどの様々なデータを記録するものである。表示部１６０は、動画データを表示するものである。
なお、撮像レンズ１１０、撮像素子２００、撮像制御部１２０、画像処理部１３０、動きセンサ１４０、データストレージ１５０および表示部１６０を１つの装置内に配置しているが、これらを複数の装置に分散して配置してもよい。例えば、撮像レンズ１１０、撮像素子２００および撮像制御部１２０をカメラモジュールに配置し、画像処理部１３０、動きセンサ１４０、データストレージ１５０および表示部１６０を情報処理装置に配置してもよい。
［撮像素子の構成例］
図２は、本技術の第１の実施の形態における撮像素子２００の一構成例を示すブロック図である。この撮像素子２００は、積層された上側基板２０１および下側基板２０２を備える。上側基板２０１には、走査回路２１０および画素アレイ部２２０が配置され、下側基板２０２にはＡＤ変換部２６０が配置される。
画素アレイ部２２０は、正方形の複数のエリア２２１に区分される。これらのエリア２２１は、二次元格子状に配列される。そして、それぞれのエリア２２１には、複数の画素が配列される。なお、エリア２２１は、特許請求の範囲に記載の区分領域の一例である。
ここで、所定方向（水平方向など）に沿って配列されるエリア２２１の個数をＰ（Ｐは整数）個とし、その所定方向に垂直な方向に沿って配列されるエリア２２１の個数をＱ（Ｑは整数）個とする。水平方向においてｐ個（ｐは０乃至Ｐ−１の整数）目で、垂直方向においてｑ（ｑは０乃至Ｑ−１の整数）個目のエリア２２１を以下、「エリアＡ［ｑ］［ｐ］」と称する。
ＡＤ変換部２６０には、エリア２２１と同じ個数のＡＤＣ２６１が設けられる。ＡＤＣ２６１のそれぞれは、互いに異なるエリア２２１と１対１で接続されている。エリア２２１がＰ×Ｑ個であるため、ＡＤＣ２６１もＰ×Ｑ個、配置される。エリア２２１内の画素は、アナログの画素データを生成し、対応するＡＤＣ２６１に供給する。ＡＤＣ２６１は、そのアナログの画素データをＡＤ変換してデジタルの画素データを生成する。これらのデジタルの画素データを配列したフレームが原フレームとして画像処理部１３０へ出力される。なお、ＡＤＣ２６１は、特許請求の範囲に記載のアナログデジタル変換器の一例である。
なお、撮像素子２００において、エリア２２１ごとに、ＡＤＣ２６１を配置しているが、画素のカラムごとにＡＤＣ２６１を配置してもよい。
図３は、本技術の第１の実施の形態における画素アレイ部２２０とＡＤ変換部２６０との間の配線の一例を示す斜視図である。エリア２２１のそれぞれは、その直下のＡＤＣ２６１と１対１でＣｕ−Ｃｕ接続などにより接続される。エリアＡＤＣがＰ×Ｑ個である場合、Ｐ×Ｑ本の配線により、画素アレイ部２２０とＡＤ変換部２６０とが接続される。
［画素アレイ部の構成例］
図４は、本技術の第１の実施の形態における画素アレイ部２２０の一構成例を示す平面図である。エリアＡ［０］［０］には、例えば、１６行×１６列の２５６個の画素２２３が二次元格子状に配列される。
エリアＡ［０］［０］以外のエリア２２１の構成は、エリアＡ［０］［０］と同様である。
図５は、本技術の第１の実施の形態における空間分割方法を説明するための図である。エリア２２１のそれぞれは、四分木分割により分割される。ここで、四分木分割とは、２次元空間を再帰的に４つの領域に分割する方式を意味する。四分木分割により分割された領域のそれぞれを以下、「レイヤ」と称する。
例えば、エリア２２１には、１６行×１６列の画素２２３が配列され、このエリア２２１は、レイヤＬ１［０］［０］、レイヤＬ１［０］［１］、レイヤＬ１［１］［０］およびレイヤＬ１［１］［１］の４つに分割される。レイヤＬ１［ｙ］［ｘ］のｘは、エリア２２１内のレイヤの相対Ｘアドレスを示し、ｙは、相対Ｙアドレスを示す。
そして、レイヤＬ１［ｙ］［ｘ］のそれぞれは、レイヤＬ２［０］［０］、レイヤＬ２［０］［１］、レイヤＬ２［１］［０］およびレイヤＬ２［１］［１］の４つに分割される。レイヤＬ２［ｙ］［ｘ］のｘは、レイヤＬ１内のレイヤの相対Ｘアドレスを示し、ｙは、相対Ｙアドレスを示す。
以下、同様に、レイヤＬ２のそれぞれは、４つのレイヤＬ３に分割され、レイヤＬ３のそれぞれは４つのレイヤＬ４（すなわち、画素２２３）に分割される。これらの画素２２３は、例えば、ベイヤ配列により配列される。レイヤＬ１、Ｌ２、Ｌ３およびＬ４の上下関係は、レイヤＬ１が最も上位であり、レイヤＬ２、Ｌ３、Ｌ４の順で下位である。
また、エリア２２１内の画素２２３の相対Ｘアドレスは、例えば、「ｂｘ１ｂｘ２ｂｘ３ｂｘ４」により表される。ｂｘ１は、レイヤＬ１の相対Ｘアドレスを示すビットである。ｂｘ２、ｂｘ３、および、ｂｘ４は、レイヤＬ２、Ｌ３およびＬ４の相対Ｘアドレスを示すビットである。エリア２２１内の画素２２３の相対Ｙアドレスは、例えば、「ｂｙ１ｂｙ２ｂｙ３ｂｙ４」により表される。ｂｙ１、ｂｙ２、ｂｙ３、および、ｂｙ４は、レイヤＬ１、Ｌ２、Ｌ３およびＬ４の相対Ｙアドレスを示すビットである。
なお、エリア２２１をレイヤＬ１乃至Ｌ４の４階層に分割しているが、階層数は４つに限定されない。
このように、四分木分割により空間分割することにより、走査回路２１０は、画素２２３のアドレスを四分木探索により取得することができる。ここで、四分木探索は、四分木分割により分割された領域を再帰的な処理により探索する方式である。
図６は、本技術の第１の実施の形態におけるエリア２２１内の画素の露光順の一例を示す図である。同図における数値は、画素ごとの露光の順番を示す。例えば、１６行×１６列の２５６画素のそれぞれに「０」乃至「２５５」の露光順が割り当てられる。なお、エリア２２１内の画素数は、２５６個に限定されない。
走査回路２１０は、四分木探索により露光対象のレイヤのアドレスを取得する。例えば、走査回路２１０は、Ｌ３の相対アドレス（ｂｙ３、ｂｘ３）として（０、０）を取得して、レイヤＬ２の相対アドレスを取得するサブルーチンを呼び出す。次いで、走査回路２１０は、Ｌ３の相対アドレス（ｂｙ３、ｂｘ３）として（１、１）を取得して、レイヤＬ２の相対アドレスを取得するサブルーチンを呼び出す。そして、走査回路２１０は、Ｌ３の相対アドレス（ｂｙ３、ｂｘ３）として（０、１）を取得して同様のサブルーチンを呼び出し、Ｌ３の相対アドレス（ｂｙ３、ｂｘ３）として（１、０）を取得して同様のサブルーチンを呼び出す。
レイヤＬ２の相対アドレスを取得するサブルーチンにおいて、走査回路２１０は、Ｌ２の相対アドレス（ｂｙ２、ｂｘ２）として（０、０）を取得して、レイヤＬ１の相対アドレスを取得するサブルーチンを呼び出す。次いで、走査回路２１０は、Ｌ２の相対アドレス（ｂｙ２、ｂｘ２）として（１、１）を取得して、レイヤＬ１の相対アドレスを取得するサブルーチンを呼び出す。そして、走査回路２１０は、Ｌ２の相対アドレス（ｂｙ２、ｂｘ２）として（０、１）を取得して同様のサブルーチンを呼び出し、Ｌ２の相対アドレス（ｂｙ２、ｂｘ２）として（１、０）を取得して同様のサブルーチンを呼び出す。
レイヤＬ１の相対アドレスを取得するサブルーチンにおいて、走査回路２１０は、Ｌ１の相対アドレス（ｂｙ１、ｂｘ１）として（０、０）を取得して、レイヤＬ４の相対アドレスを取得するサブルーチンを呼び出す。次いで、走査回路２１０は、Ｌ１の相対アドレス（ｂｙ１、ｂｘ１）として（１、１）を取得して、レイヤＬ４の相対アドレスを取得するサブルーチンを呼び出す。そして、走査回路２１０は、Ｌ１の相対アドレス（ｂｙ１、ｂｘ１）として（０、１）を取得して同様のサブルーチンを呼び出し、Ｌ１の相対アドレス（ｂｙ１、ｂｘ１）として（１、０）を取得して同様のサブルーチンを呼び出す。
レイヤＬ４の相対アドレスを取得するサブルーチンにおいて、走査回路２１０は、レイヤＬ４の相対アドレス（ｂｙ４、ｂｘ４）として（０、０）を取得する。そして、走査回路２１０は、エリア２２１内の相対アドレス（Ｙ、Ｘ）の画素の露光を開始させる。次いで、走査回路２１０は、レイヤＬ４の相対アドレス（ｂｙ４、ｂｘ４）として（０、１）、（１、０）および（１、１）を順に取得し、それらに対応する画素の露光を順に開始させる。このように、再帰的な四分木探索によりアドレスが求められる。
そして、走査回路２１０は、露光の開始順と同じ順序で画素のそれぞれの露光を終了させて画素データを出力させる。このように、四分木探索により露光対象のレイヤのアドレスを求めて露光する制御を以下、「Ｑ（Quad）ツリースキャン」と称する。Ｑツリースキャンにより、画素のそれぞれの露光タイミングの時間的、空間的な一様性を確保することができる。
続いて、画像処理部１３０は、伸長する際に、原フレーム内のそれぞれのエリア２２１において、そのエリア内の画素群を、露光順が連続するＫ（Ｋは、２以上の整数）個のグループに分割する。例えば、エリア２２１内の画素数が「２５６」で、Ｋを「４」とする。この場合、０番目から６３番目の露光順のグループと、６４番目から１２７番目の露光順のグループと、１２８番目から１９１番目の露光順のグループと、１９２番目から２５５番目の露光順のグループとに分割される。
そして、画像処理部１３０は、それぞれのグループ内の画素データを配列して、グループごとに１枚の画像データをサブフレームとして生成する。これにより、１枚の原フレームからＫ（例えば、「４」）枚のサブフレームが生成される。画像処理部１３０が、動画データ内の原フレームごとに分割を行うことにより、フレームレートをＫ倍にすることができる。ただし、サブフレームの画素数（解像度）は、原フレームの１／Ｋとなる。例えば、解像度が３８４０×２１６０画素で原フレームレート３０ｆｐｓ（Frames Per Second）の動画データは、解像度が（３８４０／２）×（２１６０／２）画素で出力フレームレートが１２０ｆｐｓの動画データに変換される。以下、フレームレート変換前のフレームレートを「原フレームレート」と称し、変換後のフレームレートを「出力フレームレート」と称する。
図７は、本技術の第１の実施の形態における第１サブフレームに対応する領域を示す図である。走査回路２１０は、撮像が開始されると、一定の順序で最初のグループ内の０乃至６３番目の露光順の画素を順に露光させる。これにより、太枠で囲った６４個の画素の画素データが読み出される。同図に例示するように、それぞれのレイヤＬ２において左上の１個のレイヤＬ３の部分が露光される。レイヤＬ１からみると、それぞれのレイヤＬ１内で４個のレイヤＬ３の部分が露光される。分割数Ｋが「４」の場合、これらの部分の画素データから、最初の第１サブフレームが生成される。エリア２２１の個数はＰ×Ｑ個であるため、サブフレームの画素数は、Ｐ×Ｑ×６４画素である。なお、これらの最初のグループ内の画素データは、特許請求の範囲に記載の第１画素データの一例である。
ここで、一般的な撮像素子ではラスタスキャンが行われるが、ラスタスキャンでは、時間的、空間的に、露光タイミングがエリア２２１内の一部に偏ってしまう。例えば、ラスタスキャンでは、０番目から６３番目に、４行×１６列の６４画素が露光され、露光タイミングが、この４行に偏ってしまう。ランダムに画素を選択して露光するランダムスキャンも知られているが、このランダムスキャンでは、ラスタスキャンよりも一様性は確保されているものの、依然として露光タイミングに偏りが生じてしまう。
これに対して、撮像素子２００では、図７に例示したように、０番目から６３番目の画素は、エリア２２１内に一様に分布しており、露光タイミングの時間的、空間的な一様性を確保することができる。
図８は、本技術の第１の実施の形態における第２サブフレームに対応する領域を示す図である。走査回路２１０は、６３番目の画素を露光させた後に、２番目のグループ内の６４乃至１２７番目の露光順の画素を順に露光させる。これにより、太枠で囲った６４個の画素の画素データが読み出される。同図に例示するように、それぞれのレイヤＬ２において右下のレイヤＬ３の部分が露光される。分割数Ｋが「４」の場合、これらの部分の画素データから、２番目の第２サブフレームが生成される。なお、これらの２番目のグループ内の画素データは、特許請求の範囲に記載の第２画素データの一例である。
図９は、本技術の第１の実施の形態における第３サブフレームに対応する領域を示す図である。走査回路２１０は、１２７番目の画素を露光させた後に、３番目のグループ内の１２８乃至１９１番目の露光順の画素を順に露光させる。これにより、太枠で囲った６４個の画素の画素データが読み出される。同図に例示するように、それぞれのレイヤＬ２において右上のレイヤＬ３の部分が露光される。分割数Ｋが「４」の場合、これらの部分の画素データから、３番目の第３サブフレームが生成される。
図１０は、本技術の第１の実施の形態における第４サブフレームに対応する領域を示す図である。走査回路２１０は、１９１番目の画素を露光させた後に、４番目のグループ内の１９２乃至２５５番目の露光順の画素を順に露光させる。これにより、太枠で囲った６４個の画素の画素データが読み出される。同図に例示するように、それぞれのレイヤＬ２において左下のレイヤＬ３の部分が露光される。分割数Ｋが「４」の場合、これらの部分の画素データから、４番目の第４サブフレームが生成される。
なお、レイヤＬ３より上位のレイヤＬ１およびレイヤＬ２は、特許請求の範囲に記載の分割領域の一例である。また、レイヤＬ３は、特許請求の範囲に記載の部分領域の一例である。それぞれのサブフレームにおいてレイヤＬ１内で露光されるレイヤＬ３の個数である「４」と、レイヤＬ２内で露光されるレイヤＬ３の個数である「１」とは、特許請求の範囲に記載の所定数の一例である。
図１１は、本技術の第１の実施の形態における露光タイミングを示すタイミングチャートの一例である。同図において、白色の部分の長さは、画素の露光時間ＴＥＸを示す。また、斜線部分の長さは、画素データのＡＤ変換に要する時間ＴＡＤを示す。
走査回路２１０は、垂直同期信号ＶＳＹＮＣの立上りのタイミングｔ３よりもＴＥＸ＋ＴＡＤだけ前のタイミングｔ０において、Ｐ×Ｑ個のエリア２２１のそれぞれの０番目の露光順の画素を駆動して露光を開始させる。そして、タイミングｔ０からＴＡＤ＋Ｔｂの時間が経過したタイミングｔ１において、走査回路２１０は、Ｐ×Ｑ個のエリア２２１のそれぞれの１番目の露光順の画素を駆動して露光を開始させる。そして、タイミングｔ０からＴＥＸが経過したタイミングｔ２において走査回路２１０は、０番目の画素の露光を終了させて画素データを出力させる。タイミングｔ１からＴＥＸが経過したタイミングｔ４において、走査回路２１０は、１番目の画素の露光を終了させて画素データを出力させる。以下、３番目以降の画素が順に露光される。そして、タイミングｔ５において、それぞれのエリア２２１内の最後の画素のＡＤ変換が終了する。タイミングｔ３から、垂直同期信号ＶＳＹＮＣの周期ＴＶＳＹＮＣが経過したタイミングｔ６において、次のフレームの最初の画素のＡＤ変換が終了する。
エリア２２１ごとに、その内部の画素群は、露光順が連続するＫ個のグループに分割され、グループごとに１枚のサブフレームが生成される。例えば、エリア２２１の画素数が「２５６」で、Ｋが「４」の場合、０番目から６３番目の露光順の６４画素（すなわち、最初のグループ）から最初のサブフレームＳ［０］が生成される。次に、６４番目から１２７番目の露光順の６４画素（すなわち、２番目のグループ）からサブフレームＳ［１］が生成される。以下、同様に、サブフレームＳ［２］からサブフレームＳ［Ｋ−１］（Ｓ［３］）までが原フレームから生成される。エリア２２１はＰ×Ｑ個であるため、それぞれのサブフレームの画素数は、Ｐ×Ｑ×６４画素である。
ここで、Ｔｂには、次の式を満たす値が設定される。
（ＴＡＤ＋Ｔｂ）×Ｍ＝ＴＶＳＹＮＣ
上式において、Ｍは、エリア２２１内の画素数（例えば、２５６）である。
このようにＴｂを設定することにより、エリア２２１内で最後の画素データが出力されたタイミングから、垂直同期信号ＶＳＹＮＣの立上りのタイミングまでの時間であるブランク期間を略零にすることができる。
ラスタスキャンを行う一般的な撮像素子では、フォーカルプレーン歪みを小さくする観点からＴｂは略零に設定され、この結果、ブランク区間は長くなる。このため、垂直同期信号ＶＳＹＮＣの周期ＴＶＳＹＮＣ内において、ブランク期間外の期間に、露光タイミングが集中してしまう。
これに対して、撮像素子２００では、前述したようにブランク期間を略零にするため、周期ＴＶＳＹＮＣ内において、露光タイミングが一様に分布する。したがって、サブフレームのそれぞれの露光時間の時間的な一様性を確保することができる。なお、撮像素子２００では、Ｑツリースキャンを行うため、フォーカルプレーン歪みは生じない。
［画像処理部の構成例］
図１２は、本技術の第１の実施の形態における画像処理部１３０の一構成例を示すブロック図である。この画像処理部１３０は、圧縮部１３１および伸長部１３５を備える。
圧縮部１３１は、撮像素子２００からの動画データを圧縮するものである。圧縮された動画データは、動きデータとともにデータストレージ１５０に記録される。
伸長部１３５は、ユーザの操作に従って、圧縮された動画データをデータストレージ１５０から読み出して伸長するものである。伸長部１３５は、伸長した動画データを表示部１６０に供給する。
［圧縮部の構成例］
図１３は、本技術の第１の実施の形態における圧縮部１３１の一構成例を示すブロック図である。この圧縮部１３１は、デモザイク処理部１３２およびエンコード部１３３を備える。
デモザイク処理部１３２は、動画データ内の原フレームに対して、デモザイク処理を行うものである。ここで、デモザイク処理は、画素ごとに、その画素に足りない色情報を周囲から補間して、画素ごとにＲ（Red）、Ｇ（Green）およびＢ（Blue)の色情報を持つフルカラー画像を生成する処理である。デモザイク処理部１３２は、デモザイク後の原フレームをエンコード部１３３に供給する。
エンコード部１３３は、所定のコーデックを用いて、動画データを圧縮（すなわち、エンコード）するものである。例えば、ＭＰＥＧ（Moving Picture Experts Group）−２やＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）の規格に準拠したコーデックが用いられる。あるいは、ＭＰＥＧ ＨＶＣ（High-performance Video Coding）やＤＳＣ（Display Stream Compression）の規格に準拠したコーデックが用いられる。エンコード部１３３は、圧縮した動画データをデータストレージ１５０に記録する。
［伸長部の構成例］
図１４は、本技術の第１の実施の形態における伸長部１３５の一構成例を示すブロック図である。この伸長部１３５は、デコード部１３６、ベイヤー化部１３７およびフレームレート変換部３００を備える。
デコード部１３６は、エンコード部１３３と同様のコーデックを用いて、圧縮された動画データを伸長（デコード）するものである。このデコード部１３６は、伸長した動画データをベイヤー化部１３７に供給する。
ベイヤー化部１３７は、動画データ内のフルカラーの原フレームをベイヤー配列の画像に変換するものである。すなわち、デモザイク処理と逆の処理が行われる。ベイヤー化部１３７は、変換後の原フレームのそれぞれをフレームレート変換部３００に供給する。
フレームレート変換部３００は、動画データのフレームレートを変換するものである。フレームレートの変換の際にフレームレート変換部３００は、動きデータを用いて手ブレ補正を行う。フレームレート変換部３００は、サブフレームからなる動画データを表示部１６０に出力する。
なお、画像処理部１３０は、原フレームを圧縮した後に伸長してフレームレートを変換しているが、圧縮および伸長を行わずに、撮像素子２００からの原フレームのフレームレートの変換のみを行ってもよい。この場合には、圧縮部１３１、デコード部１３６、および、ベイヤー化部１３７は不要となる。
［フレームレート変換部の構成例］
図１５は、本技術の第１の実施の形態におけるフレームレート変換部３００の一構成例を示すブロック図である。このフレームレート変換部３００は、マッピング計算部３１０、マッピング処理部３２０、正規化部３３０および制御部３４０を備える。
マッピング計算部３１０は、動きデータの示す動きに基づいて、マッピングデータを計算するものである。ここで、マッピングデータは、動きデータから得られた動き量に基づいて原フレーム内の画素のそれぞれを、サブフレーム内にマッピングする際のマッピング先のアドレスを示すデータである。この動き量は、動きセンサ１４０により測定された加速度や角速度の測定値から算出される。動き量の計算においては、必要に応じて線形補間などの内挿補間が行われる。マッピング計算部３１０は、マッピングデータをマッピング処理部３２０に供給する。
マッピング処理部３２０は、マッピングデータに基づいて、原フレーム内の画素のそれぞれをマッピングするものである。このマッピング処理部３２０は、Ｋ個のグループごとにマッピングを行い、それぞれのマッピング後のデータをサブフレームとして正規化部３３０に供給する。これにより、フレームレートが変換される。
正規化部３３０は、サブフレームに対して所定の正規化処理を行うものである。正規化部３３０は、正規化処理後のサブフレームを表示部１６０に供給する。
制御部３４０は、フレームレート変換部３００全体を制御するものである。例えば、制御部３４０は、画素ごとに、その画素アドレスと、その露光順を示す露光順インデックスとをマッピング計算部３１０に供給する。また、制御部３４０は、Ｒ、ＧおよびＢのカラーチャネルをマッピング処理部３２０に供給する。また、制御部３４０は、所定のタイミング信号を正規化部３３０に供給する。
［マッピング処理部の構成例］
図１６は、本技術の第１の実施の形態におけるマッピング処理部３２０の一構成例を示すブロック図である。このマッピング処理部３２０は、セレクタ３２１、Ｒチャネルバッファ更新部３２２、Ｇチャネルバッファ更新部３２３、Ｂチャネルバッファ更新部３２４、Ｒチャネルバッファ３２５、Ｇチャネルバッファ３２６およびＢチャネルバッファ３２７を備える。
セレクタ３２１は、制御部３４０からのカラーチャネルに従って、データストレージ１５０およびマッピング計算部３１０からの画素データおよびマッピングデータの出力先を切り替えるものである。Ｒチャネルが指定された場合にセレクタ３２１は、画素データおよびマッピングデータをＲチャネルバッファ更新部３２２に供給する。また、セレクタ３２１は、Ｇチャネルが指定された場合に画素データおよびマッピングデータをＧチャネルバッファ更新部３２３に供給し、Ｂチャネルが指定された場合に画素データおよびマッピングデータをＢチャネルバッファ更新部３２４に供給する。
Ｒチャネルバッファ更新部３２２は、マッピングデータに従って、セレクタ３２１からの画素データにより、Ｒチャネルバッファ３２５を更新するものである。Ｇチャネルバッファ更新部３２３は、マッピングデータに従って、セレクタ３２１からの画素データにより、Ｇチャネルバッファ３２６を更新するものである。Ｂチャネルバッファ更新部３２４は、マッピングデータに従って、セレクタ３２１からの画素データにより、Ｂチャネルバッファ３２７を更新するものである。
Ｒチャネルバッファ３２５は、Ｒチャネルのワーキングバッファおよび重みテーブルを保持するものである。ワーキングバッファおよび重みテーブルについては後述する。また、Ｇチャネルバッファ３２６は、Ｇチャネルのワーキングバッファおよび重みテーブルを保持するものであり、Ｂチャネルバッファ３２７は、Ｂチャネルのワーキングバッファおよび重みテーブルを保持するものである。これらのバッファに保持されたデータは、後段の正規化部３３０により読み出される。
図１７は、本技術の第１の実施の形態における露光中心と動きベクトルとの関係を示す図である。マッピング計算部３１０は、サブフレーム内の画素データに順に着目し、着目した画素データの露光中心時刻と、そのサブフレームの露光中心時刻との一方から他方までの撮像装置１００の動き量および動き方向を示す動きベクトルを動きデータに基づいて取得する。同図において丸印は、サブフレームの露光中心時刻を示す。
例えば、サブフレーム内で最初に露光された画素データの露光中心時刻がｔ１１であり、サブフレームの露光中心時刻ｔ１２が、ｔ１１の後である場合には、その画素データについてｔ１１からｔ１２までの動きを示す動きベクトルが求められる。サブフレーム内で最後に露光された画素データの露光中心時刻がｔ１３であり、そのｔ１２がｔ１３の前である場合には、その画素データについてｔ１３からｔ１２までの動きを示す動きベクトルが、求められる。
図１８は、本技術の第１の実施の形態における動きベクトルの一例を示す図である。前述したように、マッピング計算部３１０は、画素毎に動きベクトルを算出する。同図において、矢印は、太枠で囲った着目画素について得られた動きベクトルを示す。黒丸は、動きベクトルの始点を示し、そのアドレスは、着目画素のアドレスである。また、白丸は、動きベクトルの終点を示す。ここで、動きセンサ１４０の解像度は、撮像素子２００の解像度よりも高いものとする。例えば、動きセンサ１４０のある方向の解像度が２１８程度であるのに対し、その方向の撮像素子２００の解像度は２１２乃至２１３である。このため、終点のアドレスは、画素のアドレスよりも高い精度で算出される。例えば、画素のアドレスが整数値で表されるのに対し、動きベクトルの終点のアドレスは、一定の桁数の実数により表される。
そこで、終点を含む画素のＸアドレス（整数）から、終点のＸアドレス（実数）までの距離と、終点のＸアドレス（実数）から、終点の右隣の画素のＸアドレス（整数）までの距離との比率をａ：１−ａとする。また、終点を含む画素のＹアドレス（整数）から、終点のＹアドレス（実数）までの距離と、終点のＹアドレス（実数）から、終点の真下の画素のＹアドレス（整数）までの距離との比率をｂ：１−ｂとする。ここで、ａおよびｂは、０以上、１未満の実数である。
マッピング処理部３２０は、画素データのそれぞれの値を用いて下記の式により、Ｒチャネルバッファ３２５、Ｇチャネルバッファ３２６およびＢチャネルバッファ３２７からなるワーキングバッファおよび重みテーブルを更新する。
work_buff(c,y,x)=work_buff(c,y,x)+(1-a)(1-b)・src_pix(c,y,x)
work_buff(c,y,x+1)=work_buff(c,y,x+1)+a(1-b)・src_pix(c,y,x)
work_buff(c,y+1,x)=work_buff(c,y+1,x)+b(1-a)・src_pix(c,y,x)
work_buff(c,y+1,x+1)=work_buff(c,y+1,x+1)+ab・src_pix(c,y,x)
weight_table(c,y,x)=weight_table(c,y,x)+(1-a)(1-b)
weight_table(c,y,x+1)=weight_table(c,y,x+1)+a(1-b)
weight_table(c,y+1,x)=weight_table(c,y+1,x)+b(1-a)
weight_table(c,y+1,x+1)=weight_table(c,y+1,x+1)+ab
上式において、ｃは、カラーチャネルであり、Ｒ、ＧおよびＢのいずれかを示す。ｘおよびｙは、画素データの水平方向および垂直方向のアドレスを示す。work_buff()は、ワーキングバッファに保持される色情報の積算値を示す。src_pix()は、マッピング処理部３２０に入力された画素データを示す。weight_table()は、重みテーブルに保持される重みデータを示す。この重みデータは、画素毎に、積算された回数を示す。
図１９は、本技術の第１の実施の形態における正規化部３３０の一構成例を示すブロック図である。この正規化部３３０は、Ｒチャネル加重平均演算部３３１、Ｇチャネル加重平均演算部３３２、Ｂチャネル加重平均演算部３３３および画素補間部３３４を備える。
Ｒチャネル加重平均演算部３３１は、Ｒの画素データについて、加重平均を演算するものである。このＲチャネル加重平均演算部３３１は、ワーキングバッファを参照し、work_table(c,y,x)が、所定値Ｅ（Ｅは実数）よりも大きいか否かを判断する。
work_table(c,y,x)が所定値Ｅより大きい場合に、Ｒチャネル加重平均演算部３３１は、ワーキングバッファおよび重みテーブルを参照して次の式により加重平均を演算する。
work_buff(c,y,x)=work_buff(c,y,x)／weight_table(c,y,x)
そして、Ｒチャネル加重平均演算部３３１は、有効画素であるか否かを示すフラグであるvalid_pixel_flag(c,y,x)に、有効画素であることを示す論理値「１」を設定する。
一方、work_table(c,y,x)が所定値Ｅ以下の場合に、Ｒチャネル加重平均演算部３３１は、valid_pixel_flag(c,y,x)に欠陥画素であることを示す論理値「０」を設定する。Ｒチャネル加重平均演算部３３１は、Ｒの全画素データについて、同様の処理を実行する。
Ｇチャネル加重平均演算部３３２は、Ｇの画素データについて、加重平均を演算するものである。Ｂチャネル加重平均演算部３３３は、Ｂの画素データについて、加重平均を演算するものである。これらのＧチャネル加重平均演算部３３２およびＢチャネル加重平均演算部３３３の処理は、ＧおよびＢチャネルについて処理を行う点以外は、Ｒチャネル加重平均演算部３３１の処理と同様である。
Ｒチャネル加重平均演算部３３１、Ｇチャネル加重平均演算部３３２およびＢチャネル加重平均演算部３３３は、全画素のvalid_pixel_flag(c,y,x)およびwork_buff(c,y,x)を画素補間部３３４に供給する。
画素補間部３３４は、周囲の情報を用いて欠陥画素を補間するものである。この画素補間部３３４は、全ての画素に順に着目して、その画素のvalid_pixel_flag(y,x)の値を求める。valid_pixel_flag(R,y,x)、valid_pixel_flag(G,y,x)およびvalid_pixel_flag(B,y,x)が全て論理値「１」である場合に「１」のvalid_pixel_flag(y,x)が取得される。一方、そうでない場合に論理値「０」のvalid_pixel_flag(y,x)が取得される。
そして、画素補間部３３４は、着目した画素について次の式に示す演算を行う。この演算で用いられるガウシアンフィルタのフィルタサイズは、所定の初期値（例えば、３×３画素）に設定される。
Figure 2018098524
Figure 2018098524
 式１および式２において、Gaussian_filter(i,j)は、ガウシアンフィルタ内の（ｉ、ｊ）の位置の係数を返す関数である。また、ｉは、ガウシアンフィルタ内の垂直方向の相対位置であり、ｊは、水平方向の相対位置である。sum_pixel(c,y,x)は、その係数で補間を行った結果を示すデータである。また、sum_weight(c,y,x)は、補間に用いた係数の合計を示す。
画素補間部３３４は、式２で得られたsum_weight(c,y,x)が、所定の閾値未満であるか否かを判断する。sum_weight(c,y,x)が、閾値より大きい場合に画素補間部３３４は、次の式により正規化を行う。
dst_pix(c,y,x)=sum_pix(c,y,x)／sum_weight(c,y,x)
一方、sum_weight(c,y,x)が、閾値以下である場合に、画素補間部３３４は、ガウシアンフィルタのフィルタサイズを前回値よりも大きくして、上述の処理を再度実行して補間を試みる。ここで、フィルタサイズには、画質への影響を考慮して上限が設けられる。補間処理の終了後に画素補間部３３４は、正規化後のサブフレームを出力する。
図１５乃至図１９に例示したように、撮像装置１００が動きデータに基づいてマッピング処理を行うことにより、手ブレを補正して画質を向上させることができる。また、撮像装置１００は、Ｑツリースキャンを行っているため、前述したように、時間的、空間的に露光タイミングが一様である。したがって、手ブレ補正においてマッピング処理を行っても、欠陥画素が生じにくい。これに対して、ラスタスキャンでは、露光タイミングが一様でないため、欠陥画素が生じやすい。
なお、撮像装置１００は、フレームレート変換時に手ブレ補正を行っているが、手ブレ補正を行わずにフレームレート変換のみを行ってもよい。この場合には、動きセンサ１４０は不要であり、フレームレート変換部３００は、動き量を零として上述のマッピング処理を行う。また、欠陥画素は生じないため、欠陥画素の補間は不要となる。
図２０は、本技術の第１の実施の形態におけるガウシアンフィルタにおける係数の一構成例を示す図である。同図に例示するように、３行×３列のガウシアンフィルタ内の中央の画素（すなわち、着目した画素）に対する係数として、例えば「４」が設定される。また、中央の左右、上下の画素に対する係数として「２」が設定され、残りの画素に対する係数として「１」が設定される。
図２１は、本技術の第１の実施の形態におけるフレームレート変換前後の動画データの一例を示す図である。撮像素子２００により、原フレーム５１０や５２０を含む動画データが撮像されたものとする。圧縮部１３１は、その動画データを圧縮してデータストレージ１５０に記録する。
そして、伸長部１３５は、伸長の際に動画データ内の原フレームのそれぞれを、解像度が１／ＫのＫ個のサブフレームに分割する。例えば、Ｋが「４」である場合に原フレーム５１０は、解像度が１／４のサブフレーム５１１、５１２、５１３および５１４に分割される。また、原フレーム５２０は、サブフレーム５２１、５２２、５２３および５２４に分割される。このように原フレームを、解像度が１／ＫのＫ個のサブフレームに分割することにより、フレーム間に新たなフレームを補間せずにフレームレートを向上させることができる。
［撮像装置の動作例］
図２２は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像を開始させるための操作（シャッターボタンの押下など）が行われたときに開始される。
撮像装置１００は、原フレームを撮像するための撮像処理を実行する（ステップＳ９１０）。そして、撮像装置１００は、撮像した原フレームに対してデモザイク処理（ステップＳ９０１）を実行し、動画データに対してエンコードを行う（ステップＳ９０２）。
撮像装置１００は、撮像を終了するか否かを判断する（ステップＳ９０３）。例えば、撮像を終了させるための操作（停止ボタンの押下など）が行われたときに、撮像装置１００は、撮像を終了する。撮像終了でない場合に（ステップＳ９０３：Ｎｏ）、撮像装置１００は、ステップＳ９１０以降の処理を繰り返し実行する。
一方、撮像終了の場合（ステップＳ９０３：Ｙｅｓ）に撮像装置１００は、動画データの伸長が指示されたか否かを判断する（ステップＳ９０４）。ここで、動画データの伸長の指示は、動画データ全体に対するものであってもよいし、動画データの一部に対するものであってもよい。伸長が指示されていない場合に（ステップＳ９０４：Ｎｏ）、撮像装置１００は、ステップＳ９０４を繰り返す。
伸長が指示された場合に（ステップＳ９０４：Ｙｅｓ）、撮像装置１００は、圧縮された動画データに対してデコードを行い（ステップＳ９０５）、原フレームに対してベイヤー化を行う（ステップＳ９０６）。そして、撮像装置１００は、動画データに対してフレームレート変換処理を行う（ステップＳ９５０）。
撮像装置１００は、伸長が完了したか否かを判断する（ステップＳ９０７）。伸長が完了していない場合に（ステップＳ９０７：Ｎｏ）、撮像装置１００は、ステップＳ９０５以降の処理を繰り返し実行する。一方、伸長が完了した場合に（ステップＳ９０７：Ｙｅｓ）、撮像装置１００は、動作を終了する。
図２３は、本技術の第１の実施の形態における撮像処理の一例を示すフローチャートである。まず、撮像素子２００は、レイヤＬ３の相対アドレス（ｂｙ３、ｂｘ３）に（０、０）を設定し（ステップＳ９０１）、レイヤＬ２のアドレスを取得するためのレイヤＬ２アドレス取得処理（ステップＳ９２０）を実行する。
そして、撮像素子２００は、（ｂｙ３、ｂｘ３）に（１、１）を設定し（ステップＳ９０２）、レイヤＬ２アドレス取得処理（ステップＳ９２０）を実行する。次に撮像素子２００は、（ｂｙ３、ｂｘ３）に（０、１）を設定し（ステップＳ９０３）、レイヤＬ２アドレス取得処理（ステップＳ９２０）を実行する。そして、撮像素子２００は、（ｂｙ３、ｂｘ３）に（１、０）を設定し（ステップＳ９０４）、レイヤＬ２アドレス取得処理（ステップＳ９２０）を実行する。これらのレイヤＬ２アドレス取得処理内では、一定の露光順で画素の露光が開始される。
撮像素子２００は、露光の開始順と同じ順序で露光を終了して、全画素の画素データを出力する（ステップＳ９０５）。ステップＳ９０５の後に撮像素子２００は、撮像処理を終了する。
図２４は、本技術の第１の実施の形態におけるレイヤＬ２アドレス取得処理の一例を示すフローチャートである。撮像素子２００は、レイヤＬ２の相対アドレス（ｂｘ２、ｂｙ２）に（０、０）を設定し（ステップＳ９２１）、レイヤＬ１のアドレスを取得するためのレイヤＬ１アドレス取得処理（ステップＳ９３０）を実行する。
そして、撮像素子２００は、（ｂｙ２、ｂｘ２）に（１、１）を設定し（ステップＳ９２２）、レイヤＬ１アドレス取得処理（ステップＳ９３０）を実行する。次に撮像素子２００は、（ｂｙ２、ｂｘ２）に（０、１）を設定し（ステップＳ９２３）、レイヤＬ１アドレス取得処理（ステップＳ９３０）を実行する。そして、撮像素子２００は、（ｂｙ２、ｂｘ２）に（１、０）を設定し（ステップＳ９２４）、レイヤＬ１アドレス取得処理（ステップＳ９３０）を実行してレイヤＬ２アドレス取得処理を終了する。
図２５は、本技術の第１の実施の形態におけるレイヤＬ１アドレス取得処理の一例を示すフローチャートである。撮像素子２００は、レイヤＬ１の相対アドレス（ｂｙ１、ｂｘ１）に（０、０）を設定し（ステップＳ９３１）、レイヤＬ４のアドレスを取得して露光させるためのレイヤＬ４露光処理（ステップＳ９４０）を実行する。
そして、撮像素子２００は、（ｂｙ１、ｂｘ１）に（１、１）を設定し（ステップＳ９３２）、レイヤＬ４露光処理（ステップＳ９４０）を実行する。次に撮像素子２００は、（ｂｙ１、ｂｘ１）に（０、１）を設定し（ステップＳ９３３）、レイヤＬ４露光処理（ステップＳ９４０）を実行する。そして、撮像素子２００は、（ｂｙ１、ｂｘ１）に（１、０）を設定し（ステップＳ９３４）、レイヤＬ４露光処理（ステップＳ９４０）を実行してレイヤＬ１アドレス取得処理を終了する。
図２６は、本技術の第１の実施の形態におけるレイヤＬ４露光処理の一例を示すフローチャートである。撮像素子２００は、レイヤＬ４の相対アドレス（ｂｙ４、ｂｘ４）に（０、０）を設定し（ステップＳ９４１）、エリアＡ［０］［０］内の相対アドレス（Ｙ、Ｘ）の画素の露光を開始させる（ステップＳ９４２）。他のエリアにおいても、エリアＡ［０］［０］と同じアドレスの画素について露光が開始される。
そして、撮像素子２００は、レイヤＬ４の相対アドレス（ｂｙ４、ｂｘ４）に（０、１）を設定し（ステップＳ９４３）、エリアＡ［０］［０］内の相対アドレス（Ｙ、Ｘ）の画素の露光を開始させる（ステップＳ９４４）。次いで撮像素子２００は、レイヤＬ４の相対アドレス（ｂｙ４、ｂｘ４）に（１、０）を設定し（ステップＳ９４５）、エリアＡ［０］［０］内の相対アドレス（Ｙ、Ｘ）の画素の露光を開始させる（ステップＳ９４６）。
そして、撮像素子２００は、レイヤＬ４の相対アドレス（ｂｙ４、ｂｘ４）に（１、１）を設定し（ステップＳ９４７）、エリアＡ［０］［０］内の相対アドレス（Ｙ、Ｘ）の画素の露光を開始させる（ステップＳ９４８）。他のエリアにおいても、エリアＡ［０］［０］と同じアドレスについて露光が開始される。ステップＳ９４８の後に、撮像素子２００は、レイヤＬ４露光処理を終了する。
図２７は、本技術の第１の実施の形態におけるフレームレート変換処理の一例を示すフローチャートである。画像処理部１３０は、動きデータに基づいて、全画素についてマッピング計算を行う（ステップＳ９５１）。そして、画像処理部１３０は、マッピング処理を行ってワーキングバッファおよび重みテーブルの更新を行い（ステップＳ９５２）、画素毎に、加重平均を演算する（ステップＳ９５３）。このマッピング処理によりサブフレームが生成される。次いで、画像処理部１３０は、サブフレーム内の欠陥画素の補間を行う（ステップＳ９５４）。ステップＳ９５４の後に、画像処理部１３０は、フレームレート変換処理を終了する。
図２８は、本技術の第１の実施の形態におけるスキャン方式ごとの欠陥画素率の一例を示す図である。ここでは、ラスタスキャンと、ランダムスキャンと、Ｑツリースキャンとのそれぞれで得られたフレームに対して手ブレ補正を行った場合の欠陥画素の発生率を下記の条件の下でシミュレーションにより求めている。また、このシミュレーションでは、エリアごとにＡＤＣを配置した構成でなく、カラムごとにＡＤＣを配置した構成を想定している。
センササイズ：５．５×３．１ミリメートル（ｍｍ）
センサ画素数（フルサイズ）：５５０４×３１０４画素
画角：水平７０度、垂直５１度
撮像フレームレート（原フレームレート）：３０ｆｐｓ
撮像画素数（原フレームの画素数）：４５００×２８００画素
エリアサイズ：１００×５６画素
エリア数：４５×５０
ＦＤ共有画素単位：２×４画素
垂直信号線数：水平４画素当たり２本
分割数Ｋ：１６
出力フレームレート：３０×１６＝４８０ｆｐｓ
サブフレームの画素数：（４５００／４）×（２８００／４）画素
＝１１２５×７００画素
手ブレ波形：１ヘルツ（Ｈｚ）乃至９ヘルツ（Ｈｚ）
エリアサイズおよびエリア数は、ＡＤＣ２６１に対応するエリア２２１のサイズおよび個数を示す。また、サブフレームの画素数は、周辺を切り出すことにより、最終的に９６０画素×５４０画素に調整されるものとする。また、ワーキングバッファのバッファサイズは、サブフレーム１つ分である。
図２８におけるａは、上述の条件下で得られたスキャン方式毎の欠陥画素率の最大値および平均値を示す表である。同図におけるｂは、上述の条件下で得られたスキャン方式毎の欠陥画素率の最大値および平均値を示すグラフである。これらに例示するようにラスタスキャンでは、欠陥画素率が最も大きい。これは、前述したように、時間的、空間的に露光タイミングに偏りが生じるためである。
一方、ランダムスキャンでは、露光タイミングの偏りは、ラスタスキャンに比べてかなり改善される。しかしながら、部分的な偏りは生じるため、欠陥画素率は、Ｑツリースキャンよりは高くなる。Ｑツリースキャンでは、露光タイミングの時間的、空間的一様性が確保されるため、欠陥画素率は最も低くなる。これにより、サブフレームの画質を向上させることができる。
なお、撮像素子２００において、エリア２２１ごとにＡＤＣ２６１を配置せず、画素のカラムごとにＡＤＣ２６１を配置することもできる。この場合、例えば、図２９に示すようにエリアＡ［０］［０］には、複数の画素ブロック２２２が配列される。それぞれの画素ブロック２２２には、４行×２列の画素２２３が配列される。これらの画素２２３は、浮遊拡散層を共有する。同図における白丸は、浮遊拡散層を示す。
また、エリアＡ［０］［０］には、垂直方向に沿って複数の垂直信号線２２４が配線される。この垂直信号線２２４は、画素ブロック２２２の列ごとに配線される。エリアＡ［０］［０］内の画素ブロック２２２の列がＲ（Ｒは整数）列である場合には、Ｒ本の垂直信号線２２４が配線される。そして、ｒ（ｒは０乃至Ｒ−１の整数）列目の画素ブロック２２２は、ｒ本目の垂直信号線２２４に接続される。それぞれの画素ブロック２２２は、接続された垂直信号線２２４を介して画素データを出力する。
カラムごとにＡＤＣ２１６を配する場合、４行×２列の８個の画素２２３が浮遊拡散層を共有する構成としているが、浮遊拡散層を共有する画素数は、８個に限定されず、２行×２列の４個などであってもよい。また、浮遊拡散層を共有せず、画素２２３毎に浮遊拡散層を設ける構成であってもよい。
また、カラムごとにＡＤＣ２６１を配置する場合のアドレスのシフト方法について図３０を用いて説明する。前述したように、エリアＡ［０］［０］内の画素は、四分木探索により一定の順序で露光される。しかし、エリアＡ［１］［０］乃至エリアＡ［Ｑ−１］［０］についても同様の順序で露光すると、これらのエリアが垂直信号線を共有するため、垂直信号線上でデータの衝突が生じてしまう。これを回避するために、走査回路２１０は、エリアＡ［０］［０］について取得した相対Ｘアドレスに対してシフト演算を行って、エリアＡ［１］［０］乃至エリアＡ［Ｑ−１］［０］のアドレスとする。
例えば、エリアＡ［０］［０］について相対アドレス（０・・・０、０・・・０）の左上のアドレスを取得した際に、走査回路２１０は、その相対Ｘアドレスに「１」を加算した「０・・１」を１ビット左シフトする。走査回路２１０は、シフト演算により得られた「０・・・１０」をエリアＡ［１］［０］の相対Ｘアドレスとする。また、走査回路２１０は、そのアドレスをさらに１ビット左シフトした「０・・・１００」をエリアＡ［２］［０］の相対Ｙアドレスとする。エリアＡ［３］［０］以降についても同様の手順で相対Ｘアドレスが取得される。それらのアドレスの画素が同時に露光される。図３０における黒色の画素は、露光対象の画素を示す。
このようにアドレスをシフトすることにより、エリアＡ［０］［０］乃至［Ｑ−１］［０］のそれぞれにおいて、互いに異なる垂直信号線を介して画素データが読み出される。
エリアＡ［０］［１］乃至Ａ［Ｑ−１］［１］についても同様に、アドレスがシフトされる。エリアＡ［０］［２］以降についても同様である。
このように、本技術の第１の実施の形態によれば、撮像装置１００は、互いに異なる部分（レイヤＬ３）を露光させた複数のグループに分割してグループごとにサブフレームを生成するため、フレームを補間せずにフレームレートを向上させることができる。
［第１の変形例］
上述の第１の実施の形態では、画素アレイ部２２０を正方形のエリア２２１により区分していたが、画素アレイ部２２０のアスペクト比によっては、正方形では区分することが困難なことがある。この場合には、長方形のエリア２２１により画素アレイ部２２０を区分すればよい。この第１の実施の形態の第１の変形例の撮像素子２００は、画素アレイ部２２０を長方形のエリア２２１により区分した点において第１の実施の形態と異なる。
図３１は、本技術の第１の実施の形態の第１の変形例における空間分割方法の一例を示す図である。画素アレイ部２２０は、長方形のエリア２２１により区分され、エリア２２１のそれぞれは、２行×３列の正方形のレイヤＬ１により分割される。レイヤＬ１の相対Ｙアドレスｂｙ１は、「０」または「１」となり、相対Ｘアドレスｂｘ１は１０進数で「０」、「１」および「２」のいずれかとなる。
このように、本技術の第１の実施の形態の第１の変形例によれば、画素アレイ部２２０を長方形のエリア２２１により区分するため、正方形による区分が困難なアスペクト比の画素アレイ部２２０を区分することができる。
［第２の変形例］
上述の第１の実施の形態では、撮像素子２００は、ダイナミックレンジを変更せずにフレームレート変換を行っていたが、自然光の下での撮像などにおいてダイナミックレンジが不足し、白飛びや黒つぶれにより画質が低下するおそれがある。この第１の実施の形態の第２の変形例の撮像素子２００は、フレームレート変換時にダイナミックレンジを広くする点において第１の実施の形態と異なる。
図３２は、本技術の第１の実施の形態の第２の変形例における正規化部３３０の一構成例を示すブロック図である。この第２の変形例における正規化部３３０は、Ｒチャネル加重平均演算部３３１の代わりに、Ｒチャネル加重平均演算部３３５を備える点において第１の実施の形態と異なる。また、第２の変形例における正規化部３３０は、Ｇチャネル加重平均演算部３３２およびＢチャネル加重平均演算部３３３の代わりに、Ｇチャネル加重平均演算部３３６およびＢチャネル加重平均演算部３３７を備える。
Ｒチャネル加重平均演算部３３５は、次の式により加重平均を演算する点において第１の実施の形態と異なる。Ｇチャネル加重平均演算部３３６およびＢチャネル加重平均演算部３３７についても同様である。
work_buff(c,y,x)=（work_buff(c,y,x)<<ext_bit）／weight_table(c,y,x)
上式においてext_bitは、シフト量を示し、「<<」は左シフト演算を示す。
また、上式において「ext_bit」の値を大きく設定するほど、ダイナミックレンジを広くすることができる。
このように、本技術の第１の実施の形態の第２の変形例によれば、撮像素子２００は、ワーキングバッファの値を左シフトさせるため、そのシフト量の分、ダイナミックレンジを広くすることができる。
［第３変形例］
上述の第１の実施の形態では、撮像素子２００は、原フレームを、解像度が１／Ｋのサブフレームに分割することにより、出力フレームレートを原フレームレートのＫ倍にしていたが、出力フレームレートを高くするほど、解像度が低下してしまう。また、サブフレームの解像度を高くするほど、出力フレームレートが低下してしまう。この第１の実施の形態の第３の変形例の撮像素子２００は、解像度やフレームレートの低下を抑制する点において第１の実施の形態と異なる。
図３３は、本技術の第１の実施の形態の第３の変形例におけるフレームの分割方法の一例を示す図である。この第３の変形例の画像処理部１３０は、露光順が連続し、かつ、隣接する２つの互いの一部が重複するＫ個のグループに、エリア２２１内の画素群を分割する。例えば、エリア２２１の画素数が２５６個でＫが「４」とする。この場合、０乃至１２７番目の画素からなるグループと、６４乃至１９１番目の画素からなるグループと、１２８乃至２５５番目の画素からなるグループと、１９２乃至２５５番目および次の０乃至６３番目の画素からなるグループとに４分割される。そして、画像処理部１３０は、グループごとにサブフレームを生成する。同図における点線で囲った部分は、サブフレームに対応するグループを示す。このように分割することにより、サブフレームのそれぞれの画素数は、Ｐ×Ｑ×１２８画素に向上する。
隣接する２つのサブフレームの一部が重複するため、画像処理部１３０には、サブフレーム２つ分のワーキングバッファが設けられる。重みテーブルについても同様である。以下、サブフレームＢ（Ｂは整数）個分のワーキングバッファのバッファサイズを「Ｂ」とする。
なお、隣接する２つの互いの一部が重複するＫ個のグループに分割しているが、隣接する３つ以上の互いの一部が重複するグループに分割してもよい。この場合には、バッファサイズＢは、「３」以上に設定される。
バッファサイズＢを「２」以上にすることにより、出力フレームレートが一定の下でサブフレームの解像度を向上することができる。また、サブフレームの解像度が一定の下で、出力フレームレートを向上することができる。
例えば、第１の実施の形態では、次の式が成立する。
Figure 2018098524
 上式において、「OriginalResolution」は、原フレームの解像度を示し、「OriginalFrameRate」は、フレームレート変換前のフレームレートを示す。また、「OutputResolution」は、サブフレームの解像度を示し、「OutputFrameRate」は、フレームレート変換後のフレームレートを示す。「DefectPixcelRatio」は、サブフレーム内の欠陥画素の発生率を示す。上式より、DefectPixelRatioが０に十分近い場合、解像度を１／Ｋにすることにより、フレームレートをＫ倍にすることができる。
これに対して、第１の実施の形態の第３の変形例では、次の式が成立する範囲でフレームレートおよび解像度を設定することができる。
Figure 2018098524
 上式において「BufferSize」は、ワーキングバッファのサイズＢを示す。上式より、サブフレームの解像度を１／Ｋにする場合に、フレームレートをＫ倍より高くすることができる。また、フレームレートをＫ倍にする際に、サブフレームの解像度を１／Ｋより高くすることができる。
なお、第１の実施の形態に第２の変形例を適用する場合には式３の代わりに次の式が成立する。
Figure 2018098524
 上式において、「OriginalDynamicRange」は、原フレームのダイナミックレンジを示し、「OutputDynamicRange」は、サブフレームのダイナミックレンジを示す。
また、第３の変形例に第２の変形例を適用する場合には式４の代わりに次の式が成立する。
Figure 2018098524
このように、本技術の第１の実施の形態の第３の変形例では、画像処理部１３０は、互いに一部が重複するＫ個のサブフレームを生成するため、サブフレームの解像度や出力フレームレートを向上させることができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、撮像装置１００は、動きセンサ１４０を設けて、そのセンサにより検出された動きデータを用いて手ブレ補正を行っていたが、動きセンサ１４０を備えない構成において手ブレ補正を行うこともできる。この第２の実施の形態の撮像装置１００は、動きセンサ１４０を用いずに手ブレ補正を行う第１の実施の形態と異なる。
図３４は、本技術の第２の実施の形態における撮像装置１００の一構成例を示すブロック図である。この第２の実施の形態の撮像装置１００は、動きセンサ１４０を備えない点において第１の実施の形態と異なる。
図３５は、本技術の第２の実施の形態におけるフレームレート変換部３００の一構成例を示すブロック図である。この第２の実施の形態のフレームレート変換部３００は、前段フレームレート変換部３４１、動き推定部３４２、および、後段フレームレート変換部３４３を備える。
前段フレームレート変換部３４１は、動き量を「０」に設定して原フレームのそれぞれをＫ個のサブフレームに分割するものである。前段フレームレート変換部３４１は、それらのサブフレームからなる動画データを動き推定部３４２に供給する。
動き推定部３４２は、動画データから撮像装置１００の動きを推定する。例えば、動き推定部３４２は、連続する２枚のサブフレームで共通の部分を重ねて位置合わせを行い、サブフレーム全体について、ずれた量と方向とを動き量および動き方向として推定する。そして、動き推定部３４２は、動き量および動き方向を示す動きベクトルを後段フレームレート変換部３４３に供給する。後段フレームレート変換部３４３は、サブフレームの一部を切り出して、その部分全体を動きベクトルに沿ってずらして出力する。
後段フレームレート変換部３４３は、推定された動きベクトルを用いて第１の実施の形態と同様のフレームレート変換を行うものである。
このように、本技術の第２の実施の形態では、撮像装置１００がサブフレームから動きを推定し、その動きに沿ってマッピングを行うため、動きセンサを用いずに手ブレ補正を行うことができる。このため、動きセンサの分、コストや消費電力を低減することができる。
＜３．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図３６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図３７は、撮像部１２０３１の設置位置の例を示す図である。
図３７では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図３７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２１０１ないし１２１０４内に適用され得る。具体的には、撮像部内の画像処理部は、原フレームをＫ個のサブフレームに分割してフレームレートをＫ倍にすることができる。撮像部１２１０１ないし１２１０４とに本開示に係る技術を適用することにより、フレームレートを変換して、速度の大きな移動体を容易に検知することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）それぞれが複数の部分領域からなる複数の分割領域に分割された画素アレイ部と、
前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち所定数の領域を第１の部分領域として露光させて第１の画素データを出力させる制御と、前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち前記第１の部分領域とは異なる領域を第２の部分領域として露光させて第２の画素データを出力させる制御とを順に行う走査回路と、
前記第１の画素データから第１のフレームを生成する処理と、前記第２の画素データから第２のフレームを生成する処理とを順に行う画像処理部と
を具備する撮像装置。
（２）前記複数の分割領域は、前記画素アレイ部を四分木分割により分割した領域であり、
前記複数の部分領域は、前記複数の分割領域のそれぞれを四分木分割により分割した領域であり、
前記走査回路は、前記第１および第２の部分領域のそれぞれを四分木探索により求めて露光する
前記（１）記載の撮像装置。
（３）互いに異なる区分領域に接続された複数のアナログデジタル変換器をさらに具備し、
前記区分領域のそれぞれは、所定数の前記分割領域からなり、
前記複数のアナログデジタル変換器のそれぞれは、前記接続された区分領域からの画素データに対してアナログデジタル変換を行って前記画像処理部に供給する
前記（１）または（２）記載の撮像装置。
（４）前記画素アレイ部において所定方向に配線された信号線をさらに具備し、
前記画素データは、前記信号線を介して伝送され、
前記走査回路は、所定方向に沿って配列された前記区分領域のそれぞれにおいて互いに異なる前記部分領域を前記第１の部分領域として露光させる
前記（３）記載の撮像装置。
（５）前記走査回路は、所定の同期信号に同期して前記制御を行い、
前記区分領域内の最後の画素データが出力されたタイミングから前記所定の同期信号の立上りのタイミングまでのブランク区間は略零である
前記（１）から（４）のいずれかに記載の撮像装置。
（６）前記撮像装置の動きを検出する動きセンサをさらに具備し、
前記画像処理部は、前記第１のフレームの露光中心時刻と前記第１の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第１の画素データをマッピングして前記第１のフレームを生成し、前記第２のフレームの露光中心時刻と前記第２の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第２の画素データをマッピングして前記第２のフレームを生成する
前記（１）から（５）のいずれかに記載の撮像装置。
（７）前記画像処理部は、前記生成した第１および第２のフレームのそれぞれにおいて欠陥画素を補間する
前記（６）記載の撮像装置。
（８）前記画像処理部は、
前記第１および第２のフレームを含む動画データを生成する前段処理部と、
前記動画データから前記撮像装置の動きを推定する動き推定部と、
前記第１のフレームの露光中心時刻と前記第１の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第１の画素データをマッピングして前記第１のフレームを生成し、前記第２のフレームの露光中心時刻と前記第２の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第２の画素データをマッピングして前記第２のフレームを生成する後段処理部と
を備える
前記（１）から（５）のいずれかに記載の撮像装置。
（９）前記画像処理部は、前記第１および第２のフレームのダイナミックレンジを拡大する
前記（１）から（８）のいずれかの記載の撮像装置。
（１０）前記画像処理部は、互いに一部が重複する前記第１および第２のフレームを生成する
前記（１）から（９）のいずれかに記載の撮像装置。
（１１）それぞれが複数の部分領域からなる複数の分割領域に分割された画素アレイ部と、
前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち所定数の領域を第１の部分領域として露光させて第１の画素データを出力させる制御と、前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち前記第１の部分領域とは異なる領域を第２の部分領域として露光させて第２の画素データを出力させる制御とを順に行う走査回路と、
を具備する撮像素子。
（１２）それぞれが複数の部分領域からなる複数の分割領域に分割された画素アレイ部内の前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち所定数の領域を第１の部分領域として露光させて第１の画素データを出力させる制御と、前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち前記第１の部分領域とは異なる領域を第２の部分領域として露光させて第２の画素データを出力させる制御とを順に行う走査手順と、
前記第１の画素データから第１のフレームを生成する処理と、前記第２の画素データから第２のフレームを生成する処理とを順に行う画像処理手順と
を具備する撮像装置の制御方法。
１００ 撮像装置
１１０ 撮像レンズ
１２０ 撮像制御部
１３０ 画像処理部
１３１ 圧縮部
１３２ デモザイク処理部
１３３ エンコード部
１３５ 伸長部
１３６ デコード部
１３７ ベイヤー化部
１４０ 動きセンサ
１５０ データストレージ
１６０ 表示部
２００ 撮像素子
２０１ 上側基板
２０２ 下側基板
２１０ 走査回路
２２０ 画素アレイ部
２２１ エリア
２２２ 画素ブロック
２２３ 画素
２６０ ＡＤ変換部
２６１ ＡＤＣ
３００ フレームレート変換部
３１０ マッピング計算部
３２０ マッピング処理部
３２１ セレクタ
３２２ Ｒチャネルバッファ更新部
３２３ Ｇチャネルバッファ更新部
３２４ Ｂチャネルバッファ更新部
３２５ Ｒチャネルバッファ
３２６ Ｇチャネルバッファ
３２７ Ｂチャネルバッファ
３３０ 正規化部
３３１、３３５ Ｒチャネル加重平均演算部
３３２、３３６ Ｇチャネル加重平均演算部
３３３、３３７ Ｂチャネル加重平均演算部
３３４ 画素補間部
３４０ 制御部
３４１ 前段フレームレート変換部
３４２ 動き推定部
３４３ 後段フレームレート変換部
１２１０１、１２１０２、１２１０３、１２１０４、１２１０５ 撮像部

Claims (12)

  1. それぞれが複数の部分領域からなる複数の分割領域に分割された画素アレイ部と、
    前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち所定数の領域を第１の部分領域として露光させて第１の画素データを出力させる制御と、前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち前記第１の部分領域とは異なる領域を第２の部分領域として露光させて第２の画素データを出力させる制御とを順に行う走査回路と、
    前記第１の画素データから第１のフレームを生成する処理と、前記第２の画素データから第２のフレームを生成する処理とを順に行う画像処理部と
    を具備する撮像装置。
  2. 前記複数の分割領域は、前記画素アレイ部を四分木分割により分割した領域であり、
    前記複数の部分領域は、前記複数の分割領域のそれぞれを四分木分割により分割した領域であり、
    前記走査回路は、前記第１および第２の部分領域のそれぞれを四分木探索により求めて露光する
    請求項１記載の撮像装置。
  3. 互いに異なる区分領域に接続された複数のアナログデジタル変換器をさらに具備し、
    前記区分領域のそれぞれは、所定数の前記分割領域からなり、
    前記複数のアナログデジタル変換器のそれぞれは、前記接続された区分領域からの画素データに対してアナログデジタル変換を行って前記画像処理部に供給する
    請求項１記載の撮像装置。
  4. 前記画素アレイ部において所定方向に配線された信号線をさらに具備し、
    前記画素データは、前記信号線を介して伝送され、
    前記走査回路は、所定方向に沿って配列された前記区分領域のそれぞれにおいて互いに異なる前記部分領域を前記第１の部分領域として露光させる
    請求項３記載の撮像装置。
  5. 前記走査回路は、所定の同期信号に同期して前記制御を行い、
    前記区分領域内の最後の画素データが出力されたタイミングから前記所定の同期信号の立上りのタイミングまでのブランク区間は略零である
    請求項１記載の撮像装置。
  6. 前記撮像装置の動きを検出する動きセンサをさらに具備し、
    前記画像処理部は、前記第１のフレームの露光中心時刻と前記第１の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第１の画素データをマッピングして前記第１のフレームを生成し、前記第２のフレームの露光中心時刻と前記第２の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第２の画素データをマッピングして前記第２のフレームを生成する
    請求項１記載の撮像装置。
  7. 前記画像処理部は、前記生成した第１および第２のフレームのそれぞれにおいて欠陥画素を補間する
    請求項６記載の撮像装置。
  8. 前記画像処理部は、
    前記第１および第２のフレームを含む動画データを生成する前段処理部と、
    前記動画データから前記撮像装置の動きを推定する動き推定部と、
    前記第１のフレームの露光中心時刻と前記第１の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第１の画素データをマッピングして前記第１のフレームを生成し、前記第２のフレームの露光中心時刻と前記第２の画素データの露光中心時刻との一方から他方までの前記動きに基づいて前記第２の画素データをマッピングして前記第２のフレームを生成する後段処理部と
    を備える
    請求項１記載の撮像装置。
  9. 前記画像処理部は、前記第１および第２のフレームのダイナミックレンジを拡大する
    請求項１記載の撮像装置。
  10. 前記画像処理部は、互いに一部が重複する前記第１および第２のフレームを生成する
    請求項１記載の撮像装置。
  11. それぞれが複数の部分領域からなる複数の分割領域に分割された画素アレイ部と、
    前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち所定数の領域を第１の部分領域として露光させて第１の画素データを出力させる制御と、前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち前記第１の部分領域とは異なる領域を第２の部分領域として露光させて第２の画素データを出力させる制御とを順に行う走査回路と、
    を具備する撮像素子。
  12. それぞれが複数の部分領域からなる複数の分割領域に分割された画素アレイ部内の前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち所定数の領域を第１の部分領域として露光させて第１の画素データを出力させる制御と、前記複数の分割領域のそれぞれにおいて前記複数の部分領域のうち前記第１の部分領域とは異なる領域を第２の部分領域として露光させて第２の画素データを出力させる制御とを順に行う走査手順と、
    前記第１の画素データから第１のフレームを生成する処理と、前記第２の画素データから第２のフレームを生成する処理とを順に行う画像処理手順と
    を具備する撮像装置の制御方法。
JP2016238086A 2016-12-08 2016-12-08 撮像素子、撮像システムおよび撮像素子の制御方法 Pending JP2018098524A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016238086A JP2018098524A (ja) 2016-12-08 2016-12-08 撮像素子、撮像システムおよび撮像素子の制御方法
PCT/JP2017/032487 WO2018105187A1 (ja) 2016-12-08 2017-09-08 撮像装置、撮像素子および撮像装置の制御方法
US16/340,963 US10834294B2 (en) 2016-12-08 2017-09-08 Imaging device, imaging element, and method of controlling imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016238086A JP2018098524A (ja) 2016-12-08 2016-12-08 撮像素子、撮像システムおよび撮像素子の制御方法

Publications (1)

Publication Number Publication Date
JP2018098524A true JP2018098524A (ja) 2018-06-21

Family

ID=62492201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016238086A Pending JP2018098524A (ja) 2016-12-08 2016-12-08 撮像素子、撮像システムおよび撮像素子の制御方法

Country Status (3)

Country Link
US (1) US10834294B2 (ja)
JP (1) JP2018098524A (ja)
WO (1) WO2018105187A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158246A1 (ja) * 2021-01-25 2022-07-28 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102581210B1 (ko) * 2019-01-10 2023-09-22 에스케이하이닉스 주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서 및 이미지 센서 칩
CN110213490B (zh) * 2019-06-25 2020-09-29 浙江大华技术股份有限公司 一种图像防抖方法、装置、电子设备及存储介质
US11128843B2 (en) * 2020-01-13 2021-09-21 Facebook Technologies, Llc Image-sensor data compression

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328421A (ja) * 2004-05-17 2005-11-24 Sony Corp 撮像装置および撮像方法
JP4614925B2 (ja) * 2006-07-28 2011-01-19 三洋電機株式会社 画素情報読出方法および撮像装置
US7944482B2 (en) * 2006-07-28 2011-05-17 Sanyo Electric Co., Ltd. Pixel information readout method and image pickup apparatus
JP5930079B2 (ja) * 2013-09-30 2016-06-08 株式会社ニコン 電子機器
JP2016019076A (ja) 2014-07-07 2016-02-01 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに再生装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158246A1 (ja) * 2021-01-25 2022-07-28 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Also Published As

Publication number Publication date
US10834294B2 (en) 2020-11-10
US20190289171A1 (en) 2019-09-19
WO2018105187A1 (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
WO2017145450A1 (ja) 測距モジュール、測距システム、および、測距モジュールの制御方法
KR102649782B1 (ko) 신호 처리 장치 및 촬상 장치
WO2018105187A1 (ja) 撮像装置、撮像素子および撮像装置の制御方法
JP2018036102A (ja) 測距装置、および、測距装置の制御方法
JP7024782B2 (ja) 画像処理装置と画像処理方法および撮像装置
JP7074136B2 (ja) 撮像装置とフリッカー補正方法およびプログラム
JP6743889B2 (ja) 画像処理装置と画像処理方法および学習装置と学習方法
TWI757419B (zh) 攝像裝置、攝像模組及攝像裝置之控制方法
JP7020434B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2020088480A (ja) 固体撮像素子、および、撮像装置
JP6816769B2 (ja) 画像処理装置と画像処理方法
JP7235906B2 (ja) 固体撮像装置
JP2018101966A (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
WO2018179623A1 (ja) 撮像装置、撮像モジュール、撮像システムおよび撮像装置の制御方法
JP2018098613A (ja) 撮像装置、および、撮像装置の制御方法
JP6930541B2 (ja) 画像処理装置および画像処理方法
WO2020195936A1 (ja) 固体撮像装置、及び電子機器
WO2019167363A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP2006318061A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP2019193171A (ja) アレイアンテナ、固体撮像装置および電子機器
WO2017122395A1 (ja) 画像データ処理回路および撮像回路
TWI794207B (zh) 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法
WO2020021826A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2024009343A1 (ja) 光検出装置
WO2020100399A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法