JP2017192100A - 撮像素子、撮像装置、および、撮像素子の制御方法 - Google Patents

撮像素子、撮像装置、および、撮像素子の制御方法 Download PDF

Info

Publication number
JP2017192100A
JP2017192100A JP2016082083A JP2016082083A JP2017192100A JP 2017192100 A JP2017192100 A JP 2017192100A JP 2016082083 A JP2016082083 A JP 2016082083A JP 2016082083 A JP2016082083 A JP 2016082083A JP 2017192100 A JP2017192100 A JP 2017192100A
Authority
JP
Japan
Prior art keywords
image
frame
unit
buffered
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016082083A
Other languages
English (en)
Inventor
真生 全
Masao ZEN
真生 全
淳 橋爪
Atsushi Hashizume
淳 橋爪
中島　務
Tsutomu Nakajima
務 中島
典弘 市丸
Norihiro Ichimaru
典弘 市丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016082083A priority Critical patent/JP2017192100A/ja
Priority to PCT/JP2016/089206 priority patent/WO2017179249A1/ja
Priority to KR1020187029344A priority patent/KR20180133414A/ko
Priority to US16/092,366 priority patent/US10645279B2/en
Priority to CN201680084635.1A priority patent/CN109076146A/zh
Priority to EP16898705.5A priority patent/EP3445031A4/en
Publication of JP2017192100A publication Critical patent/JP2017192100A/ja
Priority to US16/860,932 priority patent/US11265465B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • G06F5/065—Partitioned buffers, e.g. allowing multiple independent queues, bidirectional FIFO's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • G06F5/10—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor having a sequence of storage locations each being individually accessible for both enqueue and dequeue operations, e.g. using random access memory
    • G06F5/12—Means for monitoring the fill level; Means for resolving contention, i.e. conflicts between simultaneous enqueue and dequeue operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1024—Latency reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/45—Caching of specific data in cache memory
    • G06F2212/455—Image or video data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】フレームバッファを備える撮像装置において高速撮影を連続して複数回行う。
【解決手段】撮像素子は、バッファ、画像生成部、管理部、および、出力部を具備する。画像生成部は、バッファ内の複数の領域のいずれかの空き容量が所定の閾値を超える場合には画像を生成する。管理部は、複数の領域のうち空き容量が所定の閾値を超える領域に画像をバッファリング画像として保持させる。出力部は、バッファリング画像が保持された順にバッファからバッファリング画像を取り出して出力する。
【選択図】図２

Description

本技術は、撮像素子、撮像装置、および、撮像素子の制御方法に関する。詳しくは、フレームバッファを備える撮像素子、撮像装置、および、その撮像素子の制御方法に関する。
従来より、高速で動く被写体を撮像する際において、再生時のフレームレートよりも高いフレームレートで動画を高速撮影する撮像装置が用いられている。この動画を、録画時よりも低いフレームレートで再生することにより、滑らかなスローモーションの映像が得られる。例えば、６００ヘルツ（Ｈｚ）の高フレームレートで撮像された動画を、６０ヘルツ（Ｈｚ）の低フレームレートで再生すると、再生時間は録画時間の１０倍に引き伸ばされ、再生動画中の被写体の動作速度は１／１０に低下する。このように高速撮影した画像データ（フレーム）を、高フレームレートのまま信号処理部に出力すると、処理速度の遅い信号処理部ではフレームを処理しきれないおそれがある。そこで、高速撮影したフレームをメモリに一時的に保持（すなわち、バッファリング）しておき、低フレームレートで信号処理部に出力する撮像装置が提案されている（例えば、特許文献１参照。）。
特開２００８−１１３１２６号公報
上述の従来技術では、メモリが溢れることを防止するため、メモリに十分な空きがあるならば高速撮影を行い、録画停止時などにバッファリングしたフレームをメモリから取り出して出力している。このため、高速撮影を２回行う場合において１回目の高速撮影によりメモリに十分な空きがなくなると、メモリに空きができるまで撮像装置は、２回目の高速撮影を開始することができない。このように、高速撮影を連続して複数回行うことが困難であるという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、フレームバッファを備える撮像装置において高速撮影を連続して複数回行うことを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の領域が設けられたバッファと、上記複数の領域のいずれかの空き容量が所定の閾値を超える場合には画像を生成する画像生成部と、上記複数の領域のうち空き容量が上記所定の閾値を超える領域に上記画像をバッファリング画像として保持させる管理部と、上記バッファリング画像が保持された順に上記バッファから上記バッファリング画像を取り出して出力する出力部とを具備する撮像素子、および、その制御方法である。これにより、バッファ内の複数の領域のいずれかの空き容量が所定の閾値を超える場合には画像が生成されるという作用をもたらす。
また、この第１の側面において、上記画像生成部は、所定の通常撮影期間内において所定の周期が経過するたびに上記画像をプレビュー画像として生成し、上記所定の通常撮影期間と異なる高速撮影期間内において上記複数の領域のいずれかの空き容量が上記所定の閾値を超える場合には上記所定の周期より短い周期が経過するたびに上記画像を高速撮影画像として生成し、上記管理部は、上記高速撮影画像を上記バッファリング画像として保持させてもよい。これにより、所定の周期が経過するたびにプレビュー画像が生成され、所定の周期より短い周期が経過するたびにバッファリング画像が保持されるという作用をもたらす。
また、この第１の側面において、上記出力部は、上記所定の周期が経過するたびに上記バッファリング画像とともに上記プレビュー画像をさらに出力してもよい。これにより、所定の周期が経過するたびにバッファリング画像とともにプレビュー画像が出力されるという作用をもたらす。
また、この第１の側面において、上記管理部は、上記バッファリング画像とともに上記プレビュー画像を上記バッファに保持させ、上記出力部は、上記バッファリング画像および上記プレビュー画像を当該画像が保持された順に上記バッファから取り出して出力してもよい。これにより、バッファリング画像および上記プレビュー画像が、保持された順に上記バッファから取り出されるという作用をもたらす。
また、この第１の側面において、上記出力部は、所定の操作が行われたときに上記バッファから上記バッファリング画像を取り出して出力してもよい。これにより、所定の操作が行われたときにバッファリング画像が取り出されるという作用をもたらす。
また、この第１の側面において、上記出力部は、上記高速撮影期間が終了すると上記バッファから上記バッファリング画像を取り出して出力してもよい。これにより、高速撮影期間が終了するとバッファリング画像が取り出されるという作用をもたらす。
また、この第１の側面において、上記出力部は、上記所定の周期が経過するたびに上記バッファリング画像を複数枚取り出して出力してもよい。これにより、所定の周期が経過するたびにバッファリング画像が複数枚取り出されるという作用をもたらす。
また、本技術の第２の側面は、複数の領域が設けられたバッファと、上記複数の領域のいずれかの空き容量が所定の閾値を超える場合には画像を生成する画像生成部と、上記複数の領域のうち空き容量が上記所定の閾値を超える領域に上記画像をバッファリング画像として保持させる管理部と、上記バッファリング画像が保持された順に上記バッファから上記バッファリング画像を取り出して出力する出力部と上記出力された画像を記録する記録部とを具備する撮像装置である。これにより、バッファ内の複数の領域のいずれかの空き容量が所定の閾値を超える場合には画像が記録されるという作用をもたらす。
本技術によれば、画像を保持する撮像装置において高速撮影を連続して複数回行うことができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における前処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるフレームバッファの一構成例を示す図である。 本技術の第１の実施の形態における管理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における後処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における撮像装置の状態遷移図の一例である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における撮影時のフレームバッファの容量の変動の一例を示す図である。 本技術の第１の実施の形態における撮影終了後のフレームバッファの容量の変動の一例を示す図である。 本技術の第１の実施の形態における領域ごとのアクセス先の変動の一例を示すグラフである。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態におけるアクセス処理の一例を示すフローチャートである。 本技術の第１の実施の形態における高速撮影処理の一例を示すフローチャートである。 本技術の第１の実施の形態の第１の変形例における撮像素子の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態の第２の変形例における撮像素子の動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（複数の領域のいずれかにバッファリングする例）
２．第２の実施の形態（録画フレームを複数の領域のいずれかにバッファリングして撮影順に出力する例）
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データ（フレーム）を撮像するものであり、撮像レンズ１１０、表示部１２０、制御部１３０、記録部１４０、アプリケーション実行部１５０および再生部１６０を備える。撮像装置１００としては、デジタルスチルカメラやデジタルビデオカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータなどが想定される。
撮像レンズ１１０は、光を集光して撮像素子２００に導くものである。撮像素子２００は、撮像レンズ１１０からの光を光電変換してフレームを撮像するものである。この撮像素子２００は、一定のフレームレートでフレームを撮像してプレビューフレームとして表示部１２０および記録部１４０の少なくとも一方に出力する。
また、撮像素子２００は、プレビューフレームのフレームレートより高いフレームレートでフレームを生成してバッファリングフレームとして保持する。そして、所定の操作（撮像停止ボタンの押下など）が行われた際にバッファリングフレームを記録部１４０に出力する。ただし、バッファリングフレームの出力中においても、プレビューフレームの出力は継続される。
表示部１２０は、プレビューフレームを表示するものである。制御部１３０は、撮像装置１００全体を制御するものである。記録部１４０は、フレームを記録するものである。アプリケーション実行部１５０は、所定のアプリケーションを実行するものである。このアプリケーション実行部１５０は、記録部１４０内のフレームを編集して、録画フレームからなる動画を生成する。再生部１６０は、動画を再生するものである。この再生部１６０は、バッファリングフレームが撮像されたときよりも低いフレームレートで録画フレームを再生フレームとして表示部１２０に供給する。
ここで、撮像装置１００の状態は、撮影モードおよびプレビューモードを含む。この撮影モードは、通常撮影モードおよび高速撮影モードに分類される。通常撮影モードは、高速撮影モードよりも低いフレームレートでフレームを生成して記録および表示を行うモードである。高速撮影モードは、通常撮影モードよりも高いフレームレートでフレームを生成するモードである。プレビューモードは、高速撮影モードよりも低いフレームレートでフレームを生成して記録せずに表示のみを行うモードである。
撮像装置１００の電源が投入されると、撮像装置１００はプレビューモードに移行する。このプレビューモードにおいて制御部１３０は、高速撮影モードよりも低いフレームレートで撮像素子２００にプレビューフレームを生成させて表示部１２０に出力させる。また、プレビューモードにおいて制御部１３０は、撮像素子２００がバッファリングフレームを保持していれば、そのフレームを記録部１４０に出力させる。
そして、録画を開始させる操作（録画開始ボタンの押下など）が行われると、撮像装置１００はプレビューモードから通常撮影モードに移行する。この通常撮影モードにおいて制御部１３０は、高速撮影モードよりも低いフレームレートで撮像素子２００にプレビューフレームを生成させて表示部１２０および記録部１４０に出力させる。
また、通常撮像モードにおいて、所定の条件（シーンが変化した場合など）が満たされると、撮像装置１００は高速撮影モードに移行する。この高速撮影モードにおいて撮像素子２００は、通常撮影モードよりも高いフレームレートでフレームを生成してバッファリングする。また、高速撮影モードにおいて制御部１３０は、通常撮影モードと同じフレームレートで撮像素子２００にプレビューフレームを表示部１２０に出力させる。
通常撮影モードにおけるフレームレートは、例えば、３０ｆｐｓ（frames per second）であり、通常撮影モードにおけるフレームレートは、例えば、９６０ｆｐｓである。なお、それぞれのモードにおけるフレームレートは、高速撮影モードの方が通常撮影モードよりも高ければ、３０ｆｐｓや９６０ｆｐｓに限定されない。
なお、撮像レンズ１１０、表示部１２０、制御部１３０、記録部１４０、アプリケーション実行部１５０および再生部１６０の全てを撮像装置１００内に配置しているが、これらを複数の装置に分散して配置してもよい。例えば、撮像レンズ１１０、制御部１３０、記録部１４０およびアプリケーション実行部１５０をカメラモジュールに配置し、表示部１２０および再生部１６０を再生装置に配置してもよい。
［撮像素子の構成例］
図２は、第１の実施の形態における撮像素子２００の一構成例を示すブロック図である。この撮像素子２００は、走査部２１０、画素アレイ部２２０、ＡＤ（Analog to Digital）変換部２３０、前処理部２４０および管理部２５０を備える。また、撮像素子２００は、メモリコントローラ２６０、フレームバッファ２７０、後処理部２８０および出力インターフェース２９０を備える。
走査部２１０は、画素アレイ部２２０を駆動するものである。この走査部２１０は、制御部１３０からの制御信号に従って画素アレイ部２２０の駆動を開始する。この制御信号は、例えば、撮像装置１００がプレビューモードおよび撮影モードのいずれであるかを示す信号を含む。
画素アレイ部２２０は、画像信号を生成するものである。この画素アレイ部２２０には、複数の画素が二次元格子状に配置される。それぞれの画素は、アナログの画素信号を生成する。画素アレイ部２２０は、それらの画素信号からなるアナログの画像信号をＡＤ変換部２３０に供給する。
なお、走査部２１０および画素アレイ部２２０を含む回路は、特許請求の範囲に記載の画像生成部の一例である。
ＡＤ変換部２３０は、画像信号をデジタルの画像データ（フレーム）に変換するものである。このＡＤ変換部２３０は、生成したフレームを前処理部２４０に供給する。
前処理部２４０は、フレームに対して所定の処理を前処理として実行するものである。この前処理部２４０は、前処理後のフレームをメモリコントローラ２６０に供給する。また、前処理部２４０は、前処理において動画内のシーンの変化を検出し、その変化のタイミングを含む一定の期間を高速撮影期間として設定する。そして、前処理部２４０は、高速撮影期間であるか否かを示す高速撮影期間フラグを生成して管理部２５０に供給する。この高速撮影期間フラグは、例えば、高速撮影期間においてオン状態に設定され、それ以外の期間においてオフ状態に設定される。
管理部２５０は、撮像素子２００全体を管理するものである。この管理部２５０は、高速撮影期間内において、フレームバッファ２７０に空き領域があれば、走査部２１０を制御して高速撮影モードで画素アレイ部２２０を駆動させる。一方、空き領域がない場合、または、高速撮影期間外において管理部２５０は、通常撮影モードで画素アレイ部２２０を駆動させる。
また、管理部２５０は、高速撮影モードにおいてメモリコントローラ２６０にライトアドレスを供給してフレームバッファ２７０にフレームを保持させる。また、管理部２５０は、フレームの再生時刻を示すタイムスタンプをフレームごとに生成して出力インターフェース２９０に供給する。そして、管理部２５０は、プレビューモードにおいてメモリコントローラ２６０にリードアドレスを供給してフレームバッファ２７０からのフレームの取り出しを実行させる。
メモリコントローラ２６０は、フレームバッファ２７０を制御するものである。このメモリコントローラ２６０は、管理部２５０からライトアドレスが供給されると、そのアドレスにフレームをバッファリングフレームとして格納する。そして、メモリコントローラ２６０は、管理部２５０からリードアドレスが供給されると、そのアドレスからバッファリングフレームを読み出して後処理部２８０に供給する。また、メモリコントローラ２６０は、前処理部２４０からの低フレームレートのフレームをプレビューフレームとして後処理部２８０に供給する。
フレームバッファ２７０は、フレームを保持するものである。例えば、ＤＲＡＭ（Dynamic Random Access Memory）がフレームバッファ２７０として用いられる。なお、フレームバッファ２７０は、特許請求の範囲に記載のバッファの一例である。
後処理部２８０は、メモリコントローラ２６０からのバッファリングフレームおよびプレビューフレームに対して所定の処理を後処理として実行するものである。この後処理部２８０は、後処理後のフレームを出力インターフェース２９０に供給する。
出力インターフェース２９０は、フレームを出力するものである。この出力インターフェース２９０は、プレビューモードにおいてプレビューフレームを表示部１２０に出力し、バッファリングフレームを記録部１４０に出力する。一方、撮影モードにおいて出力インターフェース２９０は、プレビューフレームを表示部１２０および記録部１４０に出力する。なお、出力インターフェース２９０は、特許請求の範囲に記載の出力部の一例である。
［前処理部の構成例］
図３は、第１の実施の形態における前処理部２４０の一構成例を示すブロック図である。この前処理部２４０は、ゲイン調整部２４１、クランプ処理部２４２およびシーン変化検出部２４３を備える。
ゲイン調整部２４１は、画素データのレベルを所定のゲインにより調整するものである。このゲイン調整部２４１は、調整後の画素データをクランプ処理部２４２に供給する。
クランプ処理部２４２は、画素データの黒レベルを固定するクランプ処理を実行するものである。このクランプ処理部２４２は、クランプ処理後の画素データをシーン変化検出部２４３に供給するものである。
シーン変化検出部２４３は、シーンの変化の有無を検出するものである。このシーン変化検出部２４３は、連続する複数のフレームを比較し、シーンの変化の有無を検出する。そして、シーン変化検出部２４３は、シーンが変化したタイミングを含む一定の期間を高速撮影期間として設定し、高速撮影期間フラグを生成する。シーン変化検出部２４３は、高速撮影期間フラグを管理部２５０に供給し、フレームをメモリコントローラ２６０に供給する。
なお、前処理部２４０は、ゲイン調整処理、クランプ処理およびシーン変化検出を行っているが、これらのいずれか１つ以上を実行しない構成としてもよい。また、前処理部２４０は、これら以外の処理をさらに行ってもよい。また、撮像素子２００は、シーンの変化を検出した際に高速撮影モードに移行しているが、ユーザの操作に従って、高速撮影モードに移行してもよい。この場合に前処理部２４０は、シーンの変化を検出する必要がない。また、シーン変化検出部２４３は、高速撮影中にフレームバッファに溜めこんだフレームを参照し、被写体の動きに基づいて出力の対象となるフレームを選択してもよい。この場合には、バッファリングされたフレームの全てが出力されるとは限らず、それらのうち、動きの激しい区間内のフレームのみが出力インターフェース２９０により出力される。バッファリングされたフレームのうち、出力されないフレームは、削除または上書きされる。
［フレームバッファの構成例］
図４は、第１の実施の形態におけるフレームバッファ２７０の一構成例を示す図である。このフレームバッファ２７０は、Ａ領域２７１およびＢ領域２７２を含む。Ａ領域２７１およびＢ領域２７２のそれぞれには、Ｎ（Ｎは整数）枚のフレームを保持することができる。
［管理部の構成例］
図５は、第１の実施の形態における管理部２５０の一構成例を示すブロック図である。この管理部２５０は、タイムスタンプ生成部２５１およびアドレス管理部２５２を備える。
アドレス管理部２５２は、高速撮影期間において、Ａ領域２７１およびＢ領域２７２のいずれかの空き容量が所定の閾値を超えるか否かを判断する。閾値を超える空き容量がある場合にアドレス管理部２５２は、高速撮影イネーブル信号をイネーブルに設定して高速撮影モードでフレームを生成させる。ここで、高速撮影イネーブル信号は、画素アレイ部２２０を高フレームレートで駆動させるか否かを指示する信号である。また、いずれかの領域に閾値を超える空き容量がある場合にアドレス管理部２５２は、その領域内の空いているライトアドレスを生成してメモリコントローラ２６０に供給する。このライトアドレスは、フレームが生成されるたびに生成され、フレームは生成された順にフレームバッファ２７０に保持される。
高速撮影期間外、または、高速撮影期間内であっても閾値を超える空き容量がない場合にアドレス管理部２５２は、高速撮影イネーブル信号をディセーブルに設定して通常撮影モードでフレームを生成させる。
そして、プレビューモードにおいてアドレス管理部２５２は、バッファリングフレームの保持されたリードアドレスを、フレームが保持された順に生成してメモリコントローラ２６０に供給する。このリードアドレスにより、フレームは保持された順に読み出される。メモリコントローラ２６０は、読み出したフレームをフレームバッファ２７０から削除する。
タイムスタンプ生成部２５１は、走査制御信号および高速撮影イネーブル信号に基づいて、フレームごとにタイムスタンプを生成するものである。このタイムスタンプ生成部２５１は、生成したスタンプを出力インターフェース２９０に供給する。このタイムスタンプは、出力インターフェース２９０において、対応するフレームに付加される。
［後処理部の構成例］
図６は、第１の実施の形態における後処理部２８０の一構成例を示すブロック図である。この後処理部２８０は、リモザイク処理部２８１およびスケーリング処理部２８２を備える。
リモザイク処理部２８１は、バッファリングフレームおよびプレビューフレームのそれぞれに対して、リモザイク処理を行うものである。このリモザイク処理部２８１は、リモザイク処理後のフレームをスケーリング処理部２８２に供給する。
スケーリング処理部２８２は、フレームのサイズを変更するスケーリング処理を行うものである。このスケーリング処理部２８２は、スケーリング処理後のフレームを出力インターフェース２９０に供給する。
なお、後処理部２８０は、リモザイク処理およびスケーリング処理を実行しているが、これらのいずれかを実行しない構成としてもよい。また、後処理部２８０は、これら以外の処理（欠陥の補正処理など）をさらに実行してもよい。
図７は、第１の実施の形態における撮像装置１００の状態遷移図の一例である。撮像装置１００の状態は、通常撮影モード６１０、高速撮影モード６２０およびプレビューモード６３０を含む。
電源が投入されると撮像装置１００は、プレビューモード６３０に移行する。プレビューモード６３０において、撮像装置１００は、バッファリングフレームをフレームバッファ２７０から、高速撮影モードよりも低いフレームレート（３０ｆｐｓなど）で取り出して記録部１４０に記録する。また、撮像装置１００は、高速撮影モードよりも低いフレームレート（３０ｆｐｓなど）でプレビューフレームを生成して表示する。
そして、プレビューモード６３０において録画開始ボタンが押下されると、撮像装置１００は、通常撮影モード６１０に移行する。この通常撮影モード６１０において撮像装置１００は、高速撮影モードよりも低いフレームレート（３０ｆｐｓなど）でプレビューフレームを撮影して表示しつつ、記録する。
そして、通常撮影モード６１０において、高速撮影期間フラグがオン状態となり、かつ、Ａ領域またはＢ領域に空きがあると、撮像装置１００は、高速撮影モード６２０に移行する。この高速撮影モードにおいて撮像装置１００は、通常撮影モードよりも高いフレームレート（９６０ｆｐｓなど）でフレームを撮影してバッファリングする。また、撮像装置１００は、プレビューフレームを低フレームレート（３０ｆｐｓなど）で表示する。
また、高速撮影モード６２０において高速撮影期間フラグがオフ状態になると、撮像装置１００は、通常撮影モード６１０に移行する。ここで、高速撮影期間の長さは、バッファリング対象の領域が溢れない程度の値に設定される。例えば、Ａ領域およびＢ領域のそれぞれに９６０フレームを保持することができ、９６０ｆｐｓで高速撮影される場合には１秒間を超えない期間が高速撮影期間として設定される。
また、通常撮影モード６１０および高速撮影モード６２０において録画停止ボタンが押下されると撮像装置１００は、プレビューモード６３０に移行する。
なお、撮像装置１００は、録画が停止したときにバッファリングフレームの取り出しを開始しているが、プレビューフレームの表示が停止したときにバッファリングフレームの取り出しを開始してもよい。この場合には例えば、プレビュー停止モードがさらに追加される。そして、設定画面を表示させるボタンの押下時や、操作が行われない期間が一定以上経過した際に撮像装置１００は、プレビュー停止モードに移行する。プレビュー停止モードにおいて撮像装置１００は、プレビューフレームの撮影および表示を停止し、バッファリングフレームを取り出す。
図８は、第１の実施の形態における撮像装置１００の動作の一例を示すタイミングチャートである。録画開始ボタンが押下されると撮像装置１００は、垂直同期信号ＶＳＹＮＣなどの同期信号の周期が経過するたびにプレビューフレームを生成する。この垂直同期信号ＶＳＹＮＣは、フレームを生成するタイミングを示す周期信号である。そして、撮像装置１００は、プレビューフレームを表示し、記録する。
タイミングＴｃにおいてシーンが変化すると、そのタイミングを含むＴｈｓからＴｈｅまでの期間が高速撮影期間として設定される。この期間において撮像装置１００は、通常撮影時よりも短い周期が経過するたびにフレームを生成し、バッファリングする。また、撮像装置１００は、通常撮影時と同じ周期が経過するたびにプレビューフレームを表示し、記録する。
高速撮影期間が経過すると撮像装置１００は、垂直同期信号ＶＳＹＮＣの周期が経過するたびにプレビューフレームを生成して表示し、記録する。
そして、タイミングＴｏｓにおいて録画停止の操作が行われた後に、撮像装置１００は、プレビューフレームを垂直同期信号ＶＳＹＮＣの周期が経過するたびに生成して表示する。また、撮像装置１００は、垂直同期信号ＶＳＹＮＣの周期が経過するたびにバッファリングフレームをフレームバッファ２７０から取り出して記録部１４０に記録する。
そして、アプリケーション実行部１５０は、記録されたプレビューフレームおよびバッファリングフレームのそれぞれのタイムスタンプを参照し、撮影された順に並び替えて録画フレームとする。例えば、「２」番目のプレビューフレームが撮影されてから、「４」番目のプレビューフレームが撮影されるまでの１／１５秒間に１２０ｆｐｓで高速撮影された場合を想定する。この場合に、「２_１」、「２_２」、「２_３」、「３」、「３_１」、「３_２」および「３_３」の７枚のフレームがバッファリングされる。アプリケーション実行部１５０は、プレビューフレームと重複する「３」のバッファリングフレームを削除し、「２_１」、「２_２」および「２_３」のバッファリングフレームを「２」と「３」のプレビューフレームの間に挿入する。また、アプリケーション実行部１５０は、「３_１」、「３_２」および「３_３」のバッファリングフレームを「３」と「４」のプレビューフレームの間に挿入する。
なお、高速撮影中に撮像素子２００は、プレビューフレームと重複するフレームもバッファリングフレームとしてバッファリングしているが、重複するフレームをバッファリングしない構成としてもよい。この場合、例えば、「２_１」、「２_２」、「２_３」、「３」、「３_１」、「３_２」および「３_３」のうち「３」のフレームが重複するため、保持されない。これにより、高速撮影の継続時間を長くすることができる。この場合には、アプリケーション実行部１５０は、プレビューフレームと重複するバッファリングフレームを削除する必要は無い。
図８に例示するように、録画停止時に撮像素子２００は、垂直同期信号ＶＳＹＮＣに同期してバッファリングフレームを出力しつつ、プレビューフレームも出力する。これにより、表示部１２０は、バッファリングフレームの出力中においても、プレビューフレームの表示を中断せずに継続することができる。
ここで、仮に、録画停止時に撮像素子２００がプレビューフレームの生成を中断してバッファリングフレームのみを出力すると、プレビューフレームの表示が中断し、次の撮影に支障が生じる。これに対して、撮像素子２００は、バッファリングフレームを出力しつつ、プレビューフレームも出力しているため、表示部１２０は、プレビューフレームの表示を継続することができる。
図９は、第１の実施の形態における撮影時のフレームバッファ２７０の容量の変動の一例を示す図である。タイミングＴｃ１においてシーンが変化すると、そのタイミングを含むＴｈｓ１からＴｈｅ１までの期間が高速撮影期間として設定される。タイミングＴｈｓ１において、Ａ領域およびＢ領域がエンプティであるため、撮像装置１００は、高速撮影を開始する。タイミングＴｈｅ１までの間において、撮像装置１００は、例えば、Ａ領域にフレームをバッファリングする。
タイミングＴｓｅ１の後に、タイミングＴｃ２においてシーンが変化すると、そのタイミングを含むＴｈｓ２からＴｈｅ２までの期間が２回目の高速撮影期間として設定される。タイミングＴｈｓ２において、Ｂ領域がエンプティであるため、撮像装置１００は、高速撮影を開始する。タイミングＴｈｅ２までの間において、撮像装置１００は、Ｂ領域にフレームをバッファリングする。
図１０は、第１の実施の形態における撮影終了後のフレームバッファの容量の変動の一例を示す図である。タイミングＴｈｅ２の後にタイミングＴｏｓにおいて録画停止の操作が行われると、撮像素子２００は、低フレームレートでバッファリングフレームをフレームバッファ２７０から取り出して記録部１４０に出力する。
ここで、フレームバッファ２７０をＡ領域およびＢ領域に分割しない構成を比較例として想定する。この比較例では、図９において１回目の高速撮影が終了したタイミングＴｈｅ１においてフレームバッファ２７０内に空きがなくなる。このため、２回目の高速撮影を開始させたい場合にユーザは、録画停止ボタンを押下してフレームバッファ２７０に空きができるのを待ってから、再度録画開始ボタンを押下しなくてはならない。このように、比較例では高速撮影を連続して複数回行うことができない。
これに対して、フレームバッファ２７０内に２つの領域を設け、いずれかに空きがある場合に高速撮影を開始することにより、図９および図１０に例示したように、撮像装置１００は連続して複数回の高速撮影を行うことができる。
なお、フレームバッファ２７０内に２つの領域を設けているが、３つ以上の領域をもうけることもできる。フレームバッファ２７０の容量が一定の下では、領域数を多くするほど、一度の高速撮影の期間が短くなるが、高速撮影を連続して行う回数を多くすることができる。
図１１は、第１の実施の形態における領域ごとのアクセス先の変動の一例を示すグラフである。１回目の高速撮影において、高フレームレートでフレームが生成されるたびにＡ領域内のアドレスを示すライトアドレスが順に生成され、それらのアドレスにフレームが保持される。
２回目の高速撮影において、高フレームレートでフレームが生成されるたびにＢ領域内のアドレスを示すライトアドレスが順に生成され、それらのアドレスにフレームが保持される。そして、録画が終了すると、保持された順にリードアドレスが生成され、フレームが読み出される。
［撮像装置の動作例］
図１２は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、録画開始の操作が行われたときに開始する。撮像装置１００は、通常撮影モードで撮影を行い（ステップＳ９０１）、フレームバッファ２７０にアクセスするアクセス処理（ステップＳ９１０）を行う。
そして、撮像装置１００は、高速撮影期間が開始したか否かを判断する（ステップＳ９０２）。高速撮影期間が開始した場合に（ステップＳ９０２：Ｙｅｓ）、撮像装置１００は、Ａ領域およびＢ領域のいずれかに空きがあるか否かを判断する（ステップＳ９０３）。
Ａ領域およびＢ領域のいずれかに空きがある場合に（ステップＳ９０３：Ｙｅｓ）、撮像装置１００は、高フレームレートで撮影する高速撮影処理（ステップＳ９２０）を実行する。
高速撮影期間が開始していない場合（ステップＳ９０２：Ｎｏ）、Ａ領域およびＢ領域のいずれかにも空きがない場合（ステップＳ９０３：Ｎｏ）、または、ステップＳ９２０の後に撮像装置１００は、録画停止の操作が行われたか否かを判断する（ステップＳ９０４）。
録画停止の操作が行われた場合に（ステップＳ９０４：Ｙｅｓ）、撮像装置１００は、プレビューモードに移行し（ステップＳ９０５）、アクセス処理（ステップＳ９１０）を行う。そして、撮像装置１００は、録画開始の操作が行われたか否かを判断する（ステップＳ９０６）。
録画開始の操作が行われていない場合に（ステップＳ９０６：Ｎｏ）、撮像装置１００は、ステップＳ９１０を繰り返し実行する。一方、録画開始の操作が行われた場合に（ステップＳ９０６：Ｙｅｓ）、撮像装置１００は、ステップＳ９０１以降を繰り返し実行する。
図１３は、第１の実施の形態におけるアクセス処理の一例を示すフローチャートである。撮像素子２００は、高速撮影モードであるか否かを判断する（ステップＳ９１１）。高速撮影モードである場合に（ステップＳ９１１：Ｙｅｓ）、撮像素子２００は、生成したフレームがプレビューフレームであるか否かを判断する（ステップＳ９１２）。プレビューフレームである場合に（ステップＳ９１２：Ｙｅｓ）、撮像素子２００は、プレビューフレームを出力しつつ、そのプレビューフレームをバッファリングフレームとしてバッファリングする（ステップＳ９１３）。
一方、プレビューフレームでない場合に（ステップＳ９１２：Ｎｏ）、撮像素子２００は、フレームをバッファリングフレームとしてバッファリングする（ステップＳ９１４）。
高速撮影モードでない場合に（ステップＳ９１１：Ｎｏ）、撮像素子２００は、プレビューモードであるか否かを判断する（ステップＳ９１５）。プレビューモードである場合に（ステップＳ９１５：Ｙｅｓ）、撮像素子２００は、バッファリングフレームを出力する（ステップＳ９１６）。
また、通常撮影モードである場合に（ステップＳ９１５：Ｎｏ）、撮像素子２００は、プレビューフレームを出力する（ステップＳ９１７）。ステップＳ９１３、Ｓ９１４、Ｓ９１６またはＳ９１７の後に撮像素子２００は、アクセス処理を終了する。
図１４は、第１の実施の形態における高速撮影処理の一例を示すフローチャートである。撮像装置１００は、高速撮影モードで撮影し（ステップＳ９２１）、アクセス処理（ステップＳ９１０）を実行する。そして、撮像装置１００は、高速撮影期間が終了したか否かを判断する（ステップＳ９２２）。高速撮影期間が終了していない場合に（ステップＳ９２２：Ｎｏ）、撮像装置１００は、ステップＳ９２１以降を繰り返し実行する。一方、高速撮影期間が終了している場合に（ステップＳ９２２：Ｙｅｓ）、撮像装置１００は、高速撮影処理を終了する。
このように、本技術の第１の実施の形態によれば、撮像素子２００は、フレームバッファ２７０内の複数の領域のいずれかに空きがあれば、高速撮影を開始するため、高速撮影を連続して複数回に亘って行うことができる。
［第１の変形例］
上述の第１の実施の形態では、撮像素子２００は、垂直同期信号ＶＳＹＮＣの周期が経過するたびにバッファリングフレームを１枚ずつ出力していた。しかし、バッファリングフレームの枚数が多くなるほど、フレームバッファ２７０に空きができるまでの時間が長くなる。この第１の実施の形態の第１の変形例の撮像素子２００は、フレームバッファ２７０に空きができるまでの時間を短くした点において第１の実施の形態と異なる。
図１５は、第１の実施の形態の第１の変形例における撮像素子２００の動作の一例を示すタイミングチャートである。この第１の変形例の撮像素子２００は、プレビューモードにおいて垂直同期信号ＶＳＹＮＣの周期が経過するたびにバッファリングフレームを２枚ずつ出力する点において第１の実施の形態と異なる。なお、撮像素子２００は、垂直同期信号ＶＳＹＮＣの周期が経過するたびに３枚以上のフレームを出力してもよい。
このように、本技術の第１の実施の形態の第１の変形例によれば、撮像素子２００は、バッファリングフレームを垂直同期信号の周期が経過するたびに複数枚のフレームを出力するため、フレームバッファ２７０に空きができるまでの時間を短くすることができる。
［第２の変形例］
上述の第１の実施の形態では、撮像素子２００は、録画停止の操作が行われると、バッファリングフレームを出力していた。しかし、この構成では、フレームバッファ２７０に空きがなくなると、録画が停止されない限り、次の高速撮影を開始することができない。この第１の実施の形態の第２の変形例における撮像素子２００は、録画中にフレームバッファ２７０に空き領域を生じさせる点において第１の実施の形態と異なる。
図１６は、第１の実施の形態の第２の変形例における撮像素子２００の動作の一例を示すタイミングチャートである。この第２の変形例の撮像素子２００は、通常撮影モードにおいて垂直同期信号ＶＳＹＮＣの周期が経過するたびにバッファリングフレームを出力する点において第１の実施の形態と異なる。これにより、録画中にフレームバッファ２７０に空き領域を生じさせることができる。
このように、本技術の第１の実施の形態の第２の変形例によれば、撮像素子２００は、通常撮影モードで録画中にバッファリングフレームを出力するため、録画を停止しなくてもフレームバッファ２７０に空き領域を生じさせることができる。
＜２．第２の実施の形態＞
上述の第１の実施形態では、撮像素子２００は、プレビューフレームとバッファリングフレームとを撮影された順に出力していなかった。このため、アプリケーション実行部１５０は、撮影された順に並び変える編集処理を行う必要があり、録画時間が長くなるほど、アプリケーション実行部１５０の処理量が増大してしまう。この第２の実施の形態の撮像装置１００は、アプリケーション実行部１５０の処理量を低減した点において第１の実施の形態と異なる。
図１７は、第２の実施の形態における撮像装置１００の動作の一例を示すタイミングチャートである。撮像素子２００は、通常撮影モードにおいて垂直同期信号ＶＳＹＮＣに同期してフレームを撮影してプレビューフレームとして表示部１２０に出力するとともに録画フレームとして記録部１４０にも出力する。
高速撮影モードにおいて、撮像素子２００は、低フレームレートでプレビューフレームを表示部１２０に出力する。また、撮像素子２００は、高フレームレートでフレームを生成してフレームバッファ２７０に保持し、保持した順に低フレームレートでフレームを取り出して録画フレームとして出力する。
そして、高速撮像モードの後の通常撮影モードにおいて撮像素子２００は、プレビューフレームを生成するたびにフレームバッファ２７０に保持する。そして、撮像素子２００は、保持した順に低フレームレートでフレームをフレームバッファ２７０から取り出して録画フレームとして出力する。また、撮像素子２００は、低フレームレートでプレビューフレームを表示部１２０に出力する。
そして、プレビューモードにおいて撮像素子２００は、フレームバッファ２７０がエンプティになるまで、保持した順に低フレームレートでフレームバッファ２７０からフレームを取り出して録画フレームとして出力する。
このように、本技術の第２の実施の形態によれば、撮像素子２００は、高速撮影後にプレビューフレームを保持し、保持した順に低フレームレートでフレームを取り出して録画フレームとして出力するため、撮影順に録画フレームを出力することができる。このため、アプリケーション実行部１５０は、録画フレームを撮影順に並び替える処理を行う必要がなくなり、アプリケーション実行部１５０の処理量を低減することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、本技術は以下のような構成もとることができる。
（１）複数の領域が設けられたバッファと、
前記複数の領域のいずれかの空き容量が所定の閾値を超える場合には画像を生成する画像生成部と、
前記複数の領域のうち空き容量が前記所定の閾値を超える領域に前記画像をバッファリング画像として保持させる管理部と、
前記バッファリング画像が保持された順に前記バッファから前記バッファリング画像を取り出して出力する出力部と
を具備する撮像素子。
（２）前記画像生成部は、所定の通常撮影期間内において所定の周期が経過するたびに前記画像をプレビュー画像として生成し、前記所定の通常撮影期間と異なる高速撮影期間内において前記複数の領域のいずれかの空き容量が前記所定の閾値を超える場合には前記所定の周期より短い周期が経過するたびに前記画像を高速撮影画像として生成し、
前記管理部は、前記高速撮影画像を前記バッファリング画像として保持させる
前記（１）記載の撮像素子。
（３）前記出力部は、前記所定の周期が経過するたびに前記バッファリング画像とともに前記プレビュー画像をさらに出力する
前記（２）記載の撮像素子。
（４）前記管理部は、前記バッファリング画像とともに前記プレビュー画像を前記バッファに保持させ、
前記出力部は、前記バッファリング画像および前記プレビュー画像を当該画像が保持された順に前記バッファから取り出して出力する
前記（２）または（４）に記載の撮像素子。
（５）前記出力部は、所定の操作が行われたときに前記バッファから前記バッファリング画像を取り出して出力する
前記（２）から（４）のいずれかに記載の撮像素子。
（６）前記出力部は、前記高速撮影期間が終了すると前記バッファから前記バッファリング画像を取り出して出力する
前記（２）から（５）のいずれかに記載の撮像素子。
（７）前記出力部は、前記所定の周期が経過するたびに前記バッファリング画像を複数枚取り出して出力する
前記（２）から（６）のいずれかに記載の撮像素子。
（８）複数の領域が設けられたバッファと、
前記複数の領域のいずれかの空き容量が所定の閾値を超える場合には画像を生成する画像生成部と、
前記複数の領域のうち空き容量が前記所定の閾値を超える領域に前記画像をバッファリング画像として保持させる管理部と、
前記バッファリング画像が保持された順に前記バッファから前記バッファリング画像を取り出して出力する出力部と
前記出力された画像を記録する記録部と
を具備する撮像装置。
（９）複数の領域が設けられたバッファ内の前記複数の領域のいずれかの空き容量が所定の閾値を超える場合には画像を生成する画像生成手順と、
前記複数の領域のうち空き容量が前記所定の閾値を超える領域に前記画像をバッファリング画像として保持させる管理手順と、
前記バッファリング画像が保持された順に前記バッファから前記バッファリング画像を取り出して出力する出力手順と
を具備する撮像素子の制御方法。
１００ 撮像装置
１１０ 撮像レンズ
１２０ 表示部
１３０ 制御部
１４０ 記録部
１５０ アプリケーション実行部
１６０ 再生部
２００ 撮像素子
２１０ 走査部
２２０ 画素アレイ部
２３０ ＡＤ変換部
２４０ 前処理部
２４１ ゲイン調整部
２４２ クランプ処理部
２４３ シーン変化検出部
２５０ 管理部
２５１ タイムスタンプ生成部
２５２ アドレス管理部
２６０ メモリコントローラ
２７０ フレームバッファ
２８０ 後処理部
２８１ リモザイク処理部
２８２ スケーリング処理部
２９０ 出力インターフェース

Claims (9)

  1. 複数の領域が設けられたバッファと、
    前記複数の領域のいずれかの空き容量が所定の閾値を超える場合には画像を生成する画像生成部と、
    前記複数の領域のうち空き容量が前記所定の閾値を超える領域に前記画像をバッファリング画像として保持させる管理部と、
    前記バッファリング画像が保持された順に前記バッファから前記バッファリング画像を取り出して出力する出力部と
    を具備する撮像素子。
  2. 前記画像生成部は、所定の通常撮影期間内において所定の周期が経過するたびに前記画像をプレビュー画像として生成し、前記所定の通常撮影期間と異なる高速撮影期間内において前記複数の領域のいずれかの空き容量が前記所定の閾値を超える場合には前記所定の周期より短い周期が経過するたびに前記画像を高速撮影画像として生成し、
    前記管理部は、前記高速撮影画像を前記バッファリング画像として保持させる
    請求項１記載の撮像素子。
  3. 前記出力部は、前記所定の周期が経過するたびに前記バッファリング画像とともに前記プレビュー画像をさらに出力する
    請求項２記載の撮像素子。
  4. 前記管理部は、前記バッファリング画像とともに前記プレビュー画像を前記バッファに保持させ、
    前記出力部は、前記バッファリング画像および前記プレビュー画像を当該画像が保持された順に前記バッファから取り出して出力する
    請求項２記載の撮像素子。
  5. 前記出力部は、所定の操作が行われたときに前記バッファから前記バッファリング画像を取り出して出力する
    請求項２記載の撮像素子。
  6. 前記出力部は、前記高速撮影期間が終了すると前記バッファから前記バッファリング画像を取り出して出力する
    請求項２記載の撮像素子。
  7. 前記出力部は、前記所定の周期が経過するたびに前記バッファリング画像を複数枚取り出して出力する
    請求項２記載の撮像素子。
  8. 複数の領域が設けられたバッファと、
    前記複数の領域のいずれかの空き容量が所定の閾値を超える場合には画像を生成する画像生成部と、
    前記複数の領域のうち空き容量が前記所定の閾値を超える領域に前記画像をバッファリング画像として保持させる管理部と、
    前記バッファリング画像が保持された順に前記バッファから前記バッファリング画像を取り出して出力する出力部と
    前記出力された画像を記録する記録部と
    を具備する撮像装置。
  9. 複数の領域が設けられたバッファ内の前記複数の領域のいずれかの空き容量が所定の閾値を超える場合には画像を生成する画像生成手順と、
    前記複数の領域のうち空き容量が前記所定の閾値を超える領域に前記画像をバッファリング画像として保持させる管理手順と、
    前記バッファリング画像が保持された順に前記バッファから前記バッファリング画像を取り出して出力する出力手順と
    を具備する撮像素子の制御方法。
JP2016082083A 2016-04-15 2016-04-15 撮像素子、撮像装置、および、撮像素子の制御方法 Pending JP2017192100A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2016082083A JP2017192100A (ja) 2016-04-15 2016-04-15 撮像素子、撮像装置、および、撮像素子の制御方法
PCT/JP2016/089206 WO2017179249A1 (ja) 2016-04-15 2016-12-29 撮像素子、撮像装置、および、撮像素子の制御方法
KR1020187029344A KR20180133414A (ko) 2016-04-15 2016-12-29 촬상 소자, 촬상 장치 및 촬상 소자의 제어 방법
US16/092,366 US10645279B2 (en) 2016-04-15 2016-12-29 Imaging element, imaging apparatus, and control method for imaging element
CN201680084635.1A CN109076146A (zh) 2016-04-15 2016-12-29 摄像元件、摄像装置和用于摄像元件的控制方法
EP16898705.5A EP3445031A4 (en) 2016-04-15 2016-12-29 IMAGE CAPTURE ELEMENT, IMAGE CAPTURE APPARATUS, AND METHOD FOR CONTROLLING IMAGE CAPTURE ELEMENT
US16/860,932 US11265465B2 (en) 2016-04-15 2020-04-28 Imaging element, imaging apparatus, and control method for imaging element

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016082083A JP2017192100A (ja) 2016-04-15 2016-04-15 撮像素子、撮像装置、および、撮像素子の制御方法

Publications (1)

Publication Number Publication Date
JP2017192100A true JP2017192100A (ja) 2017-10-19

Family

ID=60041649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016082083A Pending JP2017192100A (ja) 2016-04-15 2016-04-15 撮像素子、撮像装置、および、撮像素子の制御方法

Country Status (6)

Country Link
US (2) US10645279B2 (ja)
EP (1) EP3445031A4 (ja)
JP (1) JP2017192100A (ja)
KR (1) KR20180133414A (ja)
CN (1) CN109076146A (ja)
WO (1) WO2017179249A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021176244A (ja) * 2018-09-27 2021-11-04 富士フイルム株式会社 撮像素子、撮像装置、画像データ出力方法、及びプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264508B2 (en) 2011-08-19 2016-02-16 Time Warner Cable Enterprises Llc Apparatus and methods for reduced switching delays in a content distribution network
JP2017192100A (ja) 2016-04-15 2017-10-19 ソニー株式会社 撮像素子、撮像装置、および、撮像素子の制御方法
US10652594B2 (en) 2016-07-07 2020-05-12 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content
US10958948B2 (en) * 2017-08-29 2021-03-23 Charter Communications Operating, Llc Apparatus and methods for latency reduction in digital content switching operations
US10939142B2 (en) 2018-02-27 2021-03-02 Charter Communications Operating, Llc Apparatus and methods for content storage, distribution and security within a content distribution network
JP7139440B2 (ja) * 2018-03-26 2022-09-20 華為技術有限公司 ビデオ記録方法および電子デバイス
US11412136B2 (en) * 2018-12-07 2022-08-09 Samsung Electronics Co., Ltd. Apparatus and method for operating multiple cameras for digital photography
JP7484916B2 (ja) * 2019-07-24 2024-05-16 ソニーグループ株式会社 撮像装置および撮像方法
KR20210092083A (ko) * 2020-01-15 2021-07-23 삼성전자주식회사 이미지 데이터를 처리하는 전자 장치 및 이미지 데이터 처리 방법
US11470260B1 (en) 2020-12-17 2022-10-11 Gopro, Inc. Image capture device that reduces gaps between captures

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4510581A (en) * 1983-02-14 1985-04-09 Prime Computer, Inc. High speed buffer allocation apparatus
JP3118917B2 (ja) * 1991-12-06 2000-12-18 キヤノン株式会社 画像記録装置及び電子スチル・カメラ
JP2002199328A (ja) * 2000-10-19 2002-07-12 Canon Inc 撮像装置、撮像方法、記憶媒体および集積回路
US7064784B2 (en) 2000-10-19 2006-06-20 Canon Kabushiki Kaisha Image pickup apparatus adapted to carry out parallel operations in a continuous image pickup mode, and a control method
JP5130421B2 (ja) 2006-06-18 2013-01-30 雅英 田中 通信機能を有するデジタルカメラ
JP4360399B2 (ja) 2006-11-30 2009-11-11 ソニー株式会社 撮像装置
CN102547127B (zh) 2007-07-26 2015-01-28 松下电器产业株式会社 摄影装置
TWI444040B (zh) * 2008-06-10 2014-07-01 Univ Tohoku Solid-state imaging element
US8190794B2 (en) * 2009-10-21 2012-05-29 Texas Instruments Incorporated Control function for memory based buffers
JP5517219B2 (ja) * 2009-10-27 2014-06-11 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 画像撮影装置及び画像撮影方法
US9179103B2 (en) 2010-09-28 2015-11-03 Alcatel Lucent System and method for controllably viewing digital video streams captured by surveillance cameras
US8886741B2 (en) 2011-06-21 2014-11-11 Intel Corporation Receive queue models to reduce I/O cache consumption
JP2013255166A (ja) * 2012-06-08 2013-12-19 Casio Comput Co Ltd 画像読取装置及びプログラム
US20140232892A1 (en) * 2013-02-20 2014-08-21 Woodman Labs, Inc. Digital signal processor buffer management
CN104284076A (zh) * 2013-07-11 2015-01-14 中兴通讯股份有限公司 一种处理预览图像的方法、装置及移动终端
CN104349168A (zh) * 2014-08-11 2015-02-11 大连戴姆科技有限公司 一种超高速图像实时压缩方法
JP2017192100A (ja) 2016-04-15 2017-10-19 ソニー株式会社 撮像素子、撮像装置、および、撮像素子の制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021176244A (ja) * 2018-09-27 2021-11-04 富士フイルム株式会社 撮像素子、撮像装置、画像データ出力方法、及びプログラム
US11785362B2 (en) 2018-09-27 2023-10-10 Fujifilm Corporation Imaging element with output circuit that outputs to first and second circuits, imaging apparatus, image data output method, and program
JP7410088B2 (ja) 2018-09-27 2024-01-09 富士フイルム株式会社 撮像素子、撮像装置、画像データ出力方法、及びプログラム

Also Published As

Publication number Publication date
EP3445031A4 (en) 2019-04-03
US20190166306A1 (en) 2019-05-30
EP3445031A1 (en) 2019-02-20
KR20180133414A (ko) 2018-12-14
US10645279B2 (en) 2020-05-05
CN109076146A (zh) 2018-12-21
US20200260003A1 (en) 2020-08-13
WO2017179249A1 (ja) 2017-10-19
US11265465B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
WO2017179249A1 (ja) 撮像素子、撮像装置、および、撮像素子の制御方法
KR102077967B1 (ko) 전자 기기
JP4958758B2 (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
US20140363136A1 (en) Image processing apparatus and method of controlling the same
KR20160044945A (ko) 이미지 촬영 장치
JP2009147743A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2009260748A (ja) 記憶再生装置
JP5268539B2 (ja) 撮像装置及び信号制御方法
JP2017212755A (ja) 撮像装置
JP2009272921A (ja) 動画像記録装置、動画像再生装置、動画像記録方法、動画像再生方法および半導体集積回路
JP2005039792A (ja) 記録装置及び再生装置
JP2006352227A (ja) 撮像装置
JP2010183370A (ja) 画像再生装置
JP2018195892A (ja) 撮像装置
JP2010187112A (ja) 画像再生装置
JP2013058853A (ja) 動画再生装置、動画再生方法及びプログラム
JP2010187111A (ja) 撮像装置
JP5300606B2 (ja) 撮像装置及びその制御方法
KR101589490B1 (ko) 디지털 영상 처리기에서 이미지 압축 및 해제 장치 및 방법
JP2018195891A (ja) 撮像装置
JP2019009486A (ja) 撮像装置
KR20080098735A (ko) 고속 영상 재생방법 및 이를 적용한 영상재생장치
JP5306068B2 (ja) 撮像装置及びその制御方法
JP2019154070A (ja) 撮像装置
JP2020141189A (ja) 撮像装置およびその制御方法