JP2013236298A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2013236298A JP2013236298A JP2012108363A JP2012108363A JP2013236298A JP 2013236298 A JP2013236298 A JP 2013236298A JP 2012108363 A JP2012108363 A JP 2012108363A JP 2012108363 A JP2012108363 A JP 2012108363A JP 2013236298 A JP2013236298 A JP 2013236298A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- roi
- row
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、動画撮影中に画角の全体の画像と一部の領域の画像とを同時に撮影することが可能な撮像装置に関する。 The present invention relates to an imaging apparatus capable of simultaneously capturing an entire image of an angle of view and an image of a partial area during moving image shooting.
デジタルスチルカメラのような撮像装置は、近年、静止画撮影だけでなく、動画撮影も可能である。このような動画撮影機能を有する撮像装置の中には、画角の全体（全画角）の動画像とその動画像のうちの注目被写体を含む領域（ＲＯＩ；Region Of Interest）を切り出した動画像とを同時に撮影可能なものがある。このような同時撮影機能は、マルチ動画撮影機能等と呼ばれている。 In recent years, an imaging apparatus such as a digital still camera can capture not only still images but also moving images. In an imaging apparatus having such a moving image shooting function, a moving image obtained by cutting out a moving image of the entire angle of view (full angle of view) and a region (ROI; Region Of Interest) including the subject of interest in the moving image. Some images can be taken at the same time. Such a simultaneous shooting function is called a multi-movie shooting function or the like.
このようなマルチ動画撮影に関する提案として、例えば特許文献１は、ＲＯＩの信号を高速に読み出す手法を提案している。具体的には、特許文献１は、ＲＯＩからの信号の読み出しを独立して実行できるように撮像素子を構成しておき、ＲＯＩからの信号を読み出す際には、他の領域から信号を読み出さないようにすることで高速化を図る手法を提案している。この他、特許文献１は、ＲＯＩ以外の領域のフレームレートをＲＯＩのフレームレートに対して落とすことによってＲＯＩからの信号の読み出しの高速化を図ることも提案している。
As a proposal relating to such multi-movie shooting, for example,
ここで、特許文献１の手法において、ＲＯＩ以外からの信号を読み出さないようにすると、全画角の画像を取得することができなくなる。一方、ＲＯＩ以外の領域のフレームレートを落とす場合、ＲＯＩの信号と全画角の信号との両方を取得できるが、ＲＯＩと全画角との両方を高フレームレートで再生することが困難である。
Here, in the method of
本発明は、前記の事情に鑑みてなされたもので、マルチ動画撮影において、全画角とＲＯＩとの両方を高いフレームレートで撮影することが可能な撮像装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging apparatus capable of shooting both the full angle of view and the ROI at a high frame rate in multi-movie shooting.
前記の目的を達成するために、本発明の一態様の撮像装置は、画角内の被写体を撮像して前記被写体に係る画像信号を得る撮像素子と、前記画角内において注目領域を設定する注目領域設定部と、前記画角の全範囲に対応した画像信号を読み出す第１の行群と前記注目領域に対応した画像信号を読み出す第２の行群とを前記撮像素子に対して設定し、前記撮像素子における前記第１の行群と前記第２の行群とからそれぞれ画像信号を読み出す制御を行う撮像素子制御部と、前記第１の行群から読み出した前記画角の全範囲に対応した画像信号に前記第２の行群から読み出した前記注目領域に対応した画像信号を合成する信号処理部と、を具備し、前記撮像素子制御部は、前記第１の行群と前記第２の行群とを異ならせることを特徴とする。 In order to achieve the above object, an imaging device according to one embodiment of the present invention sets an attention area within an angle of view with an imaging element that captures an image of an object within an angle of view and obtains an image signal related to the object. An attention area setting unit, a first row group that reads an image signal corresponding to the entire range of the angle of view, and a second row group that reads an image signal corresponding to the attention area are set for the imaging element. An image sensor control unit that performs control for reading image signals from the first row group and the second row group in the image sensor, and an entire range of the angle of view read from the first row group. A signal processing unit that synthesizes an image signal corresponding to the region of interest read from the second row group with a corresponding image signal, and the imaging element control unit includes the first row group and the first row group. It is characterized in that the row group of 2 is different.
本発明によれば、マルチ動画撮影において、全画角とＲＯＩとの両方を高いフレームレートで撮影することが可能な撮像装置を提供することを目的とする。 According to the present invention, an object of the present invention is to provide an imaging apparatus capable of shooting both the full angle of view and the ROI at a high frame rate in multi-movie shooting.
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の概略の構成を示すブロック図である。図１に示す撮像装置は、光学系１０１と、撮像素子１０２と、撮像素子制御部１０３と、信号処理部１０４と、撮像装置制御部１０５と、撮影モード設定部１０６と、表示部１０７と、記録部１０８と、を有している。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to an embodiment of the present invention. The imaging apparatus shown in FIG. 1 includes an
光学系１０１は、図示しない被写体の像（被写体像）を撮像素子１０２に結像させる。この光学系１０１は、フォーカスレンズやズームレンズといった複数のレンズを有している。また、光学系１０１内に絞りを設けても良い。
The
撮像素子１０２は、光学系１０１を介して結像された被写体像を、その光量に応じた電気信号（画像信号）に変換する。撮像素子１０２は、画素が２次元状に配置された撮像面を有している。ここで、本実施形態における撮像素子１０２は、撮像面上の特定の注目領域（ＲＯＩ）に対応した画素からの画像信号を独立して読み出すことが可能に構成されている。なお、撮像素子１０２の詳細な構成については後で詳しく説明する。
The
撮像素子制御部１０３は、撮像素子１０２の信号蓄積制御及び信号読出制御をするための各種の制御信号を、撮像素子１０２に入力する。この撮像素子制御部１０３は、ＲＯＩ画像読出制御部１０３１を有している。ＲＯＩ画像読出制御部１０３１は、撮像素子１０２のＲＯＩに対応した画素から画像信号を独立して読み出すための制御信号を、撮像素子１０２に入力する。
The image
信号処理部１０４は、撮像素子１０２から出力された画像信号に対して各種の信号処理を施す。信号処理部１０４は、マルチ画像信号処理部１０４１と、メモリ１０４２と、を有している。
マルチ画像信号処理部１０４１は、Ａ画像信号処理部１０４１ａと、Ｂ画像信号処理部１０４１ｂと、を有している。
Ａ画像信号処理部１０４１ａは、撮像素子１０２の全画角に対応した画素からの画像信号（Ａ画像という）に対して信号処理を施す。この信号処理は、例えば相関二重サンプリング（ＣＤＳ）や自動ゲイン調整（ＡＧＣ）といったアナログ信号処理、アナログの画像信号をデジタルの画像信号に変換するデジタル変換処理、及びホワイトバランス補正、デモザイク、カラーマトリクス演算及び階調補正といった画像の表示や記録をするために必要となる各種のデジタル信号処理が含まれる。
Ｂ画像信号処理部１０４１ｂは、撮像素子１０２のＲＯＩに対応した画素からの画像信号（Ｂ画像という）に対して信号処理を施す。この信号処理は、Ａ画像信号処理部１０４１ａと同一で良い。また、Ａ画像信号処理部１０４１ａとＢ画像信号処理部１０４１ｂとで信号処理のパラメータを異ならせても良い。
ここで、本実施形態においては、Ａ画像信号処理部１０４１ａの処理によって得られた全画角の画像データに、Ｂ画像信号処理部１０４１ｂの処理によって得られたＲＯＩの画像データを合成し、両者を合成した画像を表示部１０７に表示することが可能である。このような合成は、例えばＡ画像信号処理部１０４１ａにて行う。
また、Ｂ画像信号処理部１０４１ｂにおいて、ＡＥ（自動露出制御）のための評価値の算出及びＡＦ（自動合焦制御）ための評価値の算出を行うようにしても良い。
メモリ１０４２は、例えばＳＤＲＡＭ（Synchronous Dynamic RAM）であって、Ａ画像信号処理部１０４１ａとＢ画像信号処理部１０４１ｂの処理によって得られた画像データ等の各種のデータを一時的に記憶する。
The
The multi image
The A image
The B image
Here, in the present embodiment, the ROI image data obtained by the processing of the B image
Further, the B image
The memory 1042 is, for example, an SDRAM (Synchronous Dynamic RAM), and temporarily stores various data such as image data obtained by the processing of the A image
撮像装置制御部１０５は、図１に示す撮像装置の動作を制御する。このために、撮像装置制御部１０５は、ＲＯＩ画像信号処理/撮像制御設定部１０５１を有している。ＲＯＩ画像信号処理/撮像制御設定部１０５１は、撮影モード設定部１０６での設定に応じて撮像素子制御部１０３と信号処理部１０４の動作を制御する。
The imaging
撮影モード設定部１０６は、ユーザが手動で、撮像装置の撮影モードを設定するための操作部を有している。撮影モード設定部１０６の構成は特に限定されるものではない。例えばボタンであっても良いし、また表示部１０７に表示されたメニュー画面上でユーザが各種の設定を行うＧＵＩ（Graphical User Interface）であっても良い。
また、撮影モード設定部１０６は、ＲＯＩ画像撮影モード選択部１０６１ａを備えたマルチ画像設定部１０６１を有している。ＲＯＩ画像撮影モード選択部１０６１ａは、例えば、ユーザが手動によってＲＯＩ（注目領域）を設定するための操作部と、ユーザが手動によって動画記録時のＲＯＩの画像のフレームレートを設定するための操作部と、ユーザが手動によって動画撮影時の動作モードを設定するための操作部と、を有している。本実施形態における撮像装置は、動作モードの１つとしてマルチ動画撮影モードを有している。動作モードがマルチ動画撮影モードに設定された場合に、全画角の動画像とＲＯＩの動画像とを記録する制御が行われる。
なお、この撮影モード設定部１０６は、本実施形態の注目領域設定部として機能する。
The shooting
The shooting
Note that the shooting
表示部１０７は、信号処理部１０４における処理によって得られた画像データに対応した画像を表示する。前述したように、表示部１０７は、全画角の画像にＲＯＩの画像を重ねて得られた合成画像も表示可能である。なお、表示部１０７は、例えば液晶ディスプレイであるが、液晶ディスプレイに限るものではない。
The
記録部１０８は、信号処理部１０４における処理によって得られた画像データを所定の形式の画像ファイルとして記録する。Ａ画像信号処理部１０４１ａとＢ画像信号処理部１０４１ｂとの処理によってそれぞれ画像データが得られた場合には、これらの画像データを１つの画像ファイルとして記録部１０８に記録しても良いし、別個の画像ファイルとして記録部１０８に記録しても良い。
The
図２は、本実施形態における撮像素子１０２及び撮像素子制御部１０３の構成の一例を示す図である。ここで、図２の撮像素子１０２は、ＣＭＯＳ方式による構成例である。しかしながら、本実施形態における撮像素子１０２は、ＣＣＤ方式で構成されても良い。
FIG. 2 is a diagram illustrating an example of the configuration of the
撮像素子１０２は、撮像面２０１を有している。撮像面２０１には、光電変換素子（例えばフォトダイオード）を有する画素Ｐ１１、Ｐ１２、…、Ｐｎ４が二次元状に配置されている。そして、図２に示す画素のうち、同一行に配置された画素は、共通の水平読出し制御信号線φＶｙ（ｙ＝１、２、…、ｎ）に接続されている。水平読出し制御信号線φＶｙは、垂直走査回路２０２ａ及び２０２ｂに接続されている。また、図２に示す画素のうち、同一列に配置された画素は、共通の垂直信号線Ｈｘ（ｘ＝１、２、３、４）に接続されている。
それぞれの画素は、光学系１０１を介して入射した被写体からの光の量に応じた画像信号を蓄積する。そして、水平信号φＶｙがハイレベルとなった画素は、それまでに蓄積されていた画像信号を、水平走査回路Ａ２０４ａ又は水平走査回路Ｂ２０４ｂに出力する。
ここで、図２は、ｎ行４列で画素が配置されているが、画素の行数及び列数は任意である。
The
Each pixel accumulates an image signal corresponding to the amount of light from the subject incident through the
Here, in FIG. 2, pixels are arranged in n rows and 4 columns, but the number of rows and columns of pixels is arbitrary.
垂直走査回路Ａ２０２ａは、画素の行数に対応したｎ個のシフトレジスタのような垂直読出し制御部で構成されている。また、垂直走査回路Ａ２０２ａは、垂直走査制御信号線φＶＳＴＡ及びφＶＲＳＴＡに接続されている。信号線φＶＳＴＡ及びφＶＲＳＴＡは、垂直走査制御回路Ａ２０３ａに接続されている。垂直走査回路Ａ２０２ａは、信号φＶＳＴＡがハイレベルとなった垂直読出し制御部から、対応する行の画素信号を読み出すように水平読出し制御信号φＶｙのパルス状態（ハイまたはローレベル）を制御する。また、垂直走査回路Ａ２０２ａは、信号φＶＲＳＴＡがハイレベルとなったときに、垂直読出し制御部の状態をリセットする。
The vertical
垂直走査回路Ｂ２０２ｂは、画素の行数に対応したｎ個のシフトレジスタのような垂直読出し制御部で構成されている。また、垂直走査回路Ｂ２０２ｂは、垂直走査制御信号線φＶＳＴＢ及びφＶＲＳＴＢに接続されている。信号線φＶＳＴＢ及びφＶＲＳＴＢは、垂直走査制御回路Ｂ２０３ｂに接続されている。垂直走査回路Ｂ２０２ｂは、信号φＶＳＴＢがハイレベルとなった垂直読出し制御部から、対応する行の画素信号を読み出すように水平読出し制御信号φＶｙのパルス状態（ハイまたはローレベル）を制御する。また、垂直走査回路Ｂ２０２ｂは、信号φＶＲＳＴＢがハイレベルとなったときに、垂直読出し制御部の状態をリセットする。
The vertical
垂直走査制御回路Ａ２０３ａは、撮像素子制御部１０３に設けられるものであって、垂直走査制御信号線φＶＳＴＡ及びφＶＲＳＴＡのそれぞれを介して、垂直走査制御信号φＶＳＴＡ及び信号φＶＲＳＴＡを垂直走査回路２０２ａに入力する。
The vertical scanning
垂直走査制御回路Ｂ２０３ｂは、撮像素子制御部１０３のＲＯＩ画像読出制御部１０３１に設けられるものであって、垂直走査制御信号線φＶＳＴＢ及びφＶＲＳＴＢを介して、垂直走査制御信号φＶＳＴＢ及びφＶＲＳＴＢを垂直走査回路２０２ｂに入力する。
The vertical scanning
水平走査回路Ａ２０４ａは、画素の列数に対応した数（図２の例では４個）のシフトレジスタのような水平読出し制御部で構成されている。また、水平走査回路２０４ａは、水平走査制御信号線φＨＳＴＡ及びφＳＨＡに接続されている。信号線φＨＳＴＡ及びφＳＨＡは、水平走査制御回路Ａ２０５ａに接続されている。水平走査回路Ａ２０４ａは、信号φＳＨＡがハイレベルとなったときに、画素から入力された画像信号を保持（サンプルホールド）する。そして、水平走査回路Ａ２０４ａは、信号φＨＳＴＡがハイレベルとなった水平読出し制御部から、対応する列で保持していた画像信号を順次出力する。
The horizontal
水平走査回路Ｂ２０４ｂは、画素の行数に対応した数（図２の例では４個）のシフトレジスタのような水平読出し制御部で構成されている。また、水平走査回路２０４ｂは、水平走査制御信号線φＨＳＴＢ及びφＳＨＢに接続されている。信号線φＨＳＴＢ及びφＳＴＢは、水平走査制御回路Ｂ２０５ｂに接続されている。水平走査回路Ｂ２０４ｂは、信号φＳＨＢがハイレベルとなったときに、画素から入力された画像信号を保持（サンプルホールド）する。そして、水平走査回路Ｂ２０４ｂは、信号φＨＳＴＢがハイレベルとなった水平読出し制御部から、対応する列で保持していた画像信号を順次出力する。
The horizontal
水平走査制御回路Ａ２０５ａは、撮像素子制御部１０３に設けられるものであって、水平走査制御信号線φＨＳＴＡ及び信号線φＳＨＡのそれぞれを介して、水平走査制御信号φＨＳＴＡ及び信号φＳＨＡを水平走査回路２０４ａに入力する。
The horizontal scanning
水平走査制御回路Ｂ２０５ｂは、撮像素子制御部１０３に設けられるものであって、水平走査制御信号線φＨＳＴＢ及び信号線φＳＨＢのそれぞれを介して、水平走査制御信号φＨＳＴＢ及び信号φＳＨＢを水平走査回路２０４ｂに入力する。
The horizontal scanning control circuit B 205b is provided in the image
このように、本実施形態における撮像素子１０２は、垂直走査回路と水平走査回路とをそれぞれ複数有し、それぞれの走査回路から画像信号を読み出し可能である。
As described above, the
以下、本実施形態に係る撮像装置における、撮像素子１０２からの信号読み出し動作について説明する。図３は、撮像素子１０２の信号読み出し動作における各制御信号のタイミングを示すタイミングチャートであり、説明を簡単にするため画素の行数を４（ｎ＝４）とした例である。また、図３は、水平走査回路Ａ２０４ａから１行目と２行目の画素から画像信号を読み出し、水平走査回路Ｂ２０４ｂから３行目と４行目の画素から画像信号を読み出す例を示している。なお、図３における出力Ａは、水平走査回路Ａ２０４ａからの出力であることを示し、図３における出力Ｂは、水平走査回路Ｂ２０４ｂからの出力であることを示している。また、Ｐの添え字は、画素の位置と対応しており、また、Ｐの下に付記されている数字は、フレームの番号を示している。
Hereinafter, a signal reading operation from the
垂直走査制御回路Ａ２０３ａが垂直走査制御信号φＶＲＳＴＡをハイレベルに変化させ、垂直走査制御回路Ｂ２０３ｂが垂直走査制御信号φＶＲＳＴＢをハイレベルに変化させると、垂直走査制御回路Ａ２０３ａ及びＢ２０３ｂの状態がリセットされる。
When the vertical scanning
図３の例において、垂直走査制御回路Ａ２０３ａは、最初の水平ブランキング期間中に、垂直走査回路Ａ２０２ａの１行目の垂直読出し制御部に対応した垂直走査制御信号φＶＳＴＡをハイレベルとする。
In the example of FIG. 3, the vertical scanning
垂直走査制御信号φＶＳＴＡがハイレベルとなったことを受けて、垂直走査回路Ａ２０２ａは、水平読出し制御信号φＶ１をハイレベルとする。また、このとき水平走査制御回路Ａ２０５ａは、水平走査制御信号φＳＨＡをハイレベルとする。これにより、画素Ｐ１１からＰ１４に蓄積されていた画像信号が水平走査回路２０４ａにおいて保持される。
In response to the vertical scanning control signal φVSTA becoming high level, the vertical
一方、垂直走査制御回路Ｂ２０３ｂは、最初の水平ブランキング期間中に、垂直走査回路Ｂ２０２ａの３行目の垂直読出し制御部に対応した垂直走査制御信号φＶＳＴＢをハイレベルとする。
On the other hand, the vertical scanning
垂直走査制御信号φＶＳＴＢがハイレベルとなったことを受けて、垂直走査回路Ｂ２０２ｂは、水平読出し制御信号φＶ１と異なるタイミングで（図３の例では１パルス遅れで）水平読出し制御信号φＶ３をハイレベルとする。また、このとき水平走査制御回路Ｂ２０５ｂは、水平走査制御信号φＳＨＢをハイレベルとする。これにより、画素Ｐ３１からＰ３４に蓄積されていた画像信号が水平走査回路２０４ｂにおいて保持される。
In response to the vertical scanning control signal φVSTB becoming high level, the vertical scanning circuit B202b changes the horizontal reading control signal φV3 to high level at a timing different from that of the horizontal reading control signal φV1 (with one pulse delay in the example of FIG. 3). And At this time, the horizontal scanning control circuit B 205b sets the horizontal scanning control signal φSHB to the high level. Thereby, the image signal accumulated in the pixels P31 to P34 is held in the
図３に示すように、本実施形態においては、異なる行の水平読出し制御信号φＶｙが同タイミングでハイレベルとならないように制御する。異なる行の水平読出し制御信号φＶｙが同タイミングでハイレベルとならないように制御することにより、同一の水平ライン期間Ｈ内で複数の行の画素からの画像信号を、水平走査回路Ａ２０４ａと水平走査回路Ｂ２０４ｂとに振り分けることが可能となる。
As shown in FIG. 3, in the present embodiment, control is performed so that horizontal read control signals φVy of different rows do not become high level at the same timing. By controlling so that the horizontal read control signals φVy of different rows do not become high level at the same timing, image signals from a plurality of rows of pixels within the same horizontal line period H are converted into the horizontal
水平走査回路Ａ２０４ａと水平走査回路Ｂ２０４ｂとにそれぞれ画像信号が保持された後、水平走査制御回路Ａ２０５ａは、水平走査制御信号φＨＳＴＡをハイレベルとする。また、水平走査制御回路Ｂ２０５ｂは、水平走査制御信号φＨＳＴＢをハイレベルとする。これにより、水平走査回路Ａ２０４ａに保持されていた１行目の画素からの画像信号が出力される。また、水平走査回路Ｂ２０４ｂに保持されていた３行目の画素からの画像信号が出力される。
After the image signals are held in the horizontal
図３の例において、垂直走査制御回路Ａ２０３ａは、次の水平ブランキング期間中に、垂直走査回路Ａ２０２ａは、水平読出し制御信号φＶ２をハイレベルとする。また、このとき水平走査制御回路Ａ２０５ａは、水平走査制御信号φＳＨＡをハイレベルとする。これにより、画素Ｐ２１からＰ２４に蓄積されていた画像信号が水平走査回路２０４ａにおいて保持される。
In the example of FIG. 3, the vertical scanning
一方、垂直走査制御回路Ｂ２０３ｂは、水平読出し制御信号φＶ２と異なるタイミングで（図３の例では１パルス遅れで）水平読出し制御信号φＶ４をハイレベルとする。また、このとき水平走査制御回路Ｂ２０５ｂは、水平走査制御信号φＳＨＢをハイレベルとする。これにより、画素Ｐ４１からＰ４４に蓄積されていた画像信号が水平走査回路２０４ｂにおいて保持される。
On the other hand, the vertical scanning
水平走査回路Ａ２０４ａと水平走査回路Ｂ２０４ｂとにそれぞれ画像信号が保持された後、水平走査制御回路Ａ２０５ａは、水平走査制御信号φＨＳＴＡをハイレベルとする。また、水平走査制御回路Ｂ２０５ｂは、水平走査制御信号φＨＳＴＢをハイレベルとする。これにより、水平走査回路Ａ２０４ａに保持されていた２行目の画素からの画像信号が出力される。また、水平走査回路Ｂ２０４ｂに保持されていた４行目の画素からの画像信号が出力される。このようにして１フレーム期間の信号読み出し動作が終了する。
After the image signals are held in the horizontal
図３に示す１フレーム期間においては、水平走査回路Ａ２０４ａと水平走査回路Ｂ２０４ｂと両方から画像信号を出力させているが、本実施形態においては何れか一方から画像信号を出力させるようにすることもできる。図３に示す２フレーム目以後は、水平走査回路２０４ｂからの信号の出力タイミングを１水平ライン期間分だけ遅らせている。このような制御は、上記一連の走査制御を１水平ライン期間だけ遅らせることによって行うことができる。
In one frame period shown in FIG. 3, the image signal is output from both the horizontal
本実施形態における撮像素子１０２は、図３で示したような読み出し動作を適宜組み合わせることによって種々の信号読み出しを行うことが可能である。
The
図４は、撮像素子１０２の全画角の画像信号（Ａ画像）に対してＲＯＩの画像信号（Ｂ画像）を高フレームレートで読み出すモード（以下、Ｂ画像高フレームレートモードという）の場合の信号読み出し動作について示す図である。図４（ａ）は、画素の行数が３６（ｎ＝３６）であって、領域３０１（８行目〜２４行目に含まれる領域）がＲＯＩに指定されている例を示す。 FIG. 4 shows a case in which a ROI image signal (B image) is read at a high frame rate with respect to an image signal (A image) at all angles of view of the image sensor 102 (hereinafter referred to as B image high frame rate mode). It is a figure shown about signal read-out operation. FIG. 4A shows an example in which the number of pixel rows is 36 (n = 36) and the region 301 (the region included in the 8th to 24th rows) is designated as the ROI.
図４（ａ）に示すように、Ｂ画像高フレームレートモードにおいては、Ａ画像とＢ画像の両方を間引き読み出しする。図４（ａ）は、Ｂ画像高フレームレートモードにおける読み出しラインの例を示している。Ｂ画像高フレームレートモードにおいては、Ｂ画像を、奇数フレームと偶数フレームとに分けるフィールド読み出しすることによってフレームレートを向上させる。 As shown in FIG. 4A, in the B image high frame rate mode, both the A image and the B image are read out. FIG. 4A shows an example of a readout line in the B image high frame rate mode. In the B image high frame rate mode, the frame rate is improved by field-reading the B image into odd frames and even frames.
Ｂ画像高フレームレートモードにおいては、Ａ画像とＢ画像とで同一の行からの画像信号の読み出しが行われないようにＡ画像の読み出し行（第１の行群）とＢ画像の読み出し行（第２の行群）とを設定する。例えば１、４、７、１０、…、１＋３ｋ（ｋ＝０、１、…、１１）の行の画像信号が画像Ａであるとすると、画像Ｂは、領域３０１に含まれて且つ１、４、７、１０、…、１＋３ｋ（ｋ＝０、１、…、１１）の行以外の行の画像信号とする。例えば、画像Ｂは、８、９、１１、１２、１４、１５、１７、１８、２０、２１、２３、２４行の画像信号とする。したがって、奇数フレームにおいては、８、１１、１４、…、８＋３ｌ（ｌ＝０、１、…、５）の行から画像信号を読み出し、偶数フレームにおいては、９、１２、１５、…、９＋３ｌ（ｌ＝０、１、…、５）の行から画像信号を読み出す。図４（ａ）の実線が、Ａ画像として読み出しをする行であり、図４（ａ）の破線が奇数フレームにおいてＢ画像として読み出しをする行であり、図４（ａ）の一点鎖線が偶数フレームにおいてＢ画像として読み出しをする行である。
In the B image high frame rate mode, the A image readout row (first row group) and the B image readout row (in order to prevent readout of image signals from the same row in the A image and the B image) 2nd row group). For example, if the image signal in the row of 1, 4, 7, 10,..., 1 + 3k (k = 0, 1,..., 11) is the image A, the image B is included in the
図４（ｂ）に示すように、Ａ画像とＢ画像との画像信号の蓄積は、同タイミングで開始する。画像信号の蓄積は、１行目と８行目、４行目と１１行目、…、１６行目と２３行目、１９行目と９行目、２２行目と１２行目、…、３４行目と２４行目の順で行う。また、Ｂ画像高フレームレートモードにおいては、Ｂ画像の蓄積時間をＡ画像の蓄積時間よりも短く（例えば半分）とする。なお、撮像素子１０２の信号蓄積の制御方式がローリングシャッタ方式でない場合には、このような行単位での蓄積時間の制御は不要である。
As shown in FIG. 4B, the accumulation of the image signals of the A image and the B image starts at the same timing. Image signals are accumulated in the 1st and 8th lines, 4th and 11th lines,..., 16th and 23rd lines, 19th and 9th lines, 22nd and 12th lines,. Perform in the order of the 34th and 24th lines. In the B image high frame rate mode, the B image accumulation time is shorter (eg, half) than the A image accumulation time. When the signal accumulation control method of the
前述のように、信号蓄積を行うと、図４（ｂ）に示すように、まず、８行目の画素の信号蓄積が完了する。このとき、垂直走査制御回路Ｂ２０５ｂは、水平読出し制御信号φＶ８をハイレベルとする。その後、図３で示した動作を経て、８行目の画素に対応した画像信号が水平走査回路Ｂ２０４ｂから出力される。
As described above, when signal accumulation is performed, as shown in FIG. 4B, first, signal accumulation of pixels in the eighth row is completed. At this time, the vertical scanning control circuit B 205b sets the horizontal readout control signal φV8 to the high level. Thereafter, the image signal corresponding to the pixels in the eighth row is output from the horizontal
以後、水平ライン期間毎に、垂直走査制御回路Ｂ２０５ｂは、ハイレベルとする水平読出し制御信号φＶｙを３行ずつずらす。そして、２１行目の画素に対応した画像信号が水平走査回路Ｂ２０４ｂから出力されると、Ｂ画像の１フレーム分の読み出しが完了する。 Thereafter, for each horizontal line period, the vertical scanning control circuit B 205b shifts the horizontal read control signal φVy to be high level by three rows. When the image signal corresponding to the pixel in the 21st row is output from the horizontal scanning circuit B204b, reading of one frame of the B image is completed.
続いて、１行目の画素の信号蓄積と９行目の画素の信号蓄積（ただし、９行目の画素の蓄積時間は１行目の画素の蓄積時間の半分である）とが完了する。このとき、垂直走査制御回路Ａ２０５ａは、水平読出し制御信号φＶ１をハイレベルとする。また、垂直走査制御回路Ｂ２０５ｂは、水平読出し制御信号φＶ１がハイレベルとなるのに遅れて、水平読出し制御信号φＶ９をハイレベルとする。その後、図３で示した動作を経て、１行目の画素に対応した画像信号が水平走査回路Ａ２０４ａから出力される。また、９行目の画素に対応した画像信号が水平走査回路Ｂ２０４ｂから出力される。
Subsequently, the signal accumulation of the pixels of the first row and the signal accumulation of the pixels of the ninth row (however, the accumulation time of the pixels of the ninth row is half the accumulation time of the pixels of the first row) are completed. At this time, the vertical scanning
以後、水平ライン期間毎に、垂直走査制御回路Ａ２０５ａは、ハイレベルとする水平読出し制御信号φＶｙを３行ずつずらす。同様に、垂直走査制御回路Ｂ２０５ｂは、ハイレベルとする水平読出し制御信号φＶｙを３行ずつずらす。そして、３４行目の画素に対応した画像信号が水平走査回路Ａ２０４ａから出力されると、Ａ画像の１フレーム分の読み出しが完了する。Ｂ画像についてはＡ画像よりも蓄積時間が短いので、２フレーム分の読み出しが完了している。
Thereafter, for each horizontal line period, the vertical scanning
図４（ｂ）に示すＢ画像高フレームレートモードにおいては、Ａ画像のフレームレートを落とさずに、Ｂ画像のフレームレートを向上させることが可能である。 In the B image high frame rate mode shown in FIG. 4B, the frame rate of the B image can be improved without decreasing the frame rate of the A image.
図５は、撮像素子１０２の全画角の画像信号（Ａ画像）に対してＲＯＩの画像信号（Ｂ画像）を高解像度で読み出すモード（以下、Ｂ画像高解像度モードという）の場合の信号読み出し動作について示す図である。図５（ａ）も、図４（ａ）と同様、画素の行数が３６（ｎ＝３６）であって、領域３０１（８行目〜２４行目に含まれる領域）がＲＯＩに指定されている例を示す。 FIG. 5 illustrates signal readout in a mode in which an ROI image signal (B image) is read at a high resolution with respect to an image signal (A image) at all angles of view of the image sensor 102 (hereinafter referred to as a B image high resolution mode). It is a figure shown about operation | movement. In FIG. 5A, as in FIG. 4A, the number of pixel rows is 36 (n = 36), and the region 301 (the region included in the 8th to 24th rows) is designated as the ROI. An example is shown.
図５（ａ）に示すように、Ｂ画像高解像度モードにおいても、Ａ画像とＢ画像の両方を間引き読み出しする。図５（ａ）は、Ｂ画像高解像度モードにおける読み出しラインの例を示している。 As shown in FIG. 5A, both the A image and the B image are thinned and read out even in the B image high resolution mode. FIG. 5A shows an example of a readout line in the B image high resolution mode.
Ｂ画像高解像度モードにおいても、Ａ画像とＢ画像とで同一の行からの画像信号の読み出しが行われないようにＡ画像の読み出し行（第１の行群）とＢ画像の読み出し行（第２の行群）とを設定する。例えば、１、４、７、１０、…、１＋３ｋ（ｋ＝０、１、…、１１）の行の画像信号が画像Ａであるとすると、画像Ｂは、領域３０１に含まれて且つ１、４、７、１０、…、１＋３ｋ（ｋ＝０、１、…、１１）の行以外の画像信号とする。例えば、画像Ｂは、８、９、１１、１２、１４、１５、１７、１８、２０、２１、２３、２４行の画像信号とする。Ｂ画像高解像度モードにおける画像信号の読み出しは、Ｂ画像高フレームレートモードと同一である。
Even in the B image high-resolution mode, the A image read row (first row group) and the B image read row (first row) are set so that the image signals are not read from the same row in the A image and the B image. 2). For example, if the image signal in the row of 1, 4, 7, 10,..., 1 + 3k (k = 0, 1,..., 11) is the image A, the image B is included in the
図５（ｂ）に示すように、Ａ画像とＢ画像との信号蓄積は、同タイミングで開始する。信号蓄積は、１行目と８行目、４行目と１１行目、…、１６行目と２３行目、１９行目と９行目、２２行目と１２行目、…、３４行目と２４行目の順で行う。Ｂ画像高フレームレートモードにおいてはＢ画像の蓄積時間をＡ画像の蓄積時間の半分としたが、Ｂ画像高解像度モードにおいてはＢ画像の蓄積時間をＡ画像の蓄積時間と同じにする。なお、撮像素子１０２の信号蓄積の制御方式がローリングシャッタ方式でない場合には、このような行単位での蓄積時間の制御は不要である。
As shown in FIG. 5B, signal accumulation for the A and B images starts at the same timing. Signal accumulation is performed on the 1st and 8th lines, the 4th and 11th lines,..., The 16th and 23rd lines, the 19th and 9th lines, the 22nd and 12th lines,. Perform in order of eyes and 24th line. In the B image high frame rate mode, the B image accumulation time is half of the A image accumulation time, but in the B image high resolution mode, the B image accumulation time is set to be the same as the A image accumulation time. When the signal accumulation control method of the
前述のように、信号蓄積を行うと、図５（ｂ）に示すように、まず、１行目の画素の蓄積と８行目の画素の信号蓄積が完了する。このとき、垂直走査制御回路Ａ２０５ａは、水平読出し制御信号φＶ１をハイレベルとする。また、垂直走査制御回路Ｂ２０５ｂは、水平読出し制御信号φＶ１がハイレベルとなるのに遅れて、水平読出し制御信号φＶ８をハイレベルとする。その後、図３で示した動作を経て、１行目の画素に対応した画像信号が水平走査回路Ａ２０４ａから出力される。また、８行目の画素に対応した画像信号が水平走査回路Ｂ２０４ｂから出力される。
As described above, when signal accumulation is performed, as shown in FIG. 5B, first, accumulation of pixels in the first row and signal accumulation of pixels in the eighth row are completed. At this time, the vertical scanning
以後、水平ライン期間毎に、垂直走査制御回路Ａ２０５ａは、ハイレベルとする水平読出し制御信号φＶｙを３行ずつずらす。同様に、垂直走査制御回路Ｂ２０５ｂは、ハイレベルとする水平読出し制御信号φＶｙを３行ずつずらす。そして、３４行目の画素に対応した画像信号が水平走査回路Ａ２０４ａから出力されると、Ａ画像の１フレーム分の読み出しが完了する。Ａ画像とＢ画像とは蓄積時間が同じであるが、Ｂ画像のほうの行数が少ないので、Ｂ画像のほうが先に読み出しが完了する。
Thereafter, for each horizontal line period, the vertical scanning
図５（ｂ）に示すＢ画像高解像度モードにおいては、図５（ａ）に示すように、Ａ画像の１フレーム分の読み出しの完了時に、蓄積時間が同一であって異なる行の画像信号からなる３種類の画像が得られる。これらの３種類の画像を合成することにより、７行〜２５行の画像信号を画像Ｂとして用いることが可能である。これによって、Ｂ画像の解像度を向上させることが可能である。 In the B image high resolution mode shown in FIG. 5 (b), as shown in FIG. 5 (a), at the completion of reading out one frame of the A image, from the image signals in different rows with the same accumulation time. Three types of images are obtained. By combining these three types of images, it is possible to use image signals of 7 to 25 rows as the image B. Thereby, the resolution of the B image can be improved.
図６は、撮像素子１０２の全画角の画像信号（Ａ画像）を間引かずに読み出すモード（以下、全画素読み出しモードという）の場合の信号読み出し動作について示す図である。全画素読み出しモードの場合、垂直走査制御回路Ａ２０３ａは、水平期間毎に、水平読出し制御信号φＶｙをφＶ１からφＶ３６まで順次ハイレベルとする。一方、垂直走査制御回路Ｂ２０３ｂは、動作を停止させる。
FIG. 6 is a diagram illustrating a signal readout operation in a mode (hereinafter referred to as an all-pixel readout mode) in which an image signal (A image) of all angles of view of the
図６の例では、全画角の画像信号を読み出すことが可能である。ここでは、垂直走査制御回路Ａ２０３ａを動作させる例を説明したが、垂直走査制御回路Ｂ２０３ｂを動作させるようにしても良い。
In the example of FIG. 6, it is possible to read out image signals at all angles of view. Although the example in which the vertical scanning
図７は、撮像素子１０２の全画角の画像信号（Ａ画像）を間引いて読み出し、読み出したＡ画像からＲＯＩの画像信号（Ｂ画像）を取得するモード（以下、フィールド読み出しモードという）の場合の信号読み出し動作について示す図である。フィールド読み出しモードの場合、垂直走査制御回路Ａ２０３ａは、水平読出し制御信号φＶｙを３行毎に順次ハイレベルとし、フレーム（フィールド）毎にハイレベルとする水平読出し制御信号φＶｙをずらす。図７の実線が、フィールド１として読み出しをする行であり、図７の破線がフィールド２として読み出しをする行であり、図７の一点鎖線がフィールド３として読み出しをする行である。
FIG. 7 illustrates a mode (hereinafter referred to as field readout mode) in which image signals (A images) of all angles of view of the
フィールド読み出しモードにおいては、撮像素子１０２から出力されたＡ画像をＢ画像信号処理部１０４１ｂにも入力し、この入力されたＡ画像からＢ画像を切り出す。これにより、全画角の画像（Ａ画像）とＲＯＩの画像（Ｂ画像）とを取得できる。
In the field readout mode, the A image output from the
以上、本実施形態においては、図４〜図７で示した４つの読み出しモードを撮像装置の状況に応じて使い分ける。図８は、読み出しモードの使い分けの例を示すフローチャートである。図８は、動画撮影時の例を示している。 As described above, in the present embodiment, the four readout modes shown in FIGS. 4 to 7 are properly used according to the state of the imaging apparatus. FIG. 8 is a flowchart showing an example of proper use of the read mode. FIG. 8 shows an example at the time of moving image shooting.
図８において、撮像装置制御部１０５は、撮像装置の動作モードがマルチ動画撮影モードであるか否かを判定する（Ｓ１０１）。前述したように、マルチ動画撮影モードへの設定は、ＲＯＩ画像撮影モード選択部１０６１ａをユーザが操作することによって行われる。
In FIG. 8, the imaging
Ｓ１０１において、動作モードがマルチ動画撮影モードであると判定した場合に、撮像装置制御部１０５は、ＲＯＩの設定を行う（Ｓ１０２）。ＲＯＩの設定は、ＲＯＩ画像撮影モード選択部１０６１ａをユーザが操作することによって行われるようにしても良いし、自動設定するようにしても良い。ＲＯＩの自動設定は、例えば図９に示すようにして画角内におけるＡＦエリアを検出してＲＯＩとする手法が考えられる。この際のＲＯＩのサイズは、固定サイズとしても良いし、ユーザが変更できるようにしても良い。ＡＦエリアは、例えば画角内の最もコントラストの高いエリアとする。また、画角内の顔エリアを検出してＲＯＩとする等、各種の手法によってＲＯＩを自動設定して良い。
In S101, when it is determined that the operation mode is the multi-movie shooting mode, the imaging
ＲＯＩ設定の後、撮像装置制御部１０５は、Ｂ画像を高フレームレート化するか否かを判定する（Ｓ１０３）。マルチ動画撮影モードの設定がＢ画像高フレームレートモード又はＢ画像高解像度モードに設定されている場合には、Ｂ画像を高フレーム化すると判定する。このマルチ動画撮影モードの設定も、ＲＯＩ画像撮影モード選択部１０６１ａをユーザが操作することによって行われる。
After the ROI setting, the imaging
Ｓ１０３において、Ｂ画像を高フレームレート化する、即ちマルチ動画撮影モードの設定がＢ画像高フレームレートモード又はＢ画像高解像度モードに設定されている場合に、撮像装置制御部１０５は、Ｂ画像のフレームレートを設定する（Ｓ１０４）。Ｂ画像のフレームレートは、ＲＯＩ内の注目被写体の動き量に応じて設定する。図１０は、注目被写体の動き量とＢ画像のフレームレートとの関係を示している。図１０は、注目被写体の動き量が大きくなるほど、Ｂ画像のフレームレートを上げる例を示している。これにより、動きのある注目被写体の画像を捉えやすくなる。なお、注目被写体の動き量は図１の信号処理部１０４に含まれる図示しない注目被写体動き検出部で検出される。
In S103, when the B image is increased in frame rate, that is, when the setting of the multi-movie shooting mode is set to the B image high frame rate mode or the B image high resolution mode, the imaging device control unit 105 A frame rate is set (S104). The frame rate of the B image is set according to the amount of movement of the subject of interest within the ROI. FIG. 10 shows the relationship between the amount of motion of the subject of interest and the frame rate of the B image. FIG. 10 shows an example in which the frame rate of the B image is increased as the amount of movement of the subject of interest increases. This makes it easier to capture an image of a moving subject of interest. Note that the amount of motion of the subject of interest is detected by a subject of interest motion detection unit (not shown) included in the
ここで、図１０は、注目被写体の動き量Ａ、Ｂ、Ｃ（Ａ＜Ｂ、Ｃ）に対してフレームレートを３段階（ａ＜ｂ＜ｃ）に変化させる例を示している。しかしながら、フレームレートは必ずしも３段階に変化させる必要はなく、例えば動き量に対して線形にフレームレートを変化させるようにしても良い。また、Ｂ画像のフレームレートを手動で設定できるようにしても良い。 Here, FIG. 10 shows an example in which the frame rate is changed in three steps (a <b <c) with respect to the movement amounts A, B, and C (A <B, C) of the subject of interest. However, it is not always necessary to change the frame rate in three stages. For example, the frame rate may be changed linearly with respect to the amount of motion. Further, the frame rate of the B image may be set manually.
Ｂ画像のフレームレートを設定した後、撮像装置制御部１０５は、Ｂ画像を高解像化するか否かを判定する（Ｓ１０５）。マルチ動画撮影モードの設定がＢ画像高解像度モードに設定されている場合には、Ｂ画像を高解像度化すると判定する。
After setting the frame rate of the B image, the imaging
Ｓ１０５において、ＲＯＩの画像を高解像度化する、即ちマルチ動画撮影モードの設定がＢ画像高解像度モードに設定されている場合に、撮像装置制御部１０５は、Ｂ画像高解像度モードの制御を行う（Ｓ１０６）。
In S105, when the resolution of the ROI image is increased, that is, when the setting of the multi-movie shooting mode is set to the B image high resolution mode, the imaging
Ｂ画像高解像度モードにおいて、撮像装置制御部１０５は、Ａ画像の開始行のアドレス情報、Ａ画像の終了行のアドレス情報、及びＡ画像のフレームレートの情報と、Ｂ画像の開始行のアドレス情報及び終了行のアドレス情報とＢ画像のフレームレートの情報を撮像素子制御部１０３に入力する。
In the B image high-resolution mode, the imaging
撮像素子制御部１０３は、Ａ画像の開始行のアドレス情報に従って垂直走査制御信号φＶＳＴＡをハイレベルとする垂直読出し制御部を設定するとともに、Ａ画像の終了行のアドレス情報に従って垂直走査制御信号φＶＲＳＴＡをハイレベルとするタイミングを設定する。また、撮像素子制御部１０３は、Ａ画像のフレームレートに従って間引き数を設定する。
The image
また、ＲＯＩ画像読出制御部１０３１は、Ｂ画像の開始行のアドレス情報に従って垂直走査制御信号φＶＳＴＢをハイレベルとする垂直読出し制御部を設定するとともに、Ｂ画像の終了行のアドレス情報に従って垂直走査制御信号φＶＲＳＴＢをハイレベルとするタイミングを設定する。また、ＲＯＩ画像読出制御部１０３１は、Ｂ画像のフレームレートに従って間引き数を設定する。
The ROI image reading
以上の設定の後、撮像素子制御部１０３は、図５で示したようにして、撮像素子１０２における信号蓄積及び信号読み出しを制御する。
After the above settings, the image
撮像素子１０２における信号読み出しの後、Ａ画像信号処理部１０４１ａにおいてＡ画像に対する信号処理が行われるとともに、Ｂ画像信号処理部１０４１ｂにおいてＢ画像に対する信号処理が行われる。その後、Ａ画像とＢ画像が合成され、合成により得られた合成画像が表示部１０７に表示されたり、記録部１０８に記録されたりする（Ｓ１０７）。
After the signal reading in the
Ｓ１０１において、動作モードがマルチ動画撮影モードでないと判定した場合に、撮像装置制御部１０５は、全画素読み出しモードの制御を行う（Ｓ１０８）。
If it is determined in S101 that the operation mode is not the multi-movie shooting mode, the imaging
全画素読み出しモードにおいて、撮像装置制御部１０５は、Ａ画像の開始行のアドレス情報、Ａ画像の終了行のアドレス情報、及びＡ画像のフレームレートの情報を撮像素子制御部１０３に入力する。撮像素子制御部１０３は、これらの情報に従って撮像素子１０２の全画素から画像信号を読み出す。
In the all-pixel readout mode, the imaging
Ｓ１０３において、Ｂ画像を高フレームレート化しないと判定した場合に、撮像装置制御部１０５は、フィールド読み出しモードの制御を行う（Ｓ１０９）。
If it is determined in S103 that the B image is not increased in frame rate, the imaging
フィールド読み出しモードにおいて、撮像装置制御部１０５は、Ａ画像の開始行のアドレス情報、Ａ画像の終了行のアドレス情報、及びＡ画像のフレームレートの情報を撮像素子制御部１０３に入力する。撮像素子制御部１０３は、これらの情報に従って撮像素子１０２の画素から画像信号を間引いて読み出す。ここで、フィールド読み出しモードにおいては、Ａ画像をＢ画像信号処理部１０４１ｂにも入力し、Ｂ画像の切り出しをする。
In the field readout mode, the imaging
Ｓ１０５において、ＲＯＩの画像を高フレームレート化しない、即ちマルチ動画撮影モードの設定がＢ画像高フレームレートモードに設定されている場合に、撮像装置制御部１０５は、Ｂ画像高フレームレートモードの制御を行う（Ｓ１１０）。
In S105, when the ROI image is not increased in frame rate, that is, when the setting of the multi-movie shooting mode is set to the B image high frame rate mode, the imaging
Ｂ画像高フレームレートモードにおいても、撮像装置制御部１０５は、Ａ画像の開始行のアドレス情報、Ａ画像の終了行のアドレス情報、及びＡ画像のフレームレートの情報と、Ｂ画像の開始行のアドレス情報及び終了行のアドレス情報とＢ画像のフレームレートの情報を撮像素子制御部１０３に入力する。
Even in the B image high frame rate mode, the imaging
撮像素子制御部１０３は、Ａ画像の開始行のアドレス情報に従って垂直走査制御信号φＶＳＴＡをハイレベルとする垂直読出し制御部を設定するとともに、Ａ画像の終了行のアドレス情報に従って垂直走査制御信号φＶＲＳＴＡをハイレベルとするタイミングを設定する。また、撮像素子制御部１０３は、Ａ画像のフレームレートに従って間引き数を設定する。
The image
また、ＲＯＩ画像読出制御部１０３１は、Ｂ画像の開始行のアドレス情報に従ってスタート信号φＶＳＴＢをハイレベルとする水平信号出力部を設定するとともに、Ｂ画像の終了行のアドレス情報に従って垂直走査制御信号φＶＲＳＴＢをハイレベルとするタイミングを設定する。また、ＲＯＩ画像読出制御部１０３１は、Ｂ画像のフレームレートに従って間引き数を設定する。
The ROI image reading
以上の設定の後、撮像素子制御部１０３は、図４で示したようにして撮像素子１０２における信号蓄積及び信号読み出しを制御する。前述したように、Ｂ画像高フレームレートモードにおいては、Ｂ画像の信号蓄積時間を、Ａ画像の信号蓄積時間の半分とする。
After the above settings, the image
以上説明したように、本実施形態においては、全画角の画像信号とＲＯＩの画像信号とで読み出し行に重複が生じないようにし、また、全画角の画像信号とＲＯＩの画像信号とで水平読出し制御信号φＶｙの入力タイミングをずらすことにより、全画角の画像信号の撮像のフレームレートを維持したまま、ＲＯＩの画像信号の撮像のフレームレートを上げることが可能である。 As described above, in the present embodiment, there is no overlap in the readout rows between the image signal of the full angle of view and the image signal of the ROI, and the image signal of the full angle of view and the image signal of the ROI are By shifting the input timing of the horizontal readout control signal φVy, it is possible to increase the frame rate for capturing the ROI image signal while maintaining the frame rate for capturing the image signal at all angles of view.
このような全画角とＲＯＩとでフレームレートの異なる画像を再生することにより、例えば、ＲＯＩを高フレームレート読出しした場合には、全画角の画像に対してＲＯＩの画像をスローモーションで再生することが可能である。また、このときＲＯＩの画像のフレームレートの設定により、ＲＯＩの画像のスローモーション再生の際のモーションスピードを変更することも可能である。 By reproducing images with different frame rates between the full angle of view and the ROI, for example, when the ROI is read at a high frame rate, the ROI image is reproduced in slow motion with respect to the full angle of view image. Is possible. At this time, by setting the frame rate of the ROI image, it is also possible to change the motion speed at the time of slow motion playback of the ROI image.
また、本実施形態においては、ＲＯＩの画像に対する蓄積時間を制御することによって、ＲＯＩの画像の高フレームレート化を図ったり、ＲＯＩの画像の高解像度化を図ったりすることが可能である。 Further, in the present embodiment, it is possible to increase the frame rate of the ROI image or increase the resolution of the ROI image by controlling the accumulation time for the ROI image.
さらに、本実施形態における撮像素子１０２は、複数の読み出しモードで全画角の画像とＲＯＩの画像の読み出しが可能である、読み出しモードの使い分けを可能とすることでユーザに対する使い勝手の向上を図ることが可能である。
Furthermore, the
以上実施形態に基づいて本発明を説明したが、本発明は前述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、前述の実施形態では、全画角の画像と１つのＲＯＩの画像とを撮影する例を示している。しかしながら、ＲＯＩは、２つ以上設定されても良い。全画角の画像と、それぞれのＲＯＩの画像とで同一の行の画像信号を読み出さないように画像信号の読み出し行を制御することにより、図４、図５で示したのと同様の読み出しを２つ以上のＲＯＩが設定された場合であっても行うことができる。 Although the present invention has been described based on the above embodiment, the present invention is not limited to the above-described embodiment, and various modifications and applications are naturally possible within the scope of the gist of the present invention. For example, in the above-described embodiment, an example in which an image with a full angle of view and an image with one ROI are captured is shown. However, two or more ROIs may be set. By controlling the readout line of the image signal so that the image signal of the same line is not read out in the full-field-of-view image and each ROI image, the same readout as shown in FIGS. 4 and 5 is performed. This can be performed even when two or more ROIs are set.
さらに、前記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、前述したような課題を解決でき、前述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Furthermore, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
１０１…光学系、１０２…撮像素子、１０３…撮像素子制御部、１０４…信号処理部、１０５…撮像装置制御部、１０６…撮影モード設定部、１０７…表示部、１０８…記録部、１０３１…ＲＯＩ画像読出制御部、１０４１…マルチ画像信号処理部、１０４１ａ…Ａ画像信号処理部、１０４１ｂ…Ｂ画像信号処理部、１０４２…メモリ、１０５１…ＲＯＩ画像信号処理/撮像制御設定部、１０６１…マルチ画像設定部、１０６１ａ…Ｂ画像撮影モード選択部
DESCRIPTION OF
Claims (5)
前記画角内において注目領域を設定する注目領域設定部と、
前記画角の全範囲に対応した画像信号を読み出す第１の行群と前記注目領域に対応した画像信号を読み出す第２の行群とを前記撮像素子に対して設定し、前記撮像素子における前記第１の行群と前記第２の行群とからそれぞれ画像信号を読み出す制御を行う撮像素子制御部と、
前記第１の行群から読み出した前記画角の全範囲に対応した画像信号に前記第２の行群から読み出した前記注目領域に対応した画像信号を合成する信号処理部と、
を具備し、
前記撮像素子制御部は、前記第１の行群と前記第２の行群とを異ならせることを特徴とする撮像装置。 An image sensor that captures an image of a subject within an angle of view and obtains an image signal related to the subject;
An attention area setting section for setting an attention area within the angle of view;
A first row group that reads an image signal corresponding to the entire range of the angle of view and a second row group that reads an image signal corresponding to the region of interest are set for the image sensor, and the image sensor An image sensor control unit that performs control to read out image signals from the first row group and the second row group,
A signal processing unit that combines an image signal corresponding to the region of interest read from the second row group with an image signal corresponding to the entire range of the angle of view read from the first row group;
Comprising
The imaging device control unit, wherein the first row group is different from the second row group.
前記被写体に係る画像信号を蓄積する画素と、
前記画素に蓄積された画像信号を読み出す第１の読み出し部と、
前記第１の読み出し部で読み出された画像信号を前記信号処理部に出力する第２の読み出し部と、
を有し、
前記撮像素子制御部は、前記第１の行群に対応した画素からの画像信号を第１の読み出し部によって読み出すタイミングと前記第２の行群に対応した画素からの画像信号を第１の読み出し部によって読み出すタイミングとをずらすことを特徴とする請求項１又は２に記載の撮像装置。 The image sensor is
A pixel for storing an image signal related to the subject;
A first reading unit for reading an image signal accumulated in the pixel;
A second reading unit that outputs the image signal read by the first reading unit to the signal processing unit;
Have
The image sensor control unit performs a first readout of a timing at which an image signal from a pixel corresponding to the first row group is read out by a first readout unit and an image signal from a pixel corresponding to the second row group. The imaging apparatus according to claim 1, wherein the timing of reading by the unit is shifted.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012108363A JP2013236298A (en) | 2012-05-10 | 2012-05-10 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012108363A JP2013236298A (en) | 2012-05-10 | 2012-05-10 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013236298A true JP2013236298A (en) | 2013-11-21 |
Family
ID=49762045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012108363A Pending JP2013236298A (en) | 2012-05-10 | 2012-05-10 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013236298A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019171522A1 (en) * | 2018-03-08 | 2019-09-12 | 株式会社ソニー・インタラクティブエンタテインメント | Electronic device, head mounted display, gaze point detector, and pixel data readout method |
| JP2022065104A (en) * | 2018-02-15 | 2022-04-26 | ヴァイアヴィ・ソリューションズ・インコーポレイテッド | Sensor device and method of using the same |
| JP2022088383A (en) * | 2015-06-07 | 2022-06-14 | アップル インコーポレイテッド | Device and method for capturing and interacting with enhanced digital image |
| US11740785B2 (en) | 2015-08-10 | 2023-08-29 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US11947724B2 (en) | 2012-05-09 | 2024-04-02 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
| US11977726B2 (en) | 2015-03-08 | 2024-05-07 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| US12045451B2 (en) | 2012-05-09 | 2024-07-23 | Apple Inc. | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
| US12050761B2 (en) | 2012-12-29 | 2024-07-30 | Apple Inc. | Device, method, and graphical user interface for transitioning from low power mode |
| US12067229B2 (en) | 2012-05-09 | 2024-08-20 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
-
2012
- 2012-05-10 JP JP2012108363A patent/JP2013236298A/en active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11947724B2 (en) | 2012-05-09 | 2024-04-02 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
| US12067229B2 (en) | 2012-05-09 | 2024-08-20 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
| US12045451B2 (en) | 2012-05-09 | 2024-07-23 | Apple Inc. | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
| US12050761B2 (en) | 2012-12-29 | 2024-07-30 | Apple Inc. | Device, method, and graphical user interface for transitioning from low power mode |
| US11977726B2 (en) | 2015-03-08 | 2024-05-07 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| JP2022088383A (en) * | 2015-06-07 | 2022-06-14 | アップル インコーポレイテッド | Device and method for capturing and interacting with enhanced digital image |
| US11835985B2 (en) | 2015-06-07 | 2023-12-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| JP7427040B2 (en) | 2015-06-07 | 2024-02-02 | アップル インコーポレイテッド | Devices and methods for capturing and interacting with enhanced digital images |
| US11681429B2 (en) | 2015-06-07 | 2023-06-20 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US11740785B2 (en) | 2015-08-10 | 2023-08-29 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US11796389B2 (en) | 2018-02-15 | 2023-10-24 | Viavi Solutions Inc. | Sensor device and methods of use |
| JP7395629B2 (en) | 2018-02-15 | 2023-12-11 | ヴァイアヴィ・ソリューションズ・インコーポレイテッド | Sensor device and its usage |
| JP2022065104A (en) * | 2018-02-15 | 2022-04-26 | ヴァイアヴィ・ソリューションズ・インコーポレイテッド | Sensor device and method of using the same |
| WO2019171522A1 (en) * | 2018-03-08 | 2019-09-12 | 株式会社ソニー・インタラクティブエンタテインメント | Electronic device, head mounted display, gaze point detector, and pixel data readout method |
| US11190714B2 (en) | 2018-03-08 | 2021-11-30 | Sony Interactive Entertainment Inc. | Electronic device, head-mounted display, gaze point detector, and pixel data readout method |
| JPWO2019171522A1 (en) * | 2018-03-08 | 2021-02-04 | 株式会社ソニー・インタラクティブエンタテインメント | Head-mounted display, gaze detector, and pixel data readout method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11206353B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program for setting image-capture conditions of image sensor | |
| JP5739640B2 (en) | Imaging device and imaging apparatus | |
| JP2013236298A (en) | Imaging apparatus | |
| JP5226552B2 (en) | Imaging device | |
| JP5215262B2 (en) | Imaging device | |
| JP5207853B2 (en) | Still image and moving image imaging apparatus | |
| US9661210B2 (en) | Image pickup device and image pickup apparatus | |
| JP4622790B2 (en) | Imaging device and imaging apparatus | |
| JP2011059337A (en) | Image pickup apparatus | |
| JP2007150643A (en) | Solid state imaging element, driving method therefor, and imaging apparatus | |
| CN109474781B (en) | Image pickup apparatus, control method for image pickup apparatus, and recording medium | |
| JP2020053771A (en) | Image processing apparatus and imaging apparatus | |
| JP2006261929A (en) | Image pickup device | |
| JP2009017459A (en) | Ccd solid-state imaging element, driving method thereof, and imaging apparatus | |
| JP6674255B2 (en) | Solid-state imaging device and imaging device | |
| JP5452269B2 (en) | Imaging device | |
| JP2006060496A (en) | Image display device | |
| JP2012129927A (en) | Imaging apparatus | |
| JP5235701B2 (en) | Imaging device | |
| JP2006246148A (en) | Imaging apparatus | |
| JP2011182321A (en) | Solid-state imaging apparatus, driving method and imaging apparatus | |
| JP5530279B2 (en) | Imaging apparatus, imaging control method, and program | |
| JP2005303653A (en) | Image pickup device | |
| JP2005012403A (en) | Digital camera and picture information acquisition method | |
| JP2012080297A (en) | Imaging device, and imaging control method of the same |