JP2020191503A - Imaging device, camera device, control method, and program - Google Patents
Imaging device, camera device, control method, and program Download PDFInfo
- Publication number
- JP2020191503A JP2020191503A JP2019094639A JP2019094639A JP2020191503A JP 2020191503 A JP2020191503 A JP 2020191503A JP 2019094639 A JP2019094639 A JP 2019094639A JP 2019094639 A JP2019094639 A JP 2019094639A JP 2020191503 A JP2020191503 A JP 2020191503A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- bits
- processing
- image data
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、撮像装置、撮像装置を備えるカメラ装置、制御方法、およびプログラムに関する。 The present invention relates to an imaging device, a camera device including an imaging device, a control method, and a program.
信号読出し時に発生するランダムノイズ抑制の技術向上に伴い、ＣＭＯＳセンサ等の撮像装置において、画像の蓄積期間を複数回に分割して複数の画像（分割画像）を取得し、複数の画像を加算して１枚の画像（統合画像）を取得する撮影手法が提案されている。 With the improvement of technology for suppressing random noise generated when reading a signal, in an imaging device such as a CMOS sensor, the image storage period is divided into a plurality of times to acquire a plurality of images (divided images), and a plurality of images are added. A shooting method for acquiring one image (integrated image) has been proposed.
また近年、アバランシェフォトダイオードを用いたＳＰＡＤ（Single-Photon Avalanche Diode）という撮像装置も提案されている。ＳＰＡＤは、入射する１つの光子（フォトン）を高利得に増倍することによってフォトンカウンティングを実行し、読出しノイズの低減を実現している。以上のような撮像装置の登場によって、前述の撮影手法の実現性がより高まっている。 Further, in recent years, an imaging device called SPAD (Single-Photon Avalanche Diode) using an avalanche photodiode has also been proposed. The SPAD performs photon counting by multiplying one incident photon (photon) to a high gain, and realizes reduction of reading noise. With the advent of the above-mentioned imaging devices, the feasibility of the above-mentioned imaging method is further enhanced.
前述の撮影手法を実現するカメラ装置は、画像を複数回に亘って分割して読み出すので、画像の蓄積期間中において撮影の途中経過を確認する機能や、確認内容を踏まえて撮影を中断する機能を実現することができる。以上の機能は、夜景撮影やバルブ撮影等の長い蓄積期間を要する撮影において特に有用である。 Since the camera device that realizes the above-mentioned shooting method reads out the image by dividing it into multiple times, it has a function of confirming the progress of shooting during the image accumulation period and a function of interrupting shooting based on the confirmation contents. Can be realized. The above functions are particularly useful in photography that requires a long accumulation period, such as night view photography and bulb photography.
特許文献１では、通常動作では撮像素子が飽和してしまう撮影条件において、画像の蓄積期間を複数回に分割して読出しを実行し、読み出された複数の画像を後から加算する手法が開示されている。以上の手法によれば、撮像素子を飽和させることなく画像を取得することが可能である。 Patent Document 1 discloses a method in which an image storage period is divided into a plurality of times to perform reading under shooting conditions in which the image sensor is saturated in normal operation, and a plurality of read images are added later. Has been done. According to the above method, it is possible to acquire an image without saturating the image sensor.
画像の蓄積期間を複数回に分割して複数の分割画像を取得する以上の構成では、分割の回数を増大させるほどより多くの光量を画像に記録することが可能である。一方で、分割の回数を増大させるほど撮像装置が出力する画像データ量も増大する。画像データ量が増大するのに伴って、加算処理等の画像処理の負荷の増大、画像データの転送量の増大、および記録すべき画像データの容量の増大が招来される。 In the above configuration in which the storage period of the image is divided into a plurality of times to acquire a plurality of divided images, it is possible to record a larger amount of light in the image as the number of divisions is increased. On the other hand, as the number of divisions increases, the amount of image data output by the image pickup apparatus also increases. As the amount of image data increases, the load of image processing such as addition processing increases, the transfer amount of image data increases, and the capacity of image data to be recorded increases.
以上の事情に鑑み、本発明の目的は、複数の分割画像を取得する構成において画像データ量を効果的に低減することが可能な撮像装置、カメラ装置、制御方法、およびプログラムを提供することにある。 In view of the above circumstances, an object of the present invention is to provide an image pickup device, a camera device, a control method, and a program capable of effectively reducing the amount of image data in a configuration for acquiring a plurality of divided images. is there.
上記目的を達成するために、本発明の撮像装置は、複数の単位画素を有する画素アレイ部と、複数の前記単位画素が出力する複数のアナログ信号を第１ビット数でＡＤ変換して複数のデジタル信号を出力するＡＤ変換部と、前記ＡＤ変換部から入力される複数の前記デジタル信号にクリップ処理を実行して画像データを出力する信号処理部と、所定の蓄積期間を分割した複数のサブ蓄積期間ごとに分割読出し動作を実行するように制御すると共に、前記クリップ処理の処理ビット数を前記第１ビット数よりも小さい第２ビット数に設定する出力制御部と、を備えることを特徴とする。 In order to achieve the above object, the image pickup apparatus of the present invention AD-converts a pixel array unit having a plurality of unit pixels and a plurality of analog signals output by the plurality of unit pixels by the number of first bits, and a plurality of analog signals. An AD conversion unit that outputs a digital signal, a signal processing unit that executes clip processing on a plurality of the digital signals input from the AD conversion unit and outputs image data, and a plurality of subs in which a predetermined storage period is divided. It is characterized by including an output control unit that controls so as to execute a split read operation for each storage period and sets the number of processing bits of the clip processing to the number of second bits smaller than the number of the first bits. To do.
本発明によれば、複数の分割画像を取得する構成において画像データ量を効果的に低減することが可能である。 According to the present invention, it is possible to effectively reduce the amount of image data in a configuration in which a plurality of divided images are acquired.
以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の実施形態は、本発明が適用される装置の構成や各種条件に応じて適宜修正または変更することが可能である。したがって、本発明の範囲は、以下の実施形態に記載される構成によって限定されるものではない。以下の実施形態に係る撮像装置は、デジタルスチルカメラ、デジタルビデオカメラ、監視カメラ、工業用カメラ、医療用カメラ等の種々のカメラ装置に搭載され得る。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The embodiments described below are merely examples of configurations that can realize the present invention. The following embodiments can be appropriately modified or modified according to the configuration of the apparatus to which the present invention is applied and various conditions. Therefore, the scope of the present invention is not limited by the configurations described in the following embodiments. The imaging device according to the following embodiment can be mounted on various camera devices such as a digital still camera, a digital video camera, a surveillance camera, an industrial camera, and a medical camera.
＜第１実施形態＞
図１から図３を参照して、本発明の第１実施形態に係る撮像装置１００およびカメラ装置１０００について説明する。
<First Embodiment>
The
図１は、第１実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、例えば、後述されるカメラ装置１０００に用いられるＣＭＯＳイメージセンサである。
FIG. 1 is a block diagram showing a configuration of an
撮像装置１００は、画素アレイ部１０と、ＡＤ変換部２０と、読出し駆動部３０と、信号処理部４０と、加算処理部５０と、出力制御部６０とを有する。
The
画素アレイ部１０は、行列状に配列された複数の単位画素１を有する。各単位画素１は、光電変換素子を有する要素であって、入射する光に応じたアナログ信号（画素信号）をＡＤ変換部２０に出力する。
The
ＡＤ変換部２０は、画素アレイ部１０から出力された単位画素１ごとのアナログ信号を受信して、所定のビット数で単位画素１ごとのデジタル信号（画像信号）に変換し、信号処理部４０に出力する。なお、画素アレイ部１０とＡＤ変換部２０との間に、単位画素１から出力されたアナログ信号を増幅してＡＤ変換部２０に出力するアンプ部が設けられてもよい。
The
読出し駆動部３０は、画素アレイ部１０（単位画素１）とＡＤ変換部２０とを駆動することによって、画素アレイ部１０（単位画素１）とＡＤ変換部２０とにおける信号出力を制御する。例えば、読出し駆動部３０は、ＡＤ変換部２０が実行するＡＤ変換におけるビット数を制御する。
The read-out
信号処理部４０は、出力制御部６０からの指示に基づいて、ＡＤ変換部２０からの単位画素１ごとのデジタル信号（画像データ）に所定の処理ビット数のクリップ処理を施してビットレンジを低減させ、クリップ処理後の画像データを加算処理部５０に出力する。
Based on the instruction from the
加算処理部（統合処理部）５０は、入力された複数の画像データ（分割画像データ）を蓄積して加算処理を実行することで加算された画像データ（統合画像データ）を生成し、撮像装置１００の外部へ出力する。なお、加算処理部５０は、図１に示すように撮像装置１００に含まれていてもよいし、撮像装置１００の外部に設けられていてもよい。例えば、撮像装置１００の後段に設けられた後述の画像処理回路１００３が加算処理部５０を有してもよい。また、加算処理部５０は、加算処理以外の手法によって複数の画像データを統合してもよい。
The addition processing unit (integrated processing unit) 50 generates the added image data (integrated image data) by accumulating a plurality of input image data (divided image data) and executing the addition processing, and is an imaging device. Output to the outside of 100. The
出力制御部６０は、画像データの読出し回数に応じて、読出し駆動部３０および信号処理部４０における読出し動作を制御する。
The
図２は、第１実施形態に係る撮像装置１００における画像データの取得動作の説明図である。概略的には、蓄積期間を分割して読み出された複数枚の分割画像データを統合することによって、１枚の統合画像データが取得される。本明細書では、蓄積期間を分割した複数のサブ蓄積期間において、複数のサブ蓄積期間に対応する複数の分割画像データを取得することを、「分割読出し」または「分割読出し動作」と称する場合がある。
FIG. 2 is an explanatory diagram of an image data acquisition operation in the
図２の例においては、画像データが蓄積される期間の時間長が蓄積期間Ｔで示され、単位画素１ごとのデジタル信号のビットレンジがビット数Ｍで示され、蓄積期間Ｔにおける分割画像データの読出し回数（分割読出しの回数）が２Ｎ回で示される。本例において、Ｍは１以上の整数であり、Ｎは０以上の整数であり、ＭはＮよりも大きい（Ｍ＞Ｎ）。 In the example of FIG. 2, the time length of the period in which the image data is accumulated is indicated by the accumulation period T, the bit range of the digital signal for each unit pixel 1 is indicated by the number of bits M, and the divided image data in the accumulation period T. The number of times of reading (the number of times of divided reading) is indicated by 2N times. In this example, M is an integer greater than or equal to 1, N is an integer greater than or equal to 0, and M is greater than N (M> N).
蓄積期間Ｔに亘る２Ｎ回の分割読出しにおいて、１回の分割読出しに対応するサブ蓄積期間の時間長はＴ／２Ｎである。２Ｎ回の分割読出しによって取得された２Ｎ枚の分割画像に対して加算処理を行うことによって、蓄積期間Ｔに対応する１枚の統合画像が生成される。 In the 2N divided reads over the accumulation period T, the time length of the sub-accumulation period corresponding to one divided read is T / 2N . By performing addition processing on 2N divided images acquired by 2N division readings, one integrated image corresponding to the accumulation period T is generated.
図２に示される画像取得動作において、出力制御部６０は、サブ蓄積期間Ｔ／２Ｎごとに読出し駆動部３０に対して読出し動作を実行するように指示する。出力制御部６０は、蓄積期間Ｔに亘って、すなわち読出し回数が２Ｎ回に達するまで、連続的に読出し動作の実行を指示する。読出し駆動部３０は、出力制御部６０からの指示に基づいて、画素アレイ部１０が有する複数の単位画素１およびＡＤ変換部２０による読出し動作を制御する。
In the image acquisition operation shown in FIG. 2, the
読出し駆動部３０による制御の下、画素アレイ部１０およびＡＤ変換部２０にて分割読出し動作が実行される。１回の分割読出し動作の実行によって、１つの単位画素１当たりのデジタル信号のビットレンジがＭビット（第１ビット数）であり蓄積時間がＴ／２Ｎである１枚の分割画像が取得され、信号処理部４０に出力される。
Under the control of the
出力制御部６０は、１つの単位画素１当たりのデジタル信号のビットレンジが（Ｍ−Ｎ）ビット（第２ビット数）となるように信号処理部４０を設定する。信号処理部４０は、出力制御部６０による制御に従って、分割画像データに対して、１つの単位画素１当たりのデジタル信号のビットレンジが（Ｍ−Ｎ）ビットとなるような処理ビット数のクリップ処理を実行し、加算処理部５０に出力する。以上の動作は、ＡＤ変換部２０から信号処理部４０へ分割画像データが入力されるごとに、蓄積期間Ｔに亘って２Ｎ回繰り返される。
The
加算処理部５０は、１つの単位画素１当たりのデジタル信号のビットレンジが（Ｍ−Ｎ）ビットである２Ｎ枚の分割画像データを蓄積期間Ｔに亘って取得する。加算処理部５０は、取得した２Ｎ枚の分割画像に対して加算処理（統合処理）を実行することによって、１つの単位画素１当たりのデジタル信号のビットレンジがＭビットである１枚の統合画像を取得して出力する。
The
上記したように、本実施形態に係る撮像装置１００においては、蓄積期間を分割して読み出された複数枚の分割画像データを統合することによって、１枚の統合画像データが取得される。複数枚の分割画像データに対し、１つの単位画素１当たりのデジタル信号のビットレンジを低減させることによって、取り扱うべき画像データ量を抑制することができる。結果として、統合画像データを得るための加算処理（統合処理）の負荷、画像データの転送量、記録すべき画像データの容量等を抑制することが可能である。
As described above, in the
特に、信号処理部４０が、１つの単位画素１当たりのデジタル信号のビットレンジが（Ｍ−Ｎ）ビットとなるような処理ビット数のクリップ処理を実行することによって、１つの単位画素１当たりのデータ量は（（Ｍ−Ｎ）×２Ｎ）ビットとなる。結果として、クリップ処理が実行されない場合（ビットレンジがＭビットのままである場合）と比較して、データ量がＮ／Ｍだけ抑制される。例えば、Ｍ＝１２かつＮ＝２の場合は、データ量が１７％程度（Ｎ／Ｍ＝２／１２＝０．１６６．．．）抑制される。
In particular, the
なお、上記した構成においては、蓄積期間Ｔに亘る２Ｎ回の分割読出しの１回当たりのサブ蓄積期間を、蓄積期間Ｔを等分した時間長であるＴ／２Ｎに設定している。しかしながら、蓄積期間Ｔは均等に分割されなくてもよい。例えば、ビットレンジがＭ＝１２である１枚の統合画像（各単位画素１が０〜４０９５の値を取り得る画像）を取得する場合、読出し回数を４回（＝２２回）とし、サブ蓄積期間の時間長をそれぞれＴ／６、Ｔ／３、Ｔ／３、Ｔ／６とすることができる。各サブ蓄積期間のビットレンジ（処理ビット数）は、時間長に応じて決定されると好適であり、特に、時間長が長いほどレンジが広くなるように決定されると好適である。例えば、サブ蓄積期間Ｔ／６においてビットレンジを１０ビット（０〜１０２３）に設定し、サブ蓄積期間Ｔ／３においてビットレンジを１１ビット（０〜２０４７）に設定することができる。 In the above configuration, the sub-accumulation period per 2N divided reading over the accumulation period T is set to T / 2N , which is the time length obtained by equally dividing the accumulation period T. However, the accumulation period T does not have to be evenly divided. For example, if the bit range M = 12 in a single integrated image acquires (each unit pixel 1 is an image that can take a value of 0 to 4095), and 4 times the read count (= 2 × 2), sub The time length of the accumulation period can be T / 6, T / 3, T / 3, and T / 6, respectively. The bit range (number of processing bits) of each sub-accumulation period is preferably determined according to the time length, and in particular, it is preferable that the longer the time length, the wider the range. For example, the bit range can be set to 10 bits (0 to 1023) in the sub storage period T / 6, and the bit range can be set to 11 bits (0 to 2047) in the sub storage period T / 3.
図３は、上記した第１実施形態に係る撮像装置１００を有するカメラ装置１０００の全体的な構成を示すブロック図である。
FIG. 3 is a block diagram showing the overall configuration of the
カメラ装置１０００は、撮像装置１００と、レンズ部１００１と、レンズ駆動部１００２と、画像処理回路１００３と、状態制御回路１００４と、メモリ部１００５と、制御演算部１００６と、インターフェース１００７と、表示部１００９とを有する。撮像装置１００については先に詳述した通りである。
The
レンズ部１００１は、撮像光学系を有するレンズユニットであって、例えば、カメラ装置１０００に対して着脱可能に装着される交換レンズである。レンズ部１００１は、被写体の光学像を撮像装置１００において結像させる。
The
レンズ駆動部１００２は、レンズ部１００１内の各部を駆動する要素であって、レンズ部１００１におけるズーム制御、フォーカス制御、絞り制御等の光学的な制御を実行する。
The
画像処理回路１００３は、被写体の光学像に基づいて撮像装置１００にて取得され出力される画像データに対して、各種の補正処理、データ圧縮処理、合成処理等の様々な画像処理を実行する論理回路である。画像処理回路１００３は、複数の画像を合成することによって、広ダイナミックレンジの画像を取得することが可能である。
The
状態制御回路１００４は、撮像装置１００および画像処理回路１００３に対して、撮影モード指示信号および各種のタイミング信号を出力する論理回路である。
The
メモリ部１００５は、種々の記憶素子、例えば、ＲＯＭ（Read Only Memory）等の不揮発性メモリとＲＡＭ（Random Access Memory）等の揮発性メモリとを有する。メモリ部１００５は、制御用のプログラムおよびデータを記憶していると共に、画像処理回路１００３が出力した画像データを一時的に記憶することができる。
The
制御演算部１００６は、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro Processing Unit）等のプロセッサを有する制御装置である。制御演算部１００６は、メモリ部１００５の不揮発性メモリ内のプログラムを揮発性メモリに展開して実行することにより、カメラ装置１０００が有する各機能単位の動作を制御する他、各種の演算処理を実行する。
The
インターフェース１００７は、記録媒体１００８が着脱されるインターフェースである。インターフェース１００７を介して、記録媒体１００８に対する書込みまたは読出しが実行される。
The interface 1007 is an interface to which the
記録媒体１００８は、画像データが記録される着脱可能な半導体メモリであって、例えばフラッシュメモリである。
The
表示部１００９は、制御演算部１００６による制御の下、画像撮影に関する各種の情報および撮影画像を表示する表示装置である。
The
次いで、カメラ装置１０００における撮影動作について概略的に説明する。
Next, the photographing operation in the
カメラ装置１０００のメイン電源が投入されると、まず、制御演算部１００６等のコントロール系回路に電源が供給され、次いで、画像処理回路１００３等の撮像系回路に電源が供給される。カメラ装置１０００の各部に電源が供給され制御プログラムが実行されると、カメラ装置１０００が撮影可能な状態となる。
When the main power supply of the
不図示のレリーズボタンがユーザによって押下されると、撮影動作が開始される。 When the release button (not shown) is pressed by the user, the shooting operation is started.
撮影動作が開始されると、状態制御回路１００４が撮像装置１００に対して撮影を指示する撮影信号を供給する。撮像装置１００は、供給された撮影信号に従って撮影動作を実行し、被写体の光学像に対応した画像信号を取得する。
When the shooting operation is started, the
撮影動作が終了すると、撮像装置１００から出力された画像信号が画像処理回路１００３に入力される。
When the photographing operation is completed, the image signal output from the
画像処理回路１００３は、入力された画像信号（画像データ）に対して加算処理等の画像処理を実行する。画像処理が実行された画像信号は、制御演算部１００６による制御に基づいてメモリ部１００５に書き込まれる。
The
メモリ部１００５に書き込まれた画像データは、制御演算部１００６による制御に基づいて、インターフェース１００７を介して記録媒体１００８に書き込まれる。
The image data written in the
撮像装置１００を備えるカメラ装置１０００においては、前述したように、取り扱うべき画像データ量を抑制することができる。結果として、統合画像データを得るための加算処理（統合処理）の負荷、画像データの転送量、記録すべき画像データの容量等を抑制することが可能である。
In the
なお、撮像装置１００ではなく、画像処理回路１００３が上述の加算処理部５０を備えてもよい。この場合、前述したように信号処理部４０がクリップ処理を実行するので、撮像装置１００から出力されるデータ量がＮ／Ｍだけ抑制される。撮像装置１００から出力されるデータ（分割画像データ）は、記録媒体１００８に書き込まれコンピュータ等の外部装置において高度な加算処理に供されてもよい。
The
また、撮像装置１００から出力された画像データが、不図示の外部インターフェースを介してコンピュータ等の外部装置に直接的に供給され、外部装置にて画像処理が実行されてもよい。
Further, the image data output from the
分割読出し動作を実行するモードにおいて、制御演算部１００６による制御の下、表示部１００９が、上述したようなクリップ処理の処理ビット数を低減した分割読出し動作を実行することを表示して、ユーザに認識を促すと好適である。
In the mode for executing the split read operation, the
＜第２実施形態＞
第１実施形態では、上記したように、分割読出しによって得られる分割画像の枚数に応じたクリップ処理によって、単位画素１当たりのデジタル信号のビットレンジを低減させている。ところが、被写体の特性によっては、クリップ処理によるビットレンジの低減に起因して正しい信号が取得できない現象が発生する可能性がある。以下、そのような現象が発生するケースを例示して説明する。
<Second Embodiment>
In the first embodiment, as described above, the bit range of the digital signal per unit pixel is reduced by the clip processing according to the number of divided images obtained by the divided reading. However, depending on the characteristics of the subject, a phenomenon may occur in which a correct signal cannot be obtained due to the reduction of the bit range due to the clip processing. Hereinafter, a case where such a phenomenon occurs will be described as an example.
統合画像データの取得において、ビットレンジがＭ＝１２（０〜４０９５）であり、分割読出しの回数が２回（＝２１回）である例を想定する。本例において、１回の分割読出しにおけるビットレンジはＭ＝１１（０〜２０４７）であり、２０４８［ＬＳＢ（Least Significant Bit）］を超える値を取るデジタル信号は２０４７［ＬＳＢ］にクリップされる。 In acquisition of the integrated image data, the bit range is M = 12 (0-4095), the number of the divided reading is assumed example is two (= 2 1 ×). In this example, the bit range in one divided read is M = 11 (0 to 2047), and the digital signal having a value exceeding 2048 [LSB (Least Significant Bit)] is clipped to 2047 [LSB].
以上の条件において、ある被写体の撮像時のある１つの単位画素１におけるＡＤ変換後の信号値について検討する。１回目の分割読出しの信号値が３０７２［ＬＳＢ］であり、２回目の分割読出しの信号値が１２８［ＬＳＢ］である場合、加算後の正しい信号値は３２００［ＬＳＢ］（＝３０７２＋１２８）である。ところが、上記したようなクリップ処理によって１回目の分割読出しの信号値は２０４７［ＬＳＢ］にクリップされるので、加算後の信号値は２１７５［ＬＳＢ］（＝２０４７＋１２８）という正しくない値になってしまう。以上のような現象は、例えば、光を発しながら移動する被写体を撮影する場合に発生し得る。 Under the above conditions, the signal value after AD conversion in one unit pixel 1 at the time of imaging a certain subject will be examined. When the signal value of the first divided read is 3072 [LSB] and the signal value of the second divided read is 128 [LSB], the correct signal value after addition is 3200 [LSB] (= 3072 + 128). .. However, since the signal value of the first divided reading is clipped to 2047 [LSB] by the clip processing as described above, the signal value after addition becomes an incorrect value of 2175 [LSB] (= 2047 + 128). .. The above phenomenon can occur, for example, when shooting a moving subject while emitting light.
第２実施形態では、以上のようなケースにおいても正しい信号値を取得できるようなクリップ処理を実行する。以下、図４および図５を参照して、本発明の第２実施形態に係る撮像装置１００について説明する。なお、以下に例示する各実施形態において、作用、機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の説明を適宜に省略する。
In the second embodiment, the clip process is executed so that the correct signal value can be acquired even in the above cases. Hereinafter, the
図４は、本発明の第２実施形態に係る信号処理部４０の構成および動作を示す図である。
FIG. 4 is a diagram showing the configuration and operation of the
信号処理部４０は、フレームメモリ４１とクリップ処理回路４２とを有する。フレームメモリ４１は、画素アレイ部１０に設けられた複数の単位画素１が出力する単位画素１当たりＭビットの複数のデジタル信号（すなわち、１画面に相当する画像データ）を保持可能な半導体メモリである。クリップ処理回路４２は、フレームメモリ４１から出力された単位画素１当たりのビットレンジがＭビットである画像データに対し、ビットレンジが（Ｍ−Ｎ）ビットとなるように画像データをクリップする。以上のクリップ処理によってビットレンジが（Ｍ−Ｎ）ビットに低減された画像データは、信号処理部４０の外部へと出力される。
The
信号処理部４０は、ＡＤ変換部２０からのデジタル信号を入力する入力動作（図４中の（ａ））および信号処理部４０から外部へ画像データを出力する出力動作（図４中の（ｂ））を実行し得る。
The
入力動作において、信号処理部４０は、単位画素１当たりのビットレンジがＭビットであるＡＤ変換部２０からのデジタル信号をフレームメモリ４１に累積的に加算する。この段階では、フレームメモリ４１内のデジタル信号（画像データ）には、クリップ処理がなされていない。サブ蓄積期間Ｔ／２Ｎにおける１回の分割読出しに関し、明るさが変化しない被写体による画像信号は、（Ｍ−Ｎ）ビットのレンジ内に収まる。一方、明るさが変化する被写体であっても、ＡＤ変換部２０およびフレームメモリ４１はＭビットのレンジを有するので、（Ｍ−Ｎ）ビットのレンジを超える画像信号であっても損失無くフレームメモリ４１に格納可能である。
In the input operation, the
出力動作において、信号処理部４０は、フレームメモリ４１に保持されている単位画素１当たりのビットレンジがＭビットである画像データをクリップ処理回路４２に出力する。上述したように、クリップ処理回路４２はビットレンジが（Ｍ−Ｎ）ビットとなるように画像データをクリップして、信号処理部４０の外部およびフレームメモリ４１に出力する。フレームメモリ４１は、クリップ処理回路４２から出力されたクリップ後の画像データを、格納されている画像データから減算する。
In the output operation, the
上記した動作によって、フレームメモリ４１内の複数のデジタル信号のうち（Ｍ−Ｎ）ビットのレンジに収まるデジタル信号であるレンジ内信号は、クリップされることなくクリップ処理回路４２から出力される。その後、フレームメモリ４１において、格納されているレンジ内信号から、クリップ処理回路４２から出力され同じ値を有するデジタル信号が減算される。結果として、レンジ内信号に関してフレームメモリ４１に追加的に書き込まれる値（持ち越される値）は０となる。
By the above operation, the in-range signal, which is a digital signal within the range of (MN) bits among the plurality of digital signals in the
一方、フレームメモリ４１内の複数のデジタル信号のうち（Ｍ−Ｎ）ビットのレンジを超過するデジタル信号であるレンジ外信号は、クリップ処理回路４２でクリップされる。したがって、クリップ処理回路４２は、（Ｍ−Ｎ）ビットのレンジの最大値２Ｍ−Ｎ−１に相当するクリップ後のデジタル信号を出力する。その後、フレームメモリ４１において、格納されているレンジ外信号から、クリップ処理回路４２から出力された出力値２Ｍ−Ｎ−１に相当するデジタル信号が減算される。結果として、レンジ外信号に関してフレームメモリ４１に書き込まれる値は、フレームメモリ４１に保持されているＭビットのレンジにおける値から、（Ｍ−Ｎ）ビットのレンジの最大値２Ｍ−Ｎ−１を減算した値である。すなわち、レンジ外信号については、（Ｍ−Ｎ）ビットのレンジの最大値を超えた分の信号値が、次の分割読出しによる分割画像データに持ち越される。
On the other hand, the out-of-range signal, which is a digital signal exceeding the range of the (MN) bit among the plurality of digital signals in the
複数回の分割読出しの際の最終フレーム（最後のサブ蓄積期間）では、以上のように超過分を持ち越す先の分割画像データが存在しないので、クリップ処理回路４２はクリップ処理を実行せず単位画素１当たりＭビットのレンジのデジタル信号を出力する。すなわち、最終フレームにおいては、単位画素１当たりのビットレンジがＭビットに拡張される。
In the final frame (last sub-accumulation period) at the time of a plurality of divided readings, since there is no divided image data to carry over the excess as described above, the
例として、ビットレンジがＭ＝１２（０〜４０９５）かつ分割読出しの回数が２回（＝２１回）である条件において、１回目の分割読出しの信号値が３０７２［ＬＳＢ］であり、２回目の分割読出しの信号値が１２８［ＬＳＢ］である場合を検討する。 As an example, the condition is a bit range M = 12 (0-4095) and the number of the divided read twice (= 2 1 times) is a signal value of the first split read 3072 [LSB], 2 Consider the case where the signal value of the second divided read is 128 [LSB].
１回目の分割読出しに対応する入力動作では、フレームメモリ４１にＭビットのレンジの信号値である３０７２［ＬＳＢ］が書き込まれる。１回目の分割読出しに対応する出力動作では、クリップ処理によってクリップ処理回路４２から（Ｍ−Ｎ）ビットのレンジの最大値である２０４７［ＬＳＢ］が出力される。フレームメモリ４１に格納されている信号値である３０７２［ＬＳＢ］からクリップ処理回路４２からの出力値である２０４７［ＬＳＢ］が減算され、残りの信号値である１０２５［ＬＳＢ］が次の分割読出し動作へと持ち越される。
In the input operation corresponding to the first divided reading, 3072 [LSB], which is a signal value in the M-bit range, is written to the
２回目の分割読出しに対応する入力動作では、フレームメモリ４１において、２回目の分割読出しの信号値である１２８［ＬＳＢ］が、持ち越された信号値である１０２５［ＬＳＢ］に加算され、１１５３［ＬＳＢ］が信号値として保持される。２回目の分割読出しに対応する出力動作では、信号値である１１５３［ＬＳＢ］がクリップ処理回路４２からそのまま出力される。
In the input operation corresponding to the second divided reading, 128 [LSB], which is the signal value of the second divided reading, is added to the carried-over signal value, 1025 [LSB], in the
加算処理部５０は、１回目および２回目の分割読出しによって信号処理部４０から出力された信号値（２０４７［ＬＳＢ］および１１５３［ＬＳＢ］）を加算して、所望の信号値である３２００［ＬＳＢ］を取得する。
The
加えて、同条件において、１回目の分割読出しの信号値が１２８［ＬＳＢ］であり、２回目の分割読出しの信号値が３０７２［ＬＳＢ］である場合を検討する。２回目の分割読出しの信号値である３０７２［ＬＳＢ］は、最終フレーム以外においてはクリップ処理の対象であるが、最終フレームである２回目の分割読出しにおいては、前述のようにクリップ処理が実行されない。すなわち、最終フレームではクリップ処理回路４２における単位画素１当たりのビットレンジがＭビットに拡張され、クリップ処理回路４２から信号値である３０７２［ＬＳＢ］がそのまま出力される。結果として、１回目および２回目の分割読出しによって信号処理部４０から１２８［ＬＳＢ］および３０７２［ＬＳＢ］が信号値として出力されるので、加算処理部５０は所望の信号値である３２００［ＬＳＢ］を取得できる。
In addition, under the same conditions, a case where the signal value of the first divided read is 128 [LSB] and the signal value of the second divided read is 3072 [LSB] is examined. The signal value of the second divided read, 3072 [LSB], is the target of the clip process except for the final frame, but the clip process is not executed in the second divided read, which is the final frame, as described above. .. That is, in the final frame, the bit range per unit pixel in the
図５は、第２実施形態に係る撮像装置１００における画像データの取得動作の説明図である。
FIG. 5 is an explanatory diagram of an image data acquisition operation in the
読出し駆動部３０による制御の下、画素アレイ部１０およびＡＤ変換部２０にて分割読出し動作が実行される。１回の分割読出し動作によって、１つの単位画素１当たりのデジタル信号のビットレンジがＭビットであり蓄積時間がＴ／２Ｎである１枚の分割画像が取得され、信号処理部４０に出力される。
Under the control of the
出力制御部６０は、１つの単位画素１当たりのデジタル信号のビットレンジが（Ｍ−Ｎ）ビットとなるように信号処理部４０を設定する。信号処理部４０は、出力制御部６０による制御に従って、分割画像データに対して、１つの単位画素１当たりのデジタル信号のビットレンジが（Ｍ−Ｎ）ビットとなるようにクリップ処理を実行し、加算処理部５０に出力する。以上の動作は、ＡＤ変換部２０から信号処理部４０へ分割画像データが入力されるごとに、（２Ｎ−１）回繰り返される。
The
２Ｎ回目の分割読出し（すなわち、最終フレーム）において、出力制御部６０は、１つの単位画素１当たりのデジタル信号のビットレンジが、フレームメモリ４１のビットレンジと同じＭビットとなるように、信号処理部４０を設定する。信号処理部４０は、出力制御部６０による制御に従って、最終フレームの分割画像データに対して、クリップ処理を実行せずに加算処理部５０に出力する。
2 N-th divided reading (i.e., the last frame), the
加算処理部５０は、取得した２Ｎ枚の分割画像に対して加算処理（統合処理）を実行することによって、１つの単位画素１当たりのデジタル信号のビットレンジがＭビットである１枚の統合画像を取得して出力する。なお、加算処理部５０は、加算処理後の信号値がＭビットのレンジを超過する場合は、Ｍビットのレンジに収まるように信号値にクリップ処理を実行する。
The
上記したように、本実施形態に係る撮像装置１００においては、第１実施形態と同様の技術的効果が奏される。加えて、クリップ処理が実行された場合に超過分の信号値を持ち越すことによって、クリップ処理が実行されても統合画像の画質劣化を抑制することができる。以上の技術的効果は、明るさが変化する被写体を撮影する際により顕著に発揮される。
As described above, the
＜変形例＞
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
<Modification example>
Although the preferred embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment, and various modifications and changes can be made within the scope of the gist thereof. For example, the present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors of the computer of the system or device program the program. It can also be realized by the process of reading and executing. The present invention can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１ 単位画素
１０ 画素アレイ部
２０ ＡＤ変換部
３０ 読出し駆動部
４０ 信号処理部
４１ フレームメモリ
４２ クリップ処理回路
５０ 加算処理部
６０ 出力制御部
１００ 撮像装置
１０００ カメラ装置
１００３ 画像処理回路
1
Claims (13)
複数の前記単位画素が出力する複数のアナログ信号を第１ビット数でＡＤ変換して複数のデジタル信号を出力するＡＤ変換部と、
前記ＡＤ変換部から入力される複数の前記デジタル信号にクリップ処理を実行して画像データを出力する信号処理部と、
所定の蓄積期間を分割した複数のサブ蓄積期間ごとに分割読出し動作を実行するように制御すると共に、前記クリップ処理の処理ビット数を前記第１ビット数よりも小さい第２ビット数に設定する出力制御部と、を備えることを特徴とする撮像装置。 A pixel array unit having a plurality of unit pixels and
An AD conversion unit that AD-converts a plurality of analog signals output by the plurality of unit pixels by the number of first bits and outputs a plurality of digital signals.
A signal processing unit that executes clip processing on a plurality of the digital signals input from the AD conversion unit and outputs image data,
An output that controls to execute a split read operation for each of a plurality of sub-storing periods in which a predetermined storage period is divided, and sets the number of processing bits of the clip processing to the number of second bits smaller than the number of the first bits. An imaging device including a control unit.
前記フレームメモリは、
前記ＡＤ変換部から複数の前記デジタル信号が入力されると、前記単位画素ごとに、入力された前記デジタル信号が示す信号値と前記フレームメモリに格納された信号値とを累積的に加算して保持し、
前記クリップ処理回路から前記画像データが出力されると、前記単位画素ごとに、出力された前記画像データに対応する信号値を前記フレームメモリに格納された信号値から減算して保持する、ことを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。 The signal processing unit includes a frame memory for storing a plurality of the digital signals input from the AD conversion unit, and a clip processing circuit for executing the clip processing.
The frame memory is
When a plurality of the digital signals are input from the AD conversion unit, the signal value indicated by the input digital signal and the signal value stored in the frame memory are cumulatively added for each unit pixel. Hold and
When the image data is output from the clip processing circuit, the signal value corresponding to the output image data is subtracted from the signal value stored in the frame memory and held for each unit pixel. The imaging device according to any one of claims 1 to 3, which is characterized.
複数の前記サブ蓄積期間における前記分割読出し動作によって前記信号処理部が出力した複数の前記画像データを統合して１枚の統合画像データを取得する統合処理部と、を備えることを特徴とするカメラ装置。 The imaging device according to any one of claims 1 to 8.
A camera including an integrated processing unit that integrates a plurality of the image data output by the signal processing unit by the divided reading operation in the plurality of sub-accumulation periods to acquire one integrated image data. apparatus.
出力された複数の前記デジタル信号にクリップ処理を実行して画像データを出力する工程と、
所定の蓄積期間を分割した複数のサブ蓄積期間ごとに分割読出し動作を実行するように制御すると共に、前記クリップ処理の処理ビット数を前記第１ビット数よりも小さい第２ビット数に設定する工程と、を備えることを特徴とする制御方法。 A process of AD-converting a plurality of analog signals output by a plurality of unit pixels by the number of first bits and outputting a plurality of digital signals.
A process of performing clip processing on a plurality of output digital signals to output image data, and
A step of controlling to execute a split read operation for each of a plurality of sub-storage periods in which a predetermined storage period is divided, and setting the number of processing bits of the clip processing to a second bit number smaller than the first bit number. A control method characterized by including.
A program comprising causing a computer to execute the control method according to claim 12.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019094639A JP2020191503A (en) | 2019-05-20 | 2019-05-20 | Imaging device, camera device, control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019094639A JP2020191503A (en) | 2019-05-20 | 2019-05-20 | Imaging device, camera device, control method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020191503A true JP2020191503A (en) | 2020-11-26 |
Family
ID=73454751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019094639A Pending JP2020191503A (en) | 2019-05-20 | 2019-05-20 | Imaging device, camera device, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020191503A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022107837A1 (en) | 2020-11-18 | 2022-05-27 | 日本製鉄株式会社 | Plated steel material |
-
2019
- 2019-05-20 JP JP2019094639A patent/JP2020191503A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022107837A1 (en) | 2020-11-18 | 2022-05-27 | 日本製鉄株式会社 | Plated steel material |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5074297B2 (en) | Solid-state imaging device, driving method thereof, and electronic information device | |
| JP5046787B2 (en) | Imaging system | |
| JP6234054B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP6082274B2 (en) | Imaging apparatus and control method thereof | |
| WO2010073584A1 (en) | Solid-state image pickup device, digital camera, and a/d conversion method | |
| JP5746521B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP6762806B2 (en) | Imaging device and its control method, program, storage medium | |
| JP6557455B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP2017200140A (en) | Imaging device, imaging apparatus and control method | |
| JP5222068B2 (en) | Imaging device | |
| US11165978B2 (en) | Imaging device, control method thereof, and imaging apparatus | |
| JP2006191397A (en) | Solid state imaging apparatus | |
| JP2017143404A (en) | Imaging device and imaging method | |
| JP2020191503A (en) | Imaging device, camera device, control method, and program | |
| JP2021022921A (en) | Imaging element, imaging apparatus, and control method | |
| JP2018050234A (en) | Imaging apparatus and method of processing imaging apparatus | |
| JP2016092792A (en) | Imaging apparatus | |
| JP2011009834A (en) | Imager and imaging method | |
| JP2020057882A (en) | Imaging apparatus | |
| JP2020057883A (en) | Imaging apparatus | |
| JP2018093301A (en) | Image pick-up device and control method of the same | |
| JP6393087B2 (en) | Imaging device and imaging apparatus | |
| JP5603974B2 (en) | Imaging system | |
| JP2018170703A (en) | Imaging device, imaging apparatus, and method for controlling imaging device | |
| JP6389693B2 (en) | Imaging apparatus, control method therefor, program, and storage medium |