JP2021067704A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2021067704A JP2021067704A JP2019190365A JP2019190365A JP2021067704A JP 2021067704 A JP2021067704 A JP 2021067704A JP 2019190365 A JP2019190365 A JP 2019190365A JP 2019190365 A JP2019190365 A JP 2019190365A JP 2021067704 A JP2021067704 A JP 2021067704A
- Authority
- JP
- Japan
- Prior art keywords
- point density
- calculated
- point
- density
- event data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000005282 brightening Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 32
- 238000005259 measurement Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関するものである。 The present invention relates to an imaging device.
近年、より高速に計測対象物の画像を生成する技術として、下記特許文献1に開示されるイベントカメラが知られている。このイベントカメラは、生物の網膜構造にヒントを得て開発された輝度値差分出力カメラであり、画素ごとに輝度の変化を感知してその座標、時間、そして輝度変化の極性を出力するように構成されている。このような構成により、イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータは出力しないといった特徴があるため、データ通信量の軽減や画像処理の軽量化等が実現されることで、より高速に計測対象物の画像を生成することができる。
In recent years, an event camera disclosed in
ところで、通常のカメラで取得される画像データは、各画素が必ず何らかの輝度情報を有しており、その輝度情報を使用したオートフォーカス機能が標準機能として多くのカメラに搭載されている。その一方で、イベントカメラでは、輝度の変化に応じたイベントデータを取得できても輝度情報自体は取得できないため、輝度情報を利用したオートフォーカス機能を採用することができない。このため、イベントカメラであっても、フォーカスが合っていないために計測対象物がぼやけて撮像されると、計測対象物の光が分散されるため正確にイベントデータを得ることができないという問題がある。 By the way, in the image data acquired by a normal camera, each pixel always has some kind of luminance information, and an autofocus function using the luminance information is installed in many cameras as a standard function. On the other hand, in the event camera, even if the event data corresponding to the change in the brightness can be acquired, the brightness information itself cannot be acquired, so that the autofocus function using the brightness information cannot be adopted. For this reason, even with an event camera, if the object to be measured is blurred because it is out of focus, the light of the object to be measured is dispersed and the event data cannot be obtained accurately. is there.
本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、輝度情報を利用することなくオートフォーカス機能を実現可能な構成を提供することにある。 The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to provide a configuration capable of realizing an autofocus function without using luminance information.
上記目的を達成するため、特許請求の範囲の請求項1に記載の発明に係る撮像装置(10)は、
受光レンズ(22)を介して受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子(21)と、
前記受光レンズの焦点位置を調整するための調整機構(23)と、
前記調整機構を駆動制御する制御部(11)と、
前記調整機構により前記受光レンズの焦点位置が調整されている状態で、一定期間内に前記撮像素子から出力される複数の前記イベントデータの前記二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度を算出する点密度算出部(11)と、
を備え、
前記制御部は、前記点密度算出部により前記点密度が算出されると、当該点密度と過去に算出された前記点密度との比較結果に基づいて前記調整機構を駆動制御することで、前記焦点位置を合焦位置に向けて調整することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
In order to achieve the above object, the imaging device (10) according to the invention according to
An image sensor (21) that outputs event data including two-dimensional point data in which the position of the pixel is specified corresponding to a pixel whose brightness has changed when light is received through the light receiving lens (22).
An adjustment mechanism (23) for adjusting the focal position of the light receiving lens, and
A control unit (11) that drives and controls the adjustment mechanism, and
With the focal position of the light receiving lens adjusted by the adjustment mechanism, the two-dimensional point data of the plurality of event data output from the image sensor within a certain period of time are plotted on a predetermined plane as points. The point density calculation unit (11) that calculates the point density corresponding to the density of the points at the time, and
With
When the point density is calculated by the point density calculation unit, the control unit drives and controls the adjustment mechanism based on the comparison result between the point density and the point density calculated in the past. It is characterized by adjusting the focal position toward the in-focus position.
The reference numerals in the parentheses indicate the correspondence with the specific means described in the embodiments described later.
請求項1の発明では、調整機構により受光レンズの焦点位置が調整されている状態で、一定期間内に撮像素子から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度が点密度算出部により算出される。そして、点密度算出部により点密度が算出されると、当該点密度と過去に算出された点密度との比較結果に基づいて制御部により調整機構が駆動制御されることで、焦点位置が合焦位置に向けて調整される。
In the invention of
ピントがずれている状態(焦点位置が合焦位置からずれている状態)で一定期間内に撮像素子から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが不鮮明になるために、点データがばらつきやすくなる。一方、ピントが合っている状態(焦点位置が合焦位置に一致している状態)で一定期間内に撮像素子から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが鮮明になるために、二次元点データの点密度が高くなる。すなわち、ピントのずれ量が小さくなるほど、二次元点データの点密度が高くなる。 When two-dimensional point data of multiple event data output from the image sensor within a certain period of time is plotted on a predetermined plane as points in a state of being out of focus (a state in which the focus position is out of focus). Since the edge of the object to be measured becomes unclear, the point data tends to vary. On the other hand, two-dimensional point data of a plurality of event data output from the image sensor within a certain period of time in a focused state (a state in which the focal position matches the in-focus position) are set as points on a predetermined plane. When plotted, the edge of the object to be measured becomes clear, so that the point density of the two-dimensional point data becomes high. That is, the smaller the amount of focus shift, the higher the point density of the two-dimensional point data.
このため、今回算出された点密度が過去に算出された点密度よりも高くなる比較結果が得られた場合には、焦点位置が合焦位置に向かうように調整されているとして調整方向が維持されるように調整機構を駆動制御する。また、今回算出された点密度が過去に算出された点密度よりも低くなる比較結果が得られた場合には、焦点位置が合焦位置から離れるように調整されているとして調整方向を逆側に切り替えるように調整機構を駆動制御する。このように、イベントデータを利用して焦点位置を調整できるので、輝度情報を利用することなくオートフォーカス機能を実現することができる。 Therefore, when a comparison result is obtained in which the point density calculated this time is higher than the point density calculated in the past, the adjustment direction is maintained assuming that the focal position is adjusted toward the in-focus position. The adjustment mechanism is driven and controlled so as to be performed. If a comparison result is obtained in which the point density calculated this time is lower than the point density calculated in the past, it is assumed that the focal position is adjusted to be away from the in-focus position, and the adjustment direction is reversed. The adjustment mechanism is driven and controlled so as to switch to. In this way, since the focus position can be adjusted by using the event data, the autofocus function can be realized without using the luminance information.
請求項2の発明では、点密度算出部により点密度が算出されると、当該点密度と過去に算出された点密度との差が所定値以上である場合に限って、制御部により調整機構が駆動制御される。これにより、今回算出された点密度と過去に算出された点密度との差が上記所定値未満となる場合、すなわち、例えば、ほぼピントが合っているような場合には調整機構が駆動されないので、不要な焦点位置の調整を抑制することができる。 In the invention of claim 2, when the point density is calculated by the point density calculation unit, the adjustment mechanism is adjusted by the control unit only when the difference between the point density and the point density calculated in the past is equal to or more than a predetermined value. Is driven and controlled. As a result, the adjustment mechanism is not driven when the difference between the point density calculated this time and the point density calculated in the past is less than the above-mentioned predetermined value, that is, for example, when the focus is almost in focus. , Unnecessary adjustment of the focal position can be suppressed.
請求項3の発明では、一定期間内に撮像素子から出力されるイベントデータの個数がカウント部によりカウントされ、このカウントされる個数が所定数以上となる場合に点密度算出部により点密度が算出される。これにより、イベントデータの個数が上記所定数未満となる場合、すなわち、計測対象物が存在していないがノイズが検出されるような場合には点密度が算出されないので、不要に調整機構が駆動されることもなく、不要な焦点位置の調整を抑制することができる。 In the invention of claim 3, the number of event data output from the image sensor is counted by the counting unit within a certain period of time, and the point density is calculated by the point density calculating unit when the counted number exceeds a predetermined number. Will be done. As a result, when the number of event data is less than the above-mentioned predetermined number, that is, when noise is detected even though the measurement target does not exist, the point density is not calculated, so that the adjustment mechanism is unnecessarily driven. It is possible to suppress unnecessary adjustment of the focal position without being done.
請求項4の発明では、点密度算出部により、プラス輝度変化のイベントデータの二次元点データ及びマイナス輝度変化のイベントデータの二次元点データのいずれか一方をそれぞれ点として所定の平面にプロットしたときの点の密度に相当するように点密度が算出される。ピントが合っている状態ではプラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとがそれぞれが別々に群発しやすくなるため、プラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとを区別してどちらか一方に関して点密度を算出することで、調整精度をより向上させることができる。 In the invention of claim 4, the point density calculation unit plots either one of the two-dimensional point data of the event data of the positive brightness change and the two-dimensional point data of the event data of the negative brightness change as points on a predetermined plane. The point density is calculated so as to correspond to the density of the points at the time. In the in-focus state, the two-dimensional point data of the positive brightness change and the two-dimensional point data of the negative brightness change are likely to be clustered separately, so the two-dimensional point data of the positive brightness change and the negative brightness change are two. By distinguishing from the dimension point data and calculating the point density for either one, the adjustment accuracy can be further improved.
請求項5の発明では、点密度算出部により、上記所定の平面が既定数のブロックに区分けされて、イベントデータの個数が所定個数以上となるブロックについて、ブロックごとに点密度に相当する値を算出して平均することで点密度が算出される。このようにイベントデータの個数が所定個数以上となるブロックについて点密度に相当する値を算出することで、全てのブロックについて点密度に相当する値を算出する場合と比較して、処理負荷を軽減できるだけでなく、ノイズのみが含まれるようなブロックを算出対象外とすることができる。これにより、点密度が適正に算出されて、調整精度をより向上させることができる。 In the invention of claim 5, the point density calculation unit divides the predetermined plane into a predetermined number of blocks, and for each block in which the number of event data is equal to or greater than the predetermined number, a value corresponding to the point density is set for each block. The point density is calculated by calculating and averaging. By calculating the value corresponding to the point density for the blocks in which the number of event data is equal to or more than the predetermined number in this way, the processing load is reduced as compared with the case of calculating the value corresponding to the point density for all the blocks. Not only that, blocks that contain only noise can be excluded from the calculation. As a result, the point density can be calculated appropriately, and the adjustment accuracy can be further improved.
[第1実施形態]
以下、本発明の撮像装置を具現化した第1実施形態について、図面を参照して説明する。
本実施形態に係る撮像装置10は、いわゆるイベントカメラとして機能する装置である。この撮像装置10は、輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データと時間と輝度変化の極性とを含めるようにイベントデータを出力し、一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットするようにして、計測対象物を撮像した画像データを生成する。
[First Embodiment]
Hereinafter, the first embodiment embodying the image pickup apparatus of the present invention will be described with reference to the drawings.
The
図1に示すように、撮像装置10は、CPU等からなる制御部11及び半導体メモリ等からなる記憶部12に加えて、制御部11によって表示内容が制御される表示部13、入力操作に応じた操作信号を制御部11に出力する操作部14、外部機器等と通信するための通信部15などを備えている。
As shown in FIG. 1, in addition to a
また、撮像装置10は、撮像部として、撮像素子21、受光レンズ22、調整機構23等を備えている。撮像素子21は、受光レンズ22を介して受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを制御部11に出力するように構成されている。すなわち、撮像素子21は、輝度変化のあった画素に対応するイベントデータ(二次元点データ、時間、輝度変化の極性)を制御部11に出力し、輝度変化のない画素に関してデータを出力しないように機能する。調整機構23は、受光レンズ22の焦点位置を調整するための公知の機構であって、制御部11により駆動制御されて、受光レンズ22を光軸に沿う方向(調整方向)の一側又は他側に移動させることで、受光レンズ22の焦点位置を調整する。
Further, the
このように構成される撮像装置10では、制御部11にてなされる焦点位置調整処理により、受光レンズ22の焦点位置が撮像素子21から出力されるイベントデータを利用して合焦位置に向けて自動的に調整される。
In the
以下、制御部11にてなされる焦点位置調整処理について、図面を参照して詳述する。なお、図2は、計測対象物Rの形状を説明する説明図である。図3(A)は、ピントがほぼ合った状態で図2に示す計測対象物Rを撮像装置10側に移動させながら撮像することで得られた点データをプロットした状態を説明する説明図であり、図3(B)は、図3(A)の1ブロックに相当するX1部分を拡大して示す拡大図である。図4(A)は、ピントがずれている状態で図2に示す計測対象物Rを撮像装置10側に移動させながら撮像することで得られた点データをプロットした状態を説明する説明図であり、図4(B)は、図4(A)の1ブロックに相当するX2部分を拡大して示す拡大図である。
Hereinafter, the focal position adjustment process performed by the
撮像素子21から制御部11に出力されるイベントデータには、輝度情報が含まれないため、輝度情報を利用したオートフォーカスを実施することができない。このため、本実施形態では、制御部11にてなされる焦点位置調整処理において、一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度を算出して、この点密度が高くなるように受光レンズ22の焦点位置を調整する。なお、上記点密度を算出する処理を行う制御部11は、「点密度算出部」の一例に相当し得る。
Since the event data output from the
具体的には、例えば、上記所定の平面を既定数のブロックに区分けして、イベントデータの個数が所定個数以上となるブロックについて、最近隣距離法を用いて以下の式(1)に基づいてブロックごとに各二次元点データに関して平均最近隣距離Wを算出し、各平均最近隣距離Wの平均値を点密度として算出する。そして、この算出された点密度が高くなるように受光レンズ22の焦点位置を調整する。
Specifically, for example, the predetermined plane is divided into a predetermined number of blocks, and for blocks in which the number of event data is equal to or greater than the predetermined number, the nearest neighborhood distance method is used based on the following equation (1). The average nearest neighbor distance W is calculated for each two-dimensional point data for each block, and the average value of each average nearest neighbor distance W is calculated as the point density. Then, the focal position of the
このように算出された点密度が高くなるように受光レンズ22の焦点位置を調整する理由について以下に説明する。
ピントがずれている状態(焦点位置が合焦位置からずれている状態)で一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが不鮮明になるために、点データがばらつきやすくなる。一方、ピントが合っている状態(焦点位置が合焦位置に一致している状態)で一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが鮮明になるために、二次元点データの点密度が高くなる。
The reason for adjusting the focal position of the
Two-dimensional point data of a plurality of event data output from the
例えば、受光レンズ22を移動させて焦点位置を調整しながら、図2に示すように、白色の背景において黒色の円形の計測対象物Rが撮像装置10側に移動している状態を撮像する場合を想定する。このような撮像状態では、黒色の円形が白色の背景に対して徐々に大きくなるように撮像されるため、計測対象物Rのエッジ部分において、マイナス輝度変化の二次元点データが得られることとなる。ここで、ピントがほぼ合っている場合には、計測対象物Rのエッジ部分が鮮明になるために、図3(A)(B)に示すように、実際のエッジ部分に相当する線(図3(B)の一点鎖線)に沿うようにして比較的点密度が高くなる二次元点データが得られる。これに対して、ピントがずれている場合には、計測対象物Rのエッジ部分が不鮮明になるために、図4(A)(B)に示すように、実際のエッジ部分に相当する線(図4(B)の一点鎖線)からずれるようにして比較的点密度が低くなる二次元点データが得られる。すなわち、図3及び図4からわかるように、ピントのずれ量が小さくなるほど、二次元点データの点密度が高くなる。
For example, when the
また、計測対象物が移動していない場合でも、焦点位置を調整するために受光レンズ22が移動していることで、計測対象物のエッジ部分に相当する位置で輝度が変化するため、その輝度変化に応じてイベントデータが出力される。例えば、白色の計測対象物を黒色の背景で撮像する場合、図5(A)〜(E)に示すように、計測対象物と背景との境界となるエッジ部分(図5の符号E参照)では、マイナス輝度変化の二次元点データ(図5の黒四角参照)とプラス輝度変化の二次元点データ(図5の白四角参照)とがそれぞれ複数得られる。
Further, even when the object to be measured is not moving, the
その際、ピントが大きくずれている場合には、エッジ部分が不鮮明となって所定の幅のグレー色範囲となるため、図5(A)に示すように、グレー色範囲の黒色範囲に接している部分でマイナス輝度変化の二次元点データが得られ、グレー色範囲の白色範囲に接している部分でプラス輝度変化の二次元点データが得られる。そして、焦点位置が合焦位置に向かうように調整されている場合には、上記グレー色範囲の幅が狭く変化するため、図5(B)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群とが互いに近づくように取得される。さらに、焦点位置が合焦位置に向かうように調整されていることで、図5(C)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群とがさらに近づき、焦点位置が合焦位置にほぼ一致すると、図5(D)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群とが実際のエッジ部分上に位置するように取得される。そして、焦点位置が合焦位置を超えて移動してしまうと、図5(E)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群との位置が入れ替わるように取得される。このように、計測対象物が移動していない場合でも、焦点位置が合焦位置にほぼ一致する状態では(図5(D)参照)、二次元点データの点密度が高くなり、焦点位置が合焦位置から離れると、二次元点データの点密度が低くなる。 At that time, if the focus is significantly out of focus, the edge portion becomes unclear and the gray color range has a predetermined width. Therefore, as shown in FIG. 5 (A), the edge portion is in contact with the black range of the gray color range. Two-dimensional point data of minus brightness change is obtained in the part where there is, and two-dimensional point data of plus brightness change is obtained in the part in contact with the white range of the gray color range. When the focal position is adjusted toward the in-focus position, the width of the gray color range changes narrowly. Therefore, as shown in FIG. 5 (B), the two-dimensional point data of the negative luminance change. The group and the two-dimensional point data group of the plus brightness change are acquired so as to approach each other. Further, since the focal position is adjusted so as to move toward the in-focus position, as shown in FIG. 5C, the two-dimensional point data group of the negative brightness change and the two-dimensional point data group of the positive brightness change are separated. When it gets closer and the focal position almost coincides with the in-focus position, as shown in FIG. 5 (D), the two-dimensional point data group of the negative brightness change and the two-dimensional point data group of the positive brightness change are on the actual edge portion. Obtained to be located in. Then, when the focal position moves beyond the in-focus position, as shown in FIG. 5 (E), the positions of the two-dimensional point data group of the negative luminance change and the two-dimensional point data group of the positive luminance change are changed. Obtained to be swapped. In this way, even when the object to be measured is not moving, the point density of the two-dimensional point data becomes high and the focal position becomes high when the focal position almost coincides with the in-focus position (see FIG. 5 (D)). The point density of the two-dimensional point data decreases as the distance from the in-focus position increases.
そこで、本実施形態では、制御部11にてなされる焦点位置調整処理において、調整機構23を駆動制御して受光レンズ22を移動させるように焦点位置を調整させた際に、算出された二次元点データの点密度に基づいて受光レンズ22の調整方向を制御する。具体的には、今回算出された点密度が過去に算出された点密度よりも高い場合には、焦点位置が合焦位置に向かうように調整されているとして調整方向を維持し、今回算出された点密度が過去に算出された点密度よりも低い場合には、焦点位置が合焦位置から離れるように調整されているとして調整方向を逆側に切り替える。
Therefore, in the present embodiment, in the focus position adjustment process performed by the
以下、制御部11にてなされる焦点位置調整処理について、図6に示すフローチャートを参照して詳述する。
制御部11により焦点位置調整処理が開始されると、調整機構23の駆動制御に応じて受光レンズ22を既定の方向(例えば調整方向一側)に移動させて焦点位置が調整された状態で(S101)、ステップS103に示すプロットデータ作成処理がなされる。この処理では、一定期間(例えば、100μs)内に撮像素子21から出力される複数のイベントデータの二次元点データがそれぞれ点として所定の平面にプロットされる。
Hereinafter, the focus position adjustment process performed by the
When the focus position adjustment process is started by the
次に、ステップS105に示す点密度算出処理がなされ、上述のようにプロットされた各点に関してブロックごとに算出された各平均最近隣距離Wの平均値が、点密度として算出される。 Next, the point density calculation process shown in step S105 is performed, and the average value of each average nearest neighbor distance W calculated for each block for each point plotted as described above is calculated as the point density.
続いて、ステップS107の判定処理にて、今回算出された点密度が後述するように記憶部12に記憶された前回算出された点密度よりも高くなっているか否かについて判定される。なお、上記判定処理では、今回算出された点密度と前回算出された点密度とを比較することに限らず、例えば、2つ前に算出された点密度とを比較してもよい。すなわち、上記判定処理では、今回算出された点密度と過去に算出された点密度とを比較する。
Subsequently, in the determination process of step S107, it is determined whether or not the point density calculated this time is higher than the previously calculated point density stored in the
ここで、今回算出された点密度が前回算出された点密度よりも高くなっていると(S107でYes)、上述したように焦点位置が合焦位置に向かうように調整されているとして、受光レンズ22の移動方向が維持されるように調整機構23が駆動制御される(S109)。そして、今回算出された点密度が前回算出された点密度として記憶部12に記憶された後(S113)、上記ステップS103からの処理がなされる。
Here, if the point density calculated this time is higher than the point density calculated last time (Yes in S107), it is assumed that the focal position is adjusted toward the in-focus position as described above, and the light is received. The
一方、今回算出された点密度が前回算出された点密度よりも低くなっていると(S107でNo)、上述したように焦点位置が合焦位置から離れるように調整されているとして、受光レンズ22の移動方向が逆方向(調整方向一側に移動していれば調整方向他側)に切り替えられる(S111)。そして、今回算出された点密度が前回算出された点密度として記憶部12に記憶された後(S113)、上記ステップS103からの処理がなされる。
On the other hand, if the point density calculated this time is lower than the point density calculated last time (No in S107), it is assumed that the focal position is adjusted to be away from the in-focus position as described above, and the light receiving lens The moving direction of 22 can be switched to the opposite direction (if it is moved to one side of the adjusting direction, the other side of the adjusting direction) (S111). Then, after the point density calculated this time is stored in the
このように、点密度がより高くなるように焦点位置が調整されることで、焦点位置が合焦位置にほぼ一致する状態となり、受光レンズ22の位置が安定する。より正確には、焦点位置が合焦位置にほぼ一致する状態で、受光レンズ22が微小に往復移動する。
By adjusting the focal position so that the point density becomes higher in this way, the focal position is in a state of substantially matching the focusing position, and the position of the
以上説明したように、本実施形態に係る撮像装置10では、制御部11にてなされる焦点位置調整処理において、調整機構23により受光レンズ22の焦点位置が調整されている状態で、一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度が算出される。そして、点密度が算出されると、当該点密度と前回算出された点密度との比較結果に基づいて制御部11により調整機構23が駆動制御されることで、焦点位置が合焦位置に向けて調整される。
As described above, in the
すなわち、今回算出された点密度が前回算出された点密度よりも高くなる比較結果が得られた場合には、焦点位置が合焦位置に向かうように調整されているとして調整方向が維持されるように調整機構23を駆動制御する。また、今回算出された点密度が前回算出された点密度よりも低くなる比較結果が得られた場合には、焦点位置が合焦位置から離れるように調整されているとして調整方向を逆側に切り替えるように調整機構23を駆動制御する。このように、イベントデータを利用して焦点位置を調整できるので、輝度情報を利用することなくオートフォーカス機能を実現することができる。
That is, when a comparison result is obtained in which the point density calculated this time is higher than the point density calculated last time, the adjustment direction is maintained assuming that the focal position is adjusted toward the in-focus position. The
特に、イベントデータを利用して焦点位置を調整するため、焦点位置調整用の光学系等を別途設ける必要が無いので、オートフォーカス機能を実現可能な撮像装置10の小型化を図ることができる。さらに、従来カメラのコントラストAFと比較して、扱う画素データ量が小さくて済むため、データ転送時間が短縮できるので、処理の高速化を図ることができる。また、オートフォーカスのために輝度変換もしくは輝度情報の取得を行う必要がないため、オートフォーカスに必要な調整機構23の駆動制御をより高速に実施することができる。そして、従来カメラのコントラストAFが苦手としていた動く計測対象物へのオートフォーカスについての優位性を確保することができる。イベントカメラの場合、動きのある計測対象物のエッジ周辺情報のみが得られるため処理するデータ量が少なく、μ秒単位でイベントデータが出力される高フレームレート性から、計測対象物の動きを検知してからオートフォーカスまでの時間を短縮できるからである。
In particular, since the focus position is adjusted using the event data, it is not necessary to separately provide an optical system or the like for adjusting the focus position, so that the
また、本実施形態では、上記所定の平面が既定数のブロックに区分けされて、イベントデータの個数が所定個数以上となるブロックについて、ブロックごとに点密度に相当する値を算出して平均することで点密度が算出される。このようにイベントデータの個数が所定個数以上となるブロックについて点密度に相当する値を算出することで、全てのブロックについて点密度に相当する値を算出する場合と比較して、処理負荷を軽減できるだけでなく、ノイズのみが含まれるようなブロックを算出対象外とすることができる。これにより、点密度が適正に算出されて、調整精度をより向上させることができる。 Further, in the present embodiment, for the blocks in which the predetermined plane is divided into a predetermined number of blocks and the number of event data is equal to or more than the predetermined number, a value corresponding to the point density is calculated and averaged for each block. The point density is calculated with. By calculating the value corresponding to the point density for the blocks in which the number of event data is equal to or more than the predetermined number in this way, the processing load is reduced as compared with the case of calculating the value corresponding to the point density for all the blocks. Not only that, blocks that contain only noise can be excluded from the calculation. As a result, the point density can be calculated appropriately, and the adjustment accuracy can be further improved.
なお、本発明は上記実施形態に限定されるものではなく、例えば、以下のように具体化してもよい。
(1)制御部11にてなされる焦点位置調整処理では、一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データを、説明の便宜上、所定の平面にプロットしてから上記点密度を算出しているが、これに限らず、プロットすることなく二次元点データから上記点密度を直接算出してもよい。また、一定期間内に撮像素子21から出力されるイベントデータの個数がカウント部として機能する制御部11によりカウントされ、このカウントされる個数が所定数以上となる場合に点密度が算出されてもよい。これにより、イベントデータの個数が上記所定数未満となる場合、すなわち、計測対象物が存在していないがノイズが検出されるような場合には点密度が算出されないので、不要に調整機構23が駆動されることもなく、不要な焦点位置の調整を抑制することができる。
The present invention is not limited to the above embodiment, and may be embodied as follows, for example.
(1) In the focal position adjustment process performed by the
(2)制御部11にてなされる焦点位置調整処理では、最近隣距離法を用いて上記点密度を算出しているが、これに限らず、他の算出方法、例えば、K関数法やカーネル法を用いて上記点密度を算出してもよい。また、制御部11にてなされる焦点位置調整処理では、点密度に関してブロックごとに算出された値を平均して上記点密度として算出しているが、これに限らず、一定期間内に撮像素子21から出力される全てのイベントデータの二次元点データから最近隣距離法等を用いて上記点密度を算出してもよい。
(2) In the focal position adjustment process performed by the
(3)制御部11にてなされる焦点位置調整処理では、ステップS107の判定処理にて、今回算出された点密度と前回算出された点密度との差が所定値以上である場合にYesと判定されることで、上記ステップS109以降の処理がなされてもよい。すなわち、点密度算出処理により点密度が算出されると、当該点密度と過去に算出された点密度との差が上記所定値以上である場合に限って、調整機構23が駆動制御される。これにより、今回算出された点密度と過去に算出された点密度との差が上記所定値未満となる場合、すなわち、例えば、ほぼピントが合っているような場合には調整機構23が駆動されないので、不要な焦点位置の調整を抑制することができる。
(3) In the focal position adjustment process performed by the
(4)上述した焦点位置調整処理における点密度算出処理では、プラス輝度変化のイベントデータの二次元点データ及びマイナス輝度変化のイベントデータの二次元点データのいずれか一方をそれぞれ点として所定の平面にプロットしたときの点の密度に相当するように点密度を算出してもよい。例えば、プラス輝度変化の二次元点データの出力個数がマイナス輝度変化の二次元点データの出力個数よりも多い場合には、マイナス輝度変化の二次元点データを考慮せずに、プラス輝度変化の二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当するように点密度を算出する。ピントが合っている状態ではプラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとがそれぞれが別々に群発しやすくなるため、プラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとを区別してどちらか一方に関して点密度を算出することで、調整精度をより向上させることができる。 (4) In the point density calculation process in the focal position adjustment process described above, a predetermined plane is set with either one of the two-dimensional point data of the event data of the positive brightness change and the two-dimensional point data of the event data of the negative brightness change as points. The point density may be calculated so as to correspond to the density of the points when plotted in. For example, when the number of output of the two-dimensional point data of the positive brightness change is larger than the number of outputs of the two-dimensional point data of the negative brightness change, the positive brightness change is not considered without considering the two-dimensional point data of the negative brightness change. The point density is calculated so as to correspond to the density of the points when the two-dimensional point data are plotted on a predetermined plane as points. In the in-focus state, the two-dimensional point data of the positive brightness change and the two-dimensional point data of the negative brightness change are likely to be clustered separately, so the two-dimensional point data of the positive brightness change and the negative brightness change are two. By distinguishing from the dimension point data and calculating the point density for either one, the adjustment accuracy can be further improved.
10…撮像装置
11…制御部(点密度算出部)
21…撮像素子
22…受光レンズ
23…調整機構
10 ...
21 ...
Claims (5)
前記受光レンズの焦点位置を調整するための調整機構と、
前記調整機構を駆動制御する制御部と、
前記調整機構により前記受光レンズの焦点位置が調整されている状態で、一定期間内に前記撮像素子から出力される複数の前記イベントデータの前記二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度を算出する点密度算出部と、
を備え、
前記制御部は、前記点密度算出部により前記点密度が算出されると、当該点密度と過去に算出された前記点密度との比較結果に基づいて前記調整機構を駆動制御することで、前記焦点位置を合焦位置に向けて調整することを特徴とする撮像装置。 An image sensor that outputs event data including two-dimensional point data that specifies the position of the pixel corresponding to the pixel whose brightness has changed when the light is received through the light receiving lens.
An adjustment mechanism for adjusting the focal position of the light receiving lens and
A control unit that drives and controls the adjustment mechanism,
With the focal position of the light receiving lens adjusted by the adjustment mechanism, the two-dimensional point data of the plurality of event data output from the image sensor within a certain period of time are plotted on a predetermined plane as points. A point density calculation unit that calculates the point density corresponding to the density of the points at the time,
With
When the point density is calculated by the point density calculation unit, the control unit drives and controls the adjustment mechanism based on the comparison result between the point density and the point density calculated in the past. An imaging device characterized in that the focal position is adjusted toward the in-focus position.
前記点密度算出部は、前記カウント部によりカウントされる個数が所定数以上となる場合に前記点密度を算出することを特徴とする請求項1又は2に記載の撮像装置。 A counting unit for counting the number of event data output from the image sensor within a certain period of time is provided.
The imaging device according to claim 1 or 2, wherein the point density calculation unit calculates the point density when the number counted by the counting unit is equal to or greater than a predetermined number.
前記点密度算出部は、前記プラス輝度変化のイベントデータの前記二次元点データ及び前記マイナス輝度変化のイベントデータの前記二次元点データのいずれか一方をそれぞれ点として前記所定の平面にプロットしたときの点の密度に相当するように前記点密度を算出することを特徴とする請求項1〜3のいずれか一項に記載の撮像装置。 The image sensor is configured to output event data of a positive luminance change in the case of a brightening luminance change and output event data of a negative luminance change in the case of a darkening luminance change.
When the point density calculation unit plots one of the two-dimensional point data of the positive brightness change event data and the two-dimensional point data of the negative brightness change event data as points on the predetermined plane. The imaging apparatus according to any one of claims 1 to 3, wherein the point density is calculated so as to correspond to the density of the points.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019190365A JP7327075B2 (en) | 2019-10-17 | 2019-10-17 | Imaging device |
CN202011110893.7A CN112689082B (en) | 2019-10-17 | 2020-10-16 | Imaging device with event camera |
CN202210146060.9A CN114567725B (en) | 2019-10-17 | 2020-10-16 | Image pickup apparatus having event camera |
EP20202301.6A EP3809692B1 (en) | 2019-10-17 | 2020-10-16 | Imaging device provided with event-based camera |
US17/073,998 US11412127B2 (en) | 2019-10-17 | 2020-10-19 | Imaging device provided with event-based camera |
US17/701,832 US11812145B2 (en) | 2019-10-17 | 2022-03-23 | Imaging device provided with event-based camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019190365A JP7327075B2 (en) | 2019-10-17 | 2019-10-17 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021067704A true JP2021067704A (en) | 2021-04-30 |
JP7327075B2 JP7327075B2 (en) | 2023-08-16 |
Family
ID=75637100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019190365A Active JP7327075B2 (en) | 2019-10-17 | 2019-10-17 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7327075B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023189793A1 (en) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | Medical observation device and information processing device |
WO2024089968A1 (en) * | 2022-10-25 | 2024-05-02 | キヤノン株式会社 | Image processing device, imaging device, image processing method, and program |
WO2024134803A1 (en) * | 2022-12-21 | 2024-06-27 | オプテックス株式会社 | Door opening/closing system and sensor for door opening/closing system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018513992A (en) * | 2015-03-10 | 2018-05-31 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | System and method for continuous autofocus |
CN109151315A (en) * | 2018-09-19 | 2019-01-04 | 信利光电股份有限公司 | A kind of focus adjustment method and device of DVS camera module |
US20190014258A1 (en) * | 2017-07-05 | 2019-01-10 | Intel Corporation | Micro-saccadic actuation for an event camera |
-
2019
- 2019-10-17 JP JP2019190365A patent/JP7327075B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018513992A (en) * | 2015-03-10 | 2018-05-31 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | System and method for continuous autofocus |
US20190014258A1 (en) * | 2017-07-05 | 2019-01-10 | Intel Corporation | Micro-saccadic actuation for an event camera |
CN109151315A (en) * | 2018-09-19 | 2019-01-04 | 信利光电股份有限公司 | A kind of focus adjustment method and device of DVS camera module |
Non-Patent Citations (1)
Title |
---|
GUILLERMO GALLEGO ET AL.: ""Focus Is All You Need:Loss Functions for Event-Based Vision"", 2019 IEEE/CVFCONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), JPN6023016792, June 2019 (2019-06-01), pages 12272 - 12281, XP033687566, ISSN: 0005044516, DOI: 10.1109/CVPR.2019.01256 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023189793A1 (en) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | Medical observation device and information processing device |
WO2024089968A1 (en) * | 2022-10-25 | 2024-05-02 | キヤノン株式会社 | Image processing device, imaging device, image processing method, and program |
WO2024134803A1 (en) * | 2022-12-21 | 2024-06-27 | オプテックス株式会社 | Door opening/closing system and sensor for door opening/closing system |
Also Published As
Publication number | Publication date |
---|---|
JP7327075B2 (en) | 2023-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7327075B2 (en) | Imaging device | |
US8654228B2 (en) | Imaging apparatus, camera body and interchangeable lens | |
US9288378B2 (en) | Autofocus apparatus | |
CN114567725B (en) | Image pickup apparatus having event camera | |
CN112637479B (en) | Control apparatus, image pickup apparatus, control method, and storage medium | |
US11457148B2 (en) | Image processing apparatus, imaging apparatus, and control method | |
JP2012053315A (en) | Automatic focus adjustment device and imaging apparatus | |
US9900493B2 (en) | Focus detecting apparatus, and method of prediction for the same | |
US11095798B2 (en) | Image capturing system, image capturing apparatus, and control method of the same | |
JP6486098B2 (en) | Imaging apparatus and control method thereof | |
JP2011107501A (en) | Focusing device and imaging apparatus | |
JP2021047296A (en) | Lens device, imaging apparatus, method for controlling lens device, and program | |
US11146732B2 (en) | Control apparatus, lens apparatus, image pickup apparatus, and image pickup system | |
JP2016142924A (en) | Imaging apparatus, method of controlling the same, program, and storage medium | |
JP5871196B2 (en) | Focus adjustment device and imaging device | |
JP2017146559A (en) | Imaging apparatus, control method therefor, program and storage medium | |
JP4900134B2 (en) | Focus adjustment device, camera | |
JP2010224165A (en) | Imaging apparatus | |
JP2005227447A (en) | Autofocus camera | |
US11829000B2 (en) | Optical apparatus, its control method, and storage medium | |
JP2021071656A (en) | Imaging apparatus and method for controlling the same | |
JP2021067911A (en) | Imaging device | |
JP2015060047A (en) | Imaging device and focus detection method | |
JP2016057325A (en) | Imaging device, automatic focus adjustment method and program | |
JP2011002719A (en) | Lens device, imaging apparatus and autofocus method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230717 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7327075 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |