JP2021067704A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2021067704A
JP2021067704A JP2019190365A JP2019190365A JP2021067704A JP 2021067704 A JP2021067704 A JP 2021067704A JP 2019190365 A JP2019190365 A JP 2019190365A JP 2019190365 A JP2019190365 A JP 2019190365A JP 2021067704 A JP2021067704 A JP 2021067704A
Authority
JP
Japan
Prior art keywords
point density
calculated
point
density
event data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019190365A
Other languages
Japanese (ja)
Other versions
JP7327075B2 (en
Inventor
勇介 三谷
yusuke Mitani
勇介 三谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2019190365A priority Critical patent/JP7327075B2/en
Priority to CN202011110893.7A priority patent/CN112689082B/en
Priority to CN202210146060.9A priority patent/CN114567725B/en
Priority to EP20202301.6A priority patent/EP3809692B1/en
Priority to US17/073,998 priority patent/US11412127B2/en
Publication of JP2021067704A publication Critical patent/JP2021067704A/en
Priority to US17/701,832 priority patent/US11812145B2/en
Application granted granted Critical
Publication of JP7327075B2 publication Critical patent/JP7327075B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

To provide a structure with which it is possible to achieve an auto-focus function without utilizing luminance information.SOLUTION: While the focus position of a light-receiving lens 22 is adjusted by an adjustment mechanism 23, a point density is calculated that is equivalent to the density of points when the two-dimensional point data of a plurality of event data outputted from an imaging element 21 in a given period is plotted respectively as points to a prescribed plane. Then, when the point density is calculated, the drive of the adjustment mechanism 23 is controlled by a control unit 11 on the basis of the result of comparison of said point density with the previously calculated point density, and the focus position is thereby adjusted toward an in-focus position.SELECTED DRAWING: Figure 6

Description

本発明は、撮像装置に関するものである。 The present invention relates to an imaging device.

近年、より高速に計測対象物の画像を生成する技術として、下記特許文献1に開示されるイベントカメラが知られている。このイベントカメラは、生物の網膜構造にヒントを得て開発された輝度値差分出力カメラであり、画素ごとに輝度の変化を感知してその座標、時間、そして輝度変化の極性を出力するように構成されている。このような構成により、イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータは出力しないといった特徴があるため、データ通信量の軽減や画像処理の軽量化等が実現されることで、より高速に計測対象物の画像を生成することができる。 In recent years, an event camera disclosed in Patent Document 1 below is known as a technique for generating an image of a measurement object at a higher speed. This event camera is a brightness value difference output camera developed by taking inspiration from the retinal structure of living organisms, so that it senses the change in brightness for each pixel and outputs its coordinates, time, and polarity of the change in brightness. It is configured. With such a configuration, the event camera has a feature that it does not output pixel information that does not change in brightness, that is, redundant data like a conventional camera, so that it is possible to reduce the amount of data communication and the weight of image processing. By doing so, it is possible to generate an image of the measurement object at a higher speed.

米国特許出願公開第2016/0227135号明細書U.S. Patent Application Publication No. 2016/0227135

ところで、通常のカメラで取得される画像データは、各画素が必ず何らかの輝度情報を有しており、その輝度情報を使用したオートフォーカス機能が標準機能として多くのカメラに搭載されている。その一方で、イベントカメラでは、輝度の変化に応じたイベントデータを取得できても輝度情報自体は取得できないため、輝度情報を利用したオートフォーカス機能を採用することができない。このため、イベントカメラであっても、フォーカスが合っていないために計測対象物がぼやけて撮像されると、計測対象物の光が分散されるため正確にイベントデータを得ることができないという問題がある。 By the way, in the image data acquired by a normal camera, each pixel always has some kind of luminance information, and an autofocus function using the luminance information is installed in many cameras as a standard function. On the other hand, in the event camera, even if the event data corresponding to the change in the brightness can be acquired, the brightness information itself cannot be acquired, so that the autofocus function using the brightness information cannot be adopted. For this reason, even with an event camera, if the object to be measured is blurred because it is out of focus, the light of the object to be measured is dispersed and the event data cannot be obtained accurately. is there.

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、輝度情報を利用することなくオートフォーカス機能を実現可能な構成を提供することにある。 The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to provide a configuration capable of realizing an autofocus function without using luminance information.

上記目的を達成するため、特許請求の範囲の請求項1に記載の発明に係る撮像装置(10)は、
受光レンズ(22)を介して受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子(21)と、
前記受光レンズの焦点位置を調整するための調整機構(23)と、
前記調整機構を駆動制御する制御部(11)と、
前記調整機構により前記受光レンズの焦点位置が調整されている状態で、一定期間内に前記撮像素子から出力される複数の前記イベントデータの前記二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度を算出する点密度算出部(11)と、
を備え、
前記制御部は、前記点密度算出部により前記点密度が算出されると、当該点密度と過去に算出された前記点密度との比較結果に基づいて前記調整機構を駆動制御することで、前記焦点位置を合焦位置に向けて調整することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
In order to achieve the above object, the imaging device (10) according to the invention according to claim 1 of the claims is
An image sensor (21) that outputs event data including two-dimensional point data in which the position of the pixel is specified corresponding to a pixel whose brightness has changed when light is received through the light receiving lens (22).
An adjustment mechanism (23) for adjusting the focal position of the light receiving lens, and
A control unit (11) that drives and controls the adjustment mechanism, and
With the focal position of the light receiving lens adjusted by the adjustment mechanism, the two-dimensional point data of the plurality of event data output from the image sensor within a certain period of time are plotted on a predetermined plane as points. The point density calculation unit (11) that calculates the point density corresponding to the density of the points at the time, and
With
When the point density is calculated by the point density calculation unit, the control unit drives and controls the adjustment mechanism based on the comparison result between the point density and the point density calculated in the past. It is characterized by adjusting the focal position toward the in-focus position.
The reference numerals in the parentheses indicate the correspondence with the specific means described in the embodiments described later.

請求項1の発明では、調整機構により受光レンズの焦点位置が調整されている状態で、一定期間内に撮像素子から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度が点密度算出部により算出される。そして、点密度算出部により点密度が算出されると、当該点密度と過去に算出された点密度との比較結果に基づいて制御部により調整機構が駆動制御されることで、焦点位置が合焦位置に向けて調整される。 In the invention of claim 1, in a state where the focal position of the light receiving lens is adjusted by the adjusting mechanism, two-dimensional point data of a plurality of event data output from the image pickup element within a certain period of time is set as a point on a predetermined plane. The point density corresponding to the density of the points when plotted is calculated by the point density calculation unit. Then, when the point density is calculated by the point density calculation unit, the adjustment mechanism is driven and controlled by the control unit based on the comparison result between the point density and the point density calculated in the past, so that the focal position is adjusted. Adjusted towards the focus position.

ピントがずれている状態(焦点位置が合焦位置からずれている状態)で一定期間内に撮像素子から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが不鮮明になるために、点データがばらつきやすくなる。一方、ピントが合っている状態(焦点位置が合焦位置に一致している状態)で一定期間内に撮像素子から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが鮮明になるために、二次元点データの点密度が高くなる。すなわち、ピントのずれ量が小さくなるほど、二次元点データの点密度が高くなる。 When two-dimensional point data of multiple event data output from the image sensor within a certain period of time is plotted on a predetermined plane as points in a state of being out of focus (a state in which the focus position is out of focus). Since the edge of the object to be measured becomes unclear, the point data tends to vary. On the other hand, two-dimensional point data of a plurality of event data output from the image sensor within a certain period of time in a focused state (a state in which the focal position matches the in-focus position) are set as points on a predetermined plane. When plotted, the edge of the object to be measured becomes clear, so that the point density of the two-dimensional point data becomes high. That is, the smaller the amount of focus shift, the higher the point density of the two-dimensional point data.

このため、今回算出された点密度が過去に算出された点密度よりも高くなる比較結果が得られた場合には、焦点位置が合焦位置に向かうように調整されているとして調整方向が維持されるように調整機構を駆動制御する。また、今回算出された点密度が過去に算出された点密度よりも低くなる比較結果が得られた場合には、焦点位置が合焦位置から離れるように調整されているとして調整方向を逆側に切り替えるように調整機構を駆動制御する。このように、イベントデータを利用して焦点位置を調整できるので、輝度情報を利用することなくオートフォーカス機能を実現することができる。 Therefore, when a comparison result is obtained in which the point density calculated this time is higher than the point density calculated in the past, the adjustment direction is maintained assuming that the focal position is adjusted toward the in-focus position. The adjustment mechanism is driven and controlled so as to be performed. If a comparison result is obtained in which the point density calculated this time is lower than the point density calculated in the past, it is assumed that the focal position is adjusted to be away from the in-focus position, and the adjustment direction is reversed. The adjustment mechanism is driven and controlled so as to switch to. In this way, since the focus position can be adjusted by using the event data, the autofocus function can be realized without using the luminance information.

請求項2の発明では、点密度算出部により点密度が算出されると、当該点密度と過去に算出された点密度との差が所定値以上である場合に限って、制御部により調整機構が駆動制御される。これにより、今回算出された点密度と過去に算出された点密度との差が上記所定値未満となる場合、すなわち、例えば、ほぼピントが合っているような場合には調整機構が駆動されないので、不要な焦点位置の調整を抑制することができる。 In the invention of claim 2, when the point density is calculated by the point density calculation unit, the adjustment mechanism is adjusted by the control unit only when the difference between the point density and the point density calculated in the past is equal to or more than a predetermined value. Is driven and controlled. As a result, the adjustment mechanism is not driven when the difference between the point density calculated this time and the point density calculated in the past is less than the above-mentioned predetermined value, that is, for example, when the focus is almost in focus. , Unnecessary adjustment of the focal position can be suppressed.

請求項3の発明では、一定期間内に撮像素子から出力されるイベントデータの個数がカウント部によりカウントされ、このカウントされる個数が所定数以上となる場合に点密度算出部により点密度が算出される。これにより、イベントデータの個数が上記所定数未満となる場合、すなわち、計測対象物が存在していないがノイズが検出されるような場合には点密度が算出されないので、不要に調整機構が駆動されることもなく、不要な焦点位置の調整を抑制することができる。 In the invention of claim 3, the number of event data output from the image sensor is counted by the counting unit within a certain period of time, and the point density is calculated by the point density calculating unit when the counted number exceeds a predetermined number. Will be done. As a result, when the number of event data is less than the above-mentioned predetermined number, that is, when noise is detected even though the measurement target does not exist, the point density is not calculated, so that the adjustment mechanism is unnecessarily driven. It is possible to suppress unnecessary adjustment of the focal position without being done.

請求項4の発明では、点密度算出部により、プラス輝度変化のイベントデータの二次元点データ及びマイナス輝度変化のイベントデータの二次元点データのいずれか一方をそれぞれ点として所定の平面にプロットしたときの点の密度に相当するように点密度が算出される。ピントが合っている状態ではプラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとがそれぞれが別々に群発しやすくなるため、プラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとを区別してどちらか一方に関して点密度を算出することで、調整精度をより向上させることができる。 In the invention of claim 4, the point density calculation unit plots either one of the two-dimensional point data of the event data of the positive brightness change and the two-dimensional point data of the event data of the negative brightness change as points on a predetermined plane. The point density is calculated so as to correspond to the density of the points at the time. In the in-focus state, the two-dimensional point data of the positive brightness change and the two-dimensional point data of the negative brightness change are likely to be clustered separately, so the two-dimensional point data of the positive brightness change and the negative brightness change are two. By distinguishing from the dimension point data and calculating the point density for either one, the adjustment accuracy can be further improved.

請求項5の発明では、点密度算出部により、上記所定の平面が既定数のブロックに区分けされて、イベントデータの個数が所定個数以上となるブロックについて、ブロックごとに点密度に相当する値を算出して平均することで点密度が算出される。このようにイベントデータの個数が所定個数以上となるブロックについて点密度に相当する値を算出することで、全てのブロックについて点密度に相当する値を算出する場合と比較して、処理負荷を軽減できるだけでなく、ノイズのみが含まれるようなブロックを算出対象外とすることができる。これにより、点密度が適正に算出されて、調整精度をより向上させることができる。 In the invention of claim 5, the point density calculation unit divides the predetermined plane into a predetermined number of blocks, and for each block in which the number of event data is equal to or greater than the predetermined number, a value corresponding to the point density is set for each block. The point density is calculated by calculating and averaging. By calculating the value corresponding to the point density for the blocks in which the number of event data is equal to or more than the predetermined number in this way, the processing load is reduced as compared with the case of calculating the value corresponding to the point density for all the blocks. Not only that, blocks that contain only noise can be excluded from the calculation. As a result, the point density can be calculated appropriately, and the adjustment accuracy can be further improved.

第1実施形態に係る撮像装置の概略構成を示すブロック図である。It is a block diagram which shows the schematic structure of the image pickup apparatus which concerns on 1st Embodiment. 計測対象物の形状を説明する説明図である。It is explanatory drawing explaining the shape of the measurement object. 図3(A)は、ピントがほぼ合った状態で図2に示す計測対象物を撮像装置側に移動させながら撮像することで得られた二次元点データをプロットした状態を説明する説明図であり、図3(B)は、図3(A)のX1部分を拡大して示す拡大図である。FIG. 3A is an explanatory diagram illustrating a state in which two-dimensional point data obtained by imaging while moving the measurement object shown in FIG. 2 to the imaging device side in a state in which the focus is substantially in focus is plotted. Yes, FIG. 3 (B) is an enlarged view showing an enlarged portion X1 of FIG. 3 (A). 図4(A)は、ピントがずれている状態で図2に示す計測対象物を撮像装置側に移動させながら撮像することで得られた二次元点データをプロットした状態を説明する説明図であり、図4(B)は、図4(A)のX2部分を拡大して示す拡大図である。FIG. 4A is an explanatory diagram illustrating a state in which two-dimensional point data obtained by imaging while moving the measurement object shown in FIG. 2 to the imaging device side in a state of being out of focus is plotted. Yes, FIG. 4 (B) is an enlarged view showing an enlarged portion X2 of FIG. 4 (A). 計測対象物が移動していない場合に焦点位置を調整することで出力された二次元点データの一部をプロットした状態を説明する説明図である。It is explanatory drawing explaining the state which plotted a part of the 2D point data output by adjusting a focal position when a measurement object is not moving. 撮像装置の制御部にて行われる焦点位置調整処理の流れを例示するフローチャートである。It is a flowchart which illustrates the flow of the focus position adjustment process performed in the control part of an image pickup apparatus.

[第1実施形態]
以下、本発明の撮像装置を具現化した第1実施形態について、図面を参照して説明する。
本実施形態に係る撮像装置10は、いわゆるイベントカメラとして機能する装置である。この撮像装置10は、輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データと時間と輝度変化の極性とを含めるようにイベントデータを出力し、一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットするようにして、計測対象物を撮像した画像データを生成する。
[First Embodiment]
Hereinafter, the first embodiment embodying the image pickup apparatus of the present invention will be described with reference to the drawings.
The imaging device 10 according to the present embodiment is a device that functions as a so-called event camera. The image pickup device 10 outputs event data so as to include two-dimensional point data in which the position of the pixel is specified corresponding to the pixel whose brightness has changed, time, and the polarity of the brightness change, and within a certain period of time. By plotting the two-dimensional point data of the plurality of output event data as points on a predetermined plane, image data obtained by capturing an image of the measurement target is generated.

図1に示すように、撮像装置10は、CPU等からなる制御部11及び半導体メモリ等からなる記憶部12に加えて、制御部11によって表示内容が制御される表示部13、入力操作に応じた操作信号を制御部11に出力する操作部14、外部機器等と通信するための通信部15などを備えている。 As shown in FIG. 1, in addition to a control unit 11 including a CPU and the like and a storage unit 12 including a semiconductor memory and the like, the image pickup apparatus 10 responds to an input operation and a display unit 13 whose display contents are controlled by the control unit 11. It includes an operation unit 14 that outputs the operation signal to the control unit 11, a communication unit 15 for communicating with an external device, and the like.

また、撮像装置10は、撮像部として、撮像素子21、受光レンズ22、調整機構23等を備えている。撮像素子21は、受光レンズ22を介して受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを制御部11に出力するように構成されている。すなわち、撮像素子21は、輝度変化のあった画素に対応するイベントデータ(二次元点データ、時間、輝度変化の極性)を制御部11に出力し、輝度変化のない画素に関してデータを出力しないように機能する。調整機構23は、受光レンズ22の焦点位置を調整するための公知の機構であって、制御部11により駆動制御されて、受光レンズ22を光軸に沿う方向(調整方向)の一側又は他側に移動させることで、受光レンズ22の焦点位置を調整する。 Further, the image pickup device 10 includes an image pickup element 21, a light receiving lens 22, an adjustment mechanism 23, and the like as an image pickup unit. The image sensor 21 outputs event data including two-dimensional point data in which the position of the pixel is specified corresponding to the pixel whose brightness has changed when the light is received through the light receiving lens 22 to the control unit 11. It is configured in. That is, the image sensor 21 outputs event data (two-dimensional point data, time, polarity of brightness change) corresponding to the pixel whose brightness has changed to the control unit 11, and does not output data for the pixel whose brightness has not changed. Works for. The adjustment mechanism 23 is a known mechanism for adjusting the focal position of the light receiving lens 22, and is driven and controlled by the control unit 11 to move the light receiving lens 22 to one side (adjustment direction) along the optical axis or another. By moving it to the side, the focal position of the light receiving lens 22 is adjusted.

このように構成される撮像装置10では、制御部11にてなされる焦点位置調整処理により、受光レンズ22の焦点位置が撮像素子21から出力されるイベントデータを利用して合焦位置に向けて自動的に調整される。 In the image pickup device 10 configured in this way, the focus position of the light receiving lens 22 is directed to the in-focus position by using the event data output from the image sensor 21 by the focus position adjustment process performed by the control unit 11. It will be adjusted automatically.

以下、制御部11にてなされる焦点位置調整処理について、図面を参照して詳述する。なお、図2は、計測対象物Rの形状を説明する説明図である。図3(A)は、ピントがほぼ合った状態で図2に示す計測対象物Rを撮像装置10側に移動させながら撮像することで得られた点データをプロットした状態を説明する説明図であり、図3(B)は、図3(A)の1ブロックに相当するX1部分を拡大して示す拡大図である。図4(A)は、ピントがずれている状態で図2に示す計測対象物Rを撮像装置10側に移動させながら撮像することで得られた点データをプロットした状態を説明する説明図であり、図4(B)は、図4(A)の1ブロックに相当するX2部分を拡大して示す拡大図である。 Hereinafter, the focal position adjustment process performed by the control unit 11 will be described in detail with reference to the drawings. Note that FIG. 2 is an explanatory diagram illustrating the shape of the measurement object R. FIG. 3A is an explanatory diagram illustrating a state in which point data obtained by imaging while moving the measurement object R shown in FIG. 2 to the imaging device 10 side in a state in which the focus is substantially in focus is plotted. Yes, FIG. 3 (B) is an enlarged view showing an enlarged X1 portion corresponding to one block of FIG. 3 (A). FIG. 4A is an explanatory diagram illustrating a state in which point data obtained by imaging while moving the measurement object R shown in FIG. 2 to the imaging device 10 side in a state of being out of focus is plotted. Yes, FIG. 4 (B) is an enlarged view showing an enlarged X2 portion corresponding to one block of FIG. 4 (A).

撮像素子21から制御部11に出力されるイベントデータには、輝度情報が含まれないため、輝度情報を利用したオートフォーカスを実施することができない。このため、本実施形態では、制御部11にてなされる焦点位置調整処理において、一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度を算出して、この点密度が高くなるように受光レンズ22の焦点位置を調整する。なお、上記点密度を算出する処理を行う制御部11は、「点密度算出部」の一例に相当し得る。 Since the event data output from the image sensor 21 to the control unit 11 does not include the luminance information, it is not possible to perform autofocus using the luminance information. Therefore, in the present embodiment, in the focal position adjustment process performed by the control unit 11, two-dimensional point data of a plurality of event data output from the image sensor 21 within a certain period of time is plotted on a predetermined plane as points. The point density corresponding to the density of the points is calculated, and the focal position of the light receiving lens 22 is adjusted so that the point density becomes high. The control unit 11 that performs the process of calculating the point density may correspond to an example of the “point density calculation unit”.

具体的には、例えば、上記所定の平面を既定数のブロックに区分けして、イベントデータの個数が所定個数以上となるブロックについて、最近隣距離法を用いて以下の式(1)に基づいてブロックごとに各二次元点データに関して平均最近隣距離Wを算出し、各平均最近隣距離Wの平均値を点密度として算出する。そして、この算出された点密度が高くなるように受光レンズ22の焦点位置を調整する。

Figure 2021067704
Specifically, for example, the predetermined plane is divided into a predetermined number of blocks, and for blocks in which the number of event data is equal to or greater than the predetermined number, the nearest neighborhood distance method is used based on the following equation (1). The average nearest neighbor distance W is calculated for each two-dimensional point data for each block, and the average value of each average nearest neighbor distance W is calculated as the point density. Then, the focal position of the light receiving lens 22 is adjusted so that the calculated point density becomes high.

Figure 2021067704

このように算出された点密度が高くなるように受光レンズ22の焦点位置を調整する理由について以下に説明する。
ピントがずれている状態(焦点位置が合焦位置からずれている状態)で一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが不鮮明になるために、点データがばらつきやすくなる。一方、ピントが合っている状態(焦点位置が合焦位置に一致している状態)で一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットした場合、計測対象物のエッジが鮮明になるために、二次元点データの点密度が高くなる。
The reason for adjusting the focal position of the light receiving lens 22 so that the point density calculated in this way becomes high will be described below.
Two-dimensional point data of a plurality of event data output from the image sensor 21 within a certain period of time in a state of being out of focus (a state in which the focus position is out of focus) are plotted on a predetermined plane as points. In this case, since the edge of the measurement object becomes unclear, the point data tends to vary. On the other hand, a predetermined plane with two-dimensional point data of a plurality of event data output from the image sensor 21 within a certain period of time in a focused state (a state in which the focal position matches the in-focus position) as points. When plotted in, the edge of the object to be measured becomes clear, so that the point density of the two-dimensional point data becomes high.

例えば、受光レンズ22を移動させて焦点位置を調整しながら、図2に示すように、白色の背景において黒色の円形の計測対象物Rが撮像装置10側に移動している状態を撮像する場合を想定する。このような撮像状態では、黒色の円形が白色の背景に対して徐々に大きくなるように撮像されるため、計測対象物Rのエッジ部分において、マイナス輝度変化の二次元点データが得られることとなる。ここで、ピントがほぼ合っている場合には、計測対象物Rのエッジ部分が鮮明になるために、図3(A)(B)に示すように、実際のエッジ部分に相当する線(図3(B)の一点鎖線)に沿うようにして比較的点密度が高くなる二次元点データが得られる。これに対して、ピントがずれている場合には、計測対象物Rのエッジ部分が不鮮明になるために、図4(A)(B)に示すように、実際のエッジ部分に相当する線(図4(B)の一点鎖線)からずれるようにして比較的点密度が低くなる二次元点データが得られる。すなわち、図3及び図4からわかるように、ピントのずれ量が小さくなるほど、二次元点データの点密度が高くなる。 For example, when the light receiving lens 22 is moved to adjust the focal position, and as shown in FIG. 2, a state in which a black circular measurement object R is moving toward the imaging device 10 is imaged on a white background. Is assumed. In such an imaging state, since the black circle is imaged so as to gradually increase with respect to the white background, two-dimensional point data of a negative luminance change can be obtained at the edge portion of the measurement object R. Become. Here, when the focus is almost in focus, the edge portion of the measurement object R becomes clear, so that the line corresponding to the actual edge portion is shown in FIGS. 3A and 3B (FIG. 3). Two-dimensional point data having a relatively high point density can be obtained along the alternate long and short dash line of 3 (B). On the other hand, when the object is out of focus, the edge portion of the measurement object R becomes unclear. Therefore, as shown in FIGS. 4 (A) and 4 (B), a line corresponding to the actual edge portion ( Two-dimensional point data having a relatively low point density can be obtained so as to deviate from the alternate long and short dash line in FIG. 4 (B). That is, as can be seen from FIGS. 3 and 4, the smaller the amount of focus shift, the higher the point density of the two-dimensional point data.

また、計測対象物が移動していない場合でも、焦点位置を調整するために受光レンズ22が移動していることで、計測対象物のエッジ部分に相当する位置で輝度が変化するため、その輝度変化に応じてイベントデータが出力される。例えば、白色の計測対象物を黒色の背景で撮像する場合、図5(A)〜(E)に示すように、計測対象物と背景との境界となるエッジ部分(図5の符号E参照)では、マイナス輝度変化の二次元点データ(図5の黒四角参照)とプラス輝度変化の二次元点データ(図5の白四角参照)とがそれぞれ複数得られる。 Further, even when the object to be measured is not moving, the light receiving lens 22 is moved to adjust the focal position, so that the brightness changes at a position corresponding to the edge portion of the object to be measured. Event data is output according to the change. For example, when a white measurement object is imaged on a black background, as shown in FIGS. 5A to 5E, an edge portion serving as a boundary between the measurement object and the background (see reference numeral E in FIG. 5). Then, a plurality of two-dimensional point data of negative brightness change (see the black square in FIG. 5) and two-dimensional point data of positive brightness change (see the white square in FIG. 5) are obtained.

その際、ピントが大きくずれている場合には、エッジ部分が不鮮明となって所定の幅のグレー色範囲となるため、図5(A)に示すように、グレー色範囲の黒色範囲に接している部分でマイナス輝度変化の二次元点データが得られ、グレー色範囲の白色範囲に接している部分でプラス輝度変化の二次元点データが得られる。そして、焦点位置が合焦位置に向かうように調整されている場合には、上記グレー色範囲の幅が狭く変化するため、図5(B)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群とが互いに近づくように取得される。さらに、焦点位置が合焦位置に向かうように調整されていることで、図5(C)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群とがさらに近づき、焦点位置が合焦位置にほぼ一致すると、図5(D)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群とが実際のエッジ部分上に位置するように取得される。そして、焦点位置が合焦位置を超えて移動してしまうと、図5(E)に示すように、マイナス輝度変化の二次元点データ群とプラス輝度変化の二次元点データ群との位置が入れ替わるように取得される。このように、計測対象物が移動していない場合でも、焦点位置が合焦位置にほぼ一致する状態では(図5(D)参照)、二次元点データの点密度が高くなり、焦点位置が合焦位置から離れると、二次元点データの点密度が低くなる。 At that time, if the focus is significantly out of focus, the edge portion becomes unclear and the gray color range has a predetermined width. Therefore, as shown in FIG. 5 (A), the edge portion is in contact with the black range of the gray color range. Two-dimensional point data of minus brightness change is obtained in the part where there is, and two-dimensional point data of plus brightness change is obtained in the part in contact with the white range of the gray color range. When the focal position is adjusted toward the in-focus position, the width of the gray color range changes narrowly. Therefore, as shown in FIG. 5 (B), the two-dimensional point data of the negative luminance change. The group and the two-dimensional point data group of the plus brightness change are acquired so as to approach each other. Further, since the focal position is adjusted so as to move toward the in-focus position, as shown in FIG. 5C, the two-dimensional point data group of the negative brightness change and the two-dimensional point data group of the positive brightness change are separated. When it gets closer and the focal position almost coincides with the in-focus position, as shown in FIG. 5 (D), the two-dimensional point data group of the negative brightness change and the two-dimensional point data group of the positive brightness change are on the actual edge portion. Obtained to be located in. Then, when the focal position moves beyond the in-focus position, as shown in FIG. 5 (E), the positions of the two-dimensional point data group of the negative luminance change and the two-dimensional point data group of the positive luminance change are changed. Obtained to be swapped. In this way, even when the object to be measured is not moving, the point density of the two-dimensional point data becomes high and the focal position becomes high when the focal position almost coincides with the in-focus position (see FIG. 5 (D)). The point density of the two-dimensional point data decreases as the distance from the in-focus position increases.

そこで、本実施形態では、制御部11にてなされる焦点位置調整処理において、調整機構23を駆動制御して受光レンズ22を移動させるように焦点位置を調整させた際に、算出された二次元点データの点密度に基づいて受光レンズ22の調整方向を制御する。具体的には、今回算出された点密度が過去に算出された点密度よりも高い場合には、焦点位置が合焦位置に向かうように調整されているとして調整方向を維持し、今回算出された点密度が過去に算出された点密度よりも低い場合には、焦点位置が合焦位置から離れるように調整されているとして調整方向を逆側に切り替える。 Therefore, in the present embodiment, in the focus position adjustment process performed by the control unit 11, the two-dimensionality calculated when the focus position is adjusted so as to move the light receiving lens 22 by driving and controlling the adjustment mechanism 23. The adjustment direction of the light receiving lens 22 is controlled based on the point density of the point data. Specifically, when the point density calculated this time is higher than the point density calculated in the past, the adjustment direction is maintained assuming that the focal position is adjusted toward the in-focus position, and the calculation is performed this time. When the point density is lower than the point density calculated in the past, the adjustment direction is switched to the opposite side assuming that the focal position is adjusted to be away from the in-focus position.

以下、制御部11にてなされる焦点位置調整処理について、図6に示すフローチャートを参照して詳述する。
制御部11により焦点位置調整処理が開始されると、調整機構23の駆動制御に応じて受光レンズ22を既定の方向(例えば調整方向一側)に移動させて焦点位置が調整された状態で(S101)、ステップS103に示すプロットデータ作成処理がなされる。この処理では、一定期間(例えば、100μs)内に撮像素子21から出力される複数のイベントデータの二次元点データがそれぞれ点として所定の平面にプロットされる。
Hereinafter, the focus position adjustment process performed by the control unit 11 will be described in detail with reference to the flowchart shown in FIG.
When the focus position adjustment process is started by the control unit 11, the light receiving lens 22 is moved in a predetermined direction (for example, one side in the adjustment direction) according to the drive control of the adjustment mechanism 23, and the focus position is adjusted (for example, one side in the adjustment direction). S101), the plot data creation process shown in step S103 is performed. In this process, two-dimensional point data of a plurality of event data output from the image sensor 21 within a certain period (for example, 100 μs) are plotted as points on a predetermined plane.

次に、ステップS105に示す点密度算出処理がなされ、上述のようにプロットされた各点に関してブロックごとに算出された各平均最近隣距離Wの平均値が、点密度として算出される。 Next, the point density calculation process shown in step S105 is performed, and the average value of each average nearest neighbor distance W calculated for each block for each point plotted as described above is calculated as the point density.

続いて、ステップS107の判定処理にて、今回算出された点密度が後述するように記憶部12に記憶された前回算出された点密度よりも高くなっているか否かについて判定される。なお、上記判定処理では、今回算出された点密度と前回算出された点密度とを比較することに限らず、例えば、2つ前に算出された点密度とを比較してもよい。すなわち、上記判定処理では、今回算出された点密度と過去に算出された点密度とを比較する。 Subsequently, in the determination process of step S107, it is determined whether or not the point density calculated this time is higher than the previously calculated point density stored in the storage unit 12 as will be described later. The determination process is not limited to comparing the point density calculated this time with the point density calculated last time, and may be compared with, for example, the point density calculated two times before. That is, in the above determination process, the point density calculated this time and the point density calculated in the past are compared.

ここで、今回算出された点密度が前回算出された点密度よりも高くなっていると(S107でYes)、上述したように焦点位置が合焦位置に向かうように調整されているとして、受光レンズ22の移動方向が維持されるように調整機構23が駆動制御される(S109)。そして、今回算出された点密度が前回算出された点密度として記憶部12に記憶された後(S113)、上記ステップS103からの処理がなされる。 Here, if the point density calculated this time is higher than the point density calculated last time (Yes in S107), it is assumed that the focal position is adjusted toward the in-focus position as described above, and the light is received. The adjustment mechanism 23 is driven and controlled so that the moving direction of the lens 22 is maintained (S109). Then, after the point density calculated this time is stored in the storage unit 12 as the previously calculated point density (S113), the process from step S103 is performed.

一方、今回算出された点密度が前回算出された点密度よりも低くなっていると(S107でNo)、上述したように焦点位置が合焦位置から離れるように調整されているとして、受光レンズ22の移動方向が逆方向(調整方向一側に移動していれば調整方向他側)に切り替えられる(S111)。そして、今回算出された点密度が前回算出された点密度として記憶部12に記憶された後(S113)、上記ステップS103からの処理がなされる。 On the other hand, if the point density calculated this time is lower than the point density calculated last time (No in S107), it is assumed that the focal position is adjusted to be away from the in-focus position as described above, and the light receiving lens The moving direction of 22 can be switched to the opposite direction (if it is moved to one side of the adjusting direction, the other side of the adjusting direction) (S111). Then, after the point density calculated this time is stored in the storage unit 12 as the previously calculated point density (S113), the process from step S103 is performed.

このように、点密度がより高くなるように焦点位置が調整されることで、焦点位置が合焦位置にほぼ一致する状態となり、受光レンズ22の位置が安定する。より正確には、焦点位置が合焦位置にほぼ一致する状態で、受光レンズ22が微小に往復移動する。 By adjusting the focal position so that the point density becomes higher in this way, the focal position is in a state of substantially matching the focusing position, and the position of the light receiving lens 22 is stabilized. More precisely, the light receiving lens 22 moves slightly back and forth in a state where the focal position substantially coincides with the in-focus position.

以上説明したように、本実施形態に係る撮像装置10では、制御部11にてなされる焦点位置調整処理において、調整機構23により受光レンズ22の焦点位置が調整されている状態で、一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度が算出される。そして、点密度が算出されると、当該点密度と前回算出された点密度との比較結果に基づいて制御部11により調整機構23が駆動制御されることで、焦点位置が合焦位置に向けて調整される。 As described above, in the image sensor 10 according to the present embodiment, in the focal position adjusting process performed by the control unit 11, the focal position of the light receiving lens 22 is adjusted by the adjusting mechanism 23 within a certain period of time. A point density corresponding to the density of points when two-dimensional point data of a plurality of event data output from the image sensor 21 is plotted on a predetermined plane as points is calculated. Then, when the point density is calculated, the adjustment mechanism 23 is driven and controlled by the control unit 11 based on the comparison result between the point density and the previously calculated point density, so that the focal position is directed to the in-focus position. Is adjusted.

すなわち、今回算出された点密度が前回算出された点密度よりも高くなる比較結果が得られた場合には、焦点位置が合焦位置に向かうように調整されているとして調整方向が維持されるように調整機構23を駆動制御する。また、今回算出された点密度が前回算出された点密度よりも低くなる比較結果が得られた場合には、焦点位置が合焦位置から離れるように調整されているとして調整方向を逆側に切り替えるように調整機構23を駆動制御する。このように、イベントデータを利用して焦点位置を調整できるので、輝度情報を利用することなくオートフォーカス機能を実現することができる。 That is, when a comparison result is obtained in which the point density calculated this time is higher than the point density calculated last time, the adjustment direction is maintained assuming that the focal position is adjusted toward the in-focus position. The adjustment mechanism 23 is driven and controlled as described above. If a comparison result is obtained in which the point density calculated this time is lower than the point density calculated last time, it is assumed that the focal position is adjusted to be away from the in-focus position, and the adjustment direction is reversed. The adjustment mechanism 23 is driven and controlled so as to switch. In this way, since the focus position can be adjusted by using the event data, the autofocus function can be realized without using the luminance information.

特に、イベントデータを利用して焦点位置を調整するため、焦点位置調整用の光学系等を別途設ける必要が無いので、オートフォーカス機能を実現可能な撮像装置10の小型化を図ることができる。さらに、従来カメラのコントラストAFと比較して、扱う画素データ量が小さくて済むため、データ転送時間が短縮できるので、処理の高速化を図ることができる。また、オートフォーカスのために輝度変換もしくは輝度情報の取得を行う必要がないため、オートフォーカスに必要な調整機構23の駆動制御をより高速に実施することができる。そして、従来カメラのコントラストAFが苦手としていた動く計測対象物へのオートフォーカスについての優位性を確保することができる。イベントカメラの場合、動きのある計測対象物のエッジ周辺情報のみが得られるため処理するデータ量が少なく、μ秒単位でイベントデータが出力される高フレームレート性から、計測対象物の動きを検知してからオートフォーカスまでの時間を短縮できるからである。 In particular, since the focus position is adjusted using the event data, it is not necessary to separately provide an optical system or the like for adjusting the focus position, so that the image pickup device 10 capable of realizing the autofocus function can be miniaturized. Further, since the amount of pixel data to be handled is smaller than that of the contrast AF of the conventional camera, the data transfer time can be shortened, so that the processing speed can be increased. Further, since it is not necessary to perform luminance conversion or luminance information acquisition for autofocus, the drive control of the adjustment mechanism 23 required for autofocus can be performed at a higher speed. Then, it is possible to secure the superiority of autofocus on a moving measurement object, which the contrast AF of the conventional camera is not good at. In the case of an event camera, the amount of data to be processed is small because only the edge peripheral information of a moving measurement object can be obtained, and the movement of the measurement object is detected due to the high frame rate that the event data is output in microsecond units. This is because the time from that to autofocus can be shortened.

また、本実施形態では、上記所定の平面が既定数のブロックに区分けされて、イベントデータの個数が所定個数以上となるブロックについて、ブロックごとに点密度に相当する値を算出して平均することで点密度が算出される。このようにイベントデータの個数が所定個数以上となるブロックについて点密度に相当する値を算出することで、全てのブロックについて点密度に相当する値を算出する場合と比較して、処理負荷を軽減できるだけでなく、ノイズのみが含まれるようなブロックを算出対象外とすることができる。これにより、点密度が適正に算出されて、調整精度をより向上させることができる。 Further, in the present embodiment, for the blocks in which the predetermined plane is divided into a predetermined number of blocks and the number of event data is equal to or more than the predetermined number, a value corresponding to the point density is calculated and averaged for each block. The point density is calculated with. By calculating the value corresponding to the point density for the blocks in which the number of event data is equal to or more than the predetermined number in this way, the processing load is reduced as compared with the case of calculating the value corresponding to the point density for all the blocks. Not only that, blocks that contain only noise can be excluded from the calculation. As a result, the point density can be calculated appropriately, and the adjustment accuracy can be further improved.

なお、本発明は上記実施形態に限定されるものではなく、例えば、以下のように具体化してもよい。
(1)制御部11にてなされる焦点位置調整処理では、一定期間内に撮像素子21から出力される複数のイベントデータの二次元点データを、説明の便宜上、所定の平面にプロットしてから上記点密度を算出しているが、これに限らず、プロットすることなく二次元点データから上記点密度を直接算出してもよい。また、一定期間内に撮像素子21から出力されるイベントデータの個数がカウント部として機能する制御部11によりカウントされ、このカウントされる個数が所定数以上となる場合に点密度が算出されてもよい。これにより、イベントデータの個数が上記所定数未満となる場合、すなわち、計測対象物が存在していないがノイズが検出されるような場合には点密度が算出されないので、不要に調整機構23が駆動されることもなく、不要な焦点位置の調整を抑制することができる。
The present invention is not limited to the above embodiment, and may be embodied as follows, for example.
(1) In the focal position adjustment process performed by the control unit 11, two-dimensional point data of a plurality of event data output from the image sensor 21 within a certain period is plotted on a predetermined plane for convenience of explanation. The above point density is calculated, but the present invention is not limited to this, and the above point density may be calculated directly from the two-dimensional point data without plotting. Further, even if the number of event data output from the image sensor 21 within a certain period is counted by the control unit 11 functioning as a counting unit, and the point density is calculated when the counted number becomes a predetermined number or more. Good. As a result, when the number of event data is less than the above-mentioned predetermined number, that is, when noise is detected even though the measurement target does not exist, the point density is not calculated, so that the adjustment mechanism 23 is unnecessary. It is not driven, and unnecessary adjustment of the focal position can be suppressed.

(2)制御部11にてなされる焦点位置調整処理では、最近隣距離法を用いて上記点密度を算出しているが、これに限らず、他の算出方法、例えば、K関数法やカーネル法を用いて上記点密度を算出してもよい。また、制御部11にてなされる焦点位置調整処理では、点密度に関してブロックごとに算出された値を平均して上記点密度として算出しているが、これに限らず、一定期間内に撮像素子21から出力される全てのイベントデータの二次元点データから最近隣距離法等を用いて上記点密度を算出してもよい。 (2) In the focal position adjustment process performed by the control unit 11, the above point density is calculated using the nearest neighbor distance method, but the point density is not limited to this, and other calculation methods such as the K function method and the kernel are used. The above point density may be calculated using the method. Further, in the focal position adjustment process performed by the control unit 11, the values calculated for each block with respect to the point density are averaged and calculated as the above point density, but the present invention is not limited to this, and the image sensor is not limited to this. The point density may be calculated from the two-dimensional point data of all the event data output from 21 by using the nearest neighbor distance method or the like.

(3)制御部11にてなされる焦点位置調整処理では、ステップS107の判定処理にて、今回算出された点密度と前回算出された点密度との差が所定値以上である場合にYesと判定されることで、上記ステップS109以降の処理がなされてもよい。すなわち、点密度算出処理により点密度が算出されると、当該点密度と過去に算出された点密度との差が上記所定値以上である場合に限って、調整機構23が駆動制御される。これにより、今回算出された点密度と過去に算出された点密度との差が上記所定値未満となる場合、すなわち、例えば、ほぼピントが合っているような場合には調整機構23が駆動されないので、不要な焦点位置の調整を抑制することができる。 (3) In the focal position adjustment process performed by the control unit 11, when the difference between the point density calculated this time and the point density calculated last time in the determination process of step S107 is equal to or greater than a predetermined value, Yes. If it is determined, the processes after step S109 may be performed. That is, when the point density is calculated by the point density calculation process, the adjustment mechanism 23 is driven and controlled only when the difference between the point density and the point density calculated in the past is equal to or greater than the predetermined value. As a result, the adjustment mechanism 23 is not driven when the difference between the point density calculated this time and the point density calculated in the past is less than the above-mentioned predetermined value, that is, for example, when the focus is almost in focus. Therefore, unnecessary adjustment of the focal position can be suppressed.

(4)上述した焦点位置調整処理における点密度算出処理では、プラス輝度変化のイベントデータの二次元点データ及びマイナス輝度変化のイベントデータの二次元点データのいずれか一方をそれぞれ点として所定の平面にプロットしたときの点の密度に相当するように点密度を算出してもよい。例えば、プラス輝度変化の二次元点データの出力個数がマイナス輝度変化の二次元点データの出力個数よりも多い場合には、マイナス輝度変化の二次元点データを考慮せずに、プラス輝度変化の二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当するように点密度を算出する。ピントが合っている状態ではプラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとがそれぞれが別々に群発しやすくなるため、プラス輝度変化の二次元点データとマイナス輝度変化の二次元点データとを区別してどちらか一方に関して点密度を算出することで、調整精度をより向上させることができる。 (4) In the point density calculation process in the focal position adjustment process described above, a predetermined plane is set with either one of the two-dimensional point data of the event data of the positive brightness change and the two-dimensional point data of the event data of the negative brightness change as points. The point density may be calculated so as to correspond to the density of the points when plotted in. For example, when the number of output of the two-dimensional point data of the positive brightness change is larger than the number of outputs of the two-dimensional point data of the negative brightness change, the positive brightness change is not considered without considering the two-dimensional point data of the negative brightness change. The point density is calculated so as to correspond to the density of the points when the two-dimensional point data are plotted on a predetermined plane as points. In the in-focus state, the two-dimensional point data of the positive brightness change and the two-dimensional point data of the negative brightness change are likely to be clustered separately, so the two-dimensional point data of the positive brightness change and the negative brightness change are two. By distinguishing from the dimension point data and calculating the point density for either one, the adjustment accuracy can be further improved.

10…撮像装置
11…制御部(点密度算出部)
21…撮像素子
22…受光レンズ
23…調整機構
10 ... Imaging device 11 ... Control unit (point density calculation unit)
21 ... Image sensor 22 ... Light receiving lens 23 ... Adjustment mechanism

Claims (5)

受光レンズを介して受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子と、
前記受光レンズの焦点位置を調整するための調整機構と、
前記調整機構を駆動制御する制御部と、
前記調整機構により前記受光レンズの焦点位置が調整されている状態で、一定期間内に前記撮像素子から出力される複数の前記イベントデータの前記二次元点データをそれぞれ点として所定の平面にプロットしたときの点の密度に相当する点密度を算出する点密度算出部と、
を備え、
前記制御部は、前記点密度算出部により前記点密度が算出されると、当該点密度と過去に算出された前記点密度との比較結果に基づいて前記調整機構を駆動制御することで、前記焦点位置を合焦位置に向けて調整することを特徴とする撮像装置。
An image sensor that outputs event data including two-dimensional point data that specifies the position of the pixel corresponding to the pixel whose brightness has changed when the light is received through the light receiving lens.
An adjustment mechanism for adjusting the focal position of the light receiving lens and
A control unit that drives and controls the adjustment mechanism,
With the focal position of the light receiving lens adjusted by the adjustment mechanism, the two-dimensional point data of the plurality of event data output from the image sensor within a certain period of time are plotted on a predetermined plane as points. A point density calculation unit that calculates the point density corresponding to the density of the points at the time,
With
When the point density is calculated by the point density calculation unit, the control unit drives and controls the adjustment mechanism based on the comparison result between the point density and the point density calculated in the past. An imaging device characterized in that the focal position is adjusted toward the in-focus position.
前記制御部は、前記点密度算出部により前記点密度が算出されると、当該点密度と過去に算出された前記点密度との差が所定値以上である場合に限って前記調整機構を駆動制御することを特徴とする請求項1に記載の撮像装置。 When the point density is calculated by the point density calculation unit, the control unit drives the adjustment mechanism only when the difference between the point density and the point density calculated in the past is equal to or more than a predetermined value. The imaging device according to claim 1, wherein the imaging device is controlled. 前記一定期間内に前記撮像素子から出力される前記イベントデータの個数をカウントするカウント部を備え、
前記点密度算出部は、前記カウント部によりカウントされる個数が所定数以上となる場合に前記点密度を算出することを特徴とする請求項1又は2に記載の撮像装置。
A counting unit for counting the number of event data output from the image sensor within a certain period of time is provided.
The imaging device according to claim 1 or 2, wherein the point density calculation unit calculates the point density when the number counted by the counting unit is equal to or greater than a predetermined number.
前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
前記点密度算出部は、前記プラス輝度変化のイベントデータの前記二次元点データ及び前記マイナス輝度変化のイベントデータの前記二次元点データのいずれか一方をそれぞれ点として前記所定の平面にプロットしたときの点の密度に相当するように前記点密度を算出することを特徴とする請求項1〜3のいずれか一項に記載の撮像装置。
The image sensor is configured to output event data of a positive luminance change in the case of a brightening luminance change and output event data of a negative luminance change in the case of a darkening luminance change.
When the point density calculation unit plots one of the two-dimensional point data of the positive brightness change event data and the two-dimensional point data of the negative brightness change event data as points on the predetermined plane. The imaging apparatus according to any one of claims 1 to 3, wherein the point density is calculated so as to correspond to the density of the points.
前記点密度算出部は、前記所定の平面を既定数のブロックに区分けして、前記イベントデータの個数が所定個数以上となるブロックについて、ブロックごとに前記点密度に相当する値を算出して平均することで前記点密度を算出することを特徴とする請求項1〜4のいずれか一項に記載の撮像装置。 The point density calculation unit divides the predetermined plane into a predetermined number of blocks, calculates a value corresponding to the point density for each block for blocks in which the number of event data is equal to or greater than the predetermined number, and averages them. The imaging apparatus according to any one of claims 1 to 4, wherein the point density is calculated by the operation.
JP2019190365A 2019-10-17 2019-10-17 Imaging device Active JP7327075B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019190365A JP7327075B2 (en) 2019-10-17 2019-10-17 Imaging device
CN202011110893.7A CN112689082B (en) 2019-10-17 2020-10-16 Imaging device with event camera
CN202210146060.9A CN114567725B (en) 2019-10-17 2020-10-16 Image pickup apparatus having event camera
EP20202301.6A EP3809692B1 (en) 2019-10-17 2020-10-16 Imaging device provided with event-based camera
US17/073,998 US11412127B2 (en) 2019-10-17 2020-10-19 Imaging device provided with event-based camera
US17/701,832 US11812145B2 (en) 2019-10-17 2022-03-23 Imaging device provided with event-based camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019190365A JP7327075B2 (en) 2019-10-17 2019-10-17 Imaging device

Publications (2)

Publication Number Publication Date
JP2021067704A true JP2021067704A (en) 2021-04-30
JP7327075B2 JP7327075B2 (en) 2023-08-16

Family

ID=75637100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019190365A Active JP7327075B2 (en) 2019-10-17 2019-10-17 Imaging device

Country Status (1)

Country Link
JP (1) JP7327075B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189793A1 (en) * 2022-03-29 2023-10-05 ソニーグループ株式会社 Medical observation device and information processing device
WO2024089968A1 (en) * 2022-10-25 2024-05-02 キヤノン株式会社 Image processing device, imaging device, image processing method, and program
WO2024134803A1 (en) * 2022-12-21 2024-06-27 オプテックス株式会社 Door opening/closing system and sensor for door opening/closing system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513992A (en) * 2015-03-10 2018-05-31 クゥアルコム・インコーポレイテッドQualcomm Incorporated System and method for continuous autofocus
CN109151315A (en) * 2018-09-19 2019-01-04 信利光电股份有限公司 A kind of focus adjustment method and device of DVS camera module
US20190014258A1 (en) * 2017-07-05 2019-01-10 Intel Corporation Micro-saccadic actuation for an event camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513992A (en) * 2015-03-10 2018-05-31 クゥアルコム・インコーポレイテッドQualcomm Incorporated System and method for continuous autofocus
US20190014258A1 (en) * 2017-07-05 2019-01-10 Intel Corporation Micro-saccadic actuation for an event camera
CN109151315A (en) * 2018-09-19 2019-01-04 信利光电股份有限公司 A kind of focus adjustment method and device of DVS camera module

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUILLERMO GALLEGO ET AL.: ""Focus Is All You Need:Loss Functions for Event-Based Vision"", 2019 IEEE/CVFCONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), JPN6023016792, June 2019 (2019-06-01), pages 12272 - 12281, XP033687566, ISSN: 0005044516, DOI: 10.1109/CVPR.2019.01256 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189793A1 (en) * 2022-03-29 2023-10-05 ソニーグループ株式会社 Medical observation device and information processing device
WO2024089968A1 (en) * 2022-10-25 2024-05-02 キヤノン株式会社 Image processing device, imaging device, image processing method, and program
WO2024134803A1 (en) * 2022-12-21 2024-06-27 オプテックス株式会社 Door opening/closing system and sensor for door opening/closing system

Also Published As

Publication number Publication date
JP7327075B2 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
JP7327075B2 (en) Imaging device
US8654228B2 (en) Imaging apparatus, camera body and interchangeable lens
US9288378B2 (en) Autofocus apparatus
CN114567725B (en) Image pickup apparatus having event camera
CN112637479B (en) Control apparatus, image pickup apparatus, control method, and storage medium
US11457148B2 (en) Image processing apparatus, imaging apparatus, and control method
JP2012053315A (en) Automatic focus adjustment device and imaging apparatus
US9900493B2 (en) Focus detecting apparatus, and method of prediction for the same
US11095798B2 (en) Image capturing system, image capturing apparatus, and control method of the same
JP6486098B2 (en) Imaging apparatus and control method thereof
JP2011107501A (en) Focusing device and imaging apparatus
JP2021047296A (en) Lens device, imaging apparatus, method for controlling lens device, and program
US11146732B2 (en) Control apparatus, lens apparatus, image pickup apparatus, and image pickup system
JP2016142924A (en) Imaging apparatus, method of controlling the same, program, and storage medium
JP5871196B2 (en) Focus adjustment device and imaging device
JP2017146559A (en) Imaging apparatus, control method therefor, program and storage medium
JP4900134B2 (en) Focus adjustment device, camera
JP2010224165A (en) Imaging apparatus
JP2005227447A (en) Autofocus camera
US11829000B2 (en) Optical apparatus, its control method, and storage medium
JP2021071656A (en) Imaging apparatus and method for controlling the same
JP2021067911A (en) Imaging device
JP2015060047A (en) Imaging device and focus detection method
JP2016057325A (en) Imaging device, automatic focus adjustment method and program
JP2011002719A (en) Lens device, imaging apparatus and autofocus method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R150 Certificate of patent or registration of utility model

Ref document number: 7327075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350