JP2022076837A - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2022076837A JP2022076837A JP2020187449A JP2020187449A JP2022076837A JP 2022076837 A JP2022076837 A JP 2022076837A JP 2020187449 A JP2020187449 A JP 2020187449A JP 2020187449 A JP2020187449 A JP 2020187449A JP 2022076837 A JP2022076837 A JP 2022076837A
- Authority
- JP
- Japan
- Prior art keywords
- change
- information processing
- measurement result
- luminance
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 47
- 238000003672 processing method Methods 0.000 title claims abstract 3
- 230000008859 change Effects 0.000 claims abstract description 141
- 238000005259 measurement Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Studio Devices (AREA)
Abstract
Description
<情報処理装置:図1>
情報処理装置のハードウェア構成の一例を示したブロック図を図1に示す。図1において、情報処理装置100は、結像光学系1010、光電変換素子1011からなるイベントベースセンサ101、CPU102、メモリ103から成る。イベントベースセンサ101は、受光した入射光に応じたアドレスイベント信号を出力する。結像光学系1010は、具体的には受光レンズであって、入射光を受光し、光電変換素子1011に結像する。光電変換素子1011は、具体的にはSPADセンサやCMOSセンサであって、受光した入射光に応じたアドレスイベント信号を出力する。CPU102は、メモリ103に格納されたOSやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。CPU102が実行する処理には、本実施形態にかかる情報処理が含まれる。また、CPU102は、結像光学系1010のフォーカスの駆動や絞りの駆動、光電変換素子1011の駆動等の制御を行う。メモリ103は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第1の閾値以上になるまでの所要時間(クロック数)を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をT0、最新の所要時間をTとしたとき、差分T-T0が第2の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分T0-Tが第2の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、TとT0の差分が第2の閾値未満であれば輝度の変化を検出しない。なお、第2の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。
以上では、光電変換部にSPADを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する光電変換素子であれば、図2の構成でなくてもよい。例えば、特許文献1に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。
計測部201では、イベントベースセンサによって出力されたアドレスイベント信号から、ある時刻で輝度変化が発生した画素数を計測する。具体的には、特定の時間範囲で、輝度がプラス方向に変化した延べ画素数と、輝度がマイナス方向に変化した延べ画素数を、各々独立に計測した計測結果を取得する。
表示制御部202は、アドレスイベント信号に基づいて生成された横軸に時刻、縦軸に輝度変化が発生した画素数を示したグラフを表示部104に表示させる。この時、本実施形態にかかる情報処理装置100は、プラス方向の輝度の変化の発生数y1と、マイナス方向の輝度の変化の発生数y2を、別々に表示する。これにより、異常が発生した時刻をユーザーが把握することが容易になる。
プラス方向の輝度の変化の発生数y1とマイナス方向の輝度の変化の発生数y2として、画面全体の画素の輝度変化をすべて計数して表示してもよいし、一部の画素の輝度変化のみを表示してもよい。侵入検知や盗難検知に使用する場合、侵入経路など、特定の領域の輝度変化のみに着目して、異常現象の発生の有無を特定したい場合がある。このようなユースケースにおいては、ユーザーがあらかじめ指定した領域内の輝度変化のみを計数し、表示部に表示するほうが好ましい。これにより、注目領域で発生した異常のみを、効率よく把握することができる。注目領域の指定を行う場合、情報処理装置100はユーザーが注目領域を指定するためのユーザーインターフェースを備えていればよい。
また、フォトンショットノイズによる輝度変化と、被写体の移動による輝度変化を区別するために、ある程度まとまった画素の輝度変化のみを検出し、孤立した画素の輝度変化を検出しないようにすると好ましい。すなわち、計測部は、アドレスイベント信号に基づいて、所定の大きさより大きい領域において輝度の変化が発生したことを計測する。フォトンショットノイズによる輝度変化はランダムに発生するため、孤立した画素の輝度変化を検出しないようにすることで、被写体の移動によって発生した輝度変化と、ノイズによって発生した輝度変化を区別できる。
イベントベースセンサを用いた情報処理装置を、侵入検知や盗難検知などに使用するユースケースが考えられる。イベントベースセンサを用いた場合、侵入や盗難などが発生していないときには、大部分の画素では輝度の変化が発生せず、侵入や盗難などの異常が発生した場合にのみ、輝度の変化が発生することから、低消費電力の侵入、盗難検知の監視システムとして使用することができる。このようなユースケースにおいては、輝度の変化が発生している時が、動体が検出されたことを意味するため、異常発生時であると推測できる。
実施形態2に示す情報処理装置100は、実施形態1に対し、表示部に表示される輝度変化の情報が異なる。これにより、イベントが発生した時刻を更に把握しやすくなる。
図6は、表示部104における表示の一例である。図6では、プラス方向の輝度の変化の発生数y1の絶対値が第1の閾値以上であって、マイナス方向の輝度の変化の発生数y2の絶対値が第1の閾値以上であるイベントが生じている時刻の輝度の変化の発生数を表示する。これにより、ランダムノイズなどによって発生する輝度変化を除外し、被写体が大きく動いた時刻のみを把握することができるため、イベントが発生した時刻が更に把握しやすくなるため、好ましい。
図7は、表示部104における表示の一例である。図7では、プラス方向の輝度の変化の発生数y1と、マイナス方向の輝度の変化の発生数y2の差分Δyを表示した一例である。プラス方向の輝度の変化の発生数y1と、マイナス方向の輝度の変化の発生数y2に加えて、更にプラス方向の輝度の変化の発生数y1とマイナス方向の輝度の変化の発生数y2の差分を表示している。これにより、被写体の移動によって発生した輝度変化と、環境光の照度変化(屋外であれば昼夜の移り変わり、屋内であれば照明のONとOFFなど)によって生じた撮像範囲における輝度変化を、わかりやすく区別することができる。その結果、ユーザーが被写体の移動が発生した時刻を把握しやすくなるため、好ましい。以下で、説明を行う。
侵入検知、盗難検知などのユースケースでは、環境光の照度変化によって発生した輝度変化は検知せず、被写体の移動によって発生した出力を特定のイベントとして検知する場合がある。そこで、図9のように、プラス方向の輝度の変化の発生数y1とマイナス方向の輝度の変化の発生数y2の差分が第2の閾値未満であって、プラス方向の輝度の変化の発生数y1、マイナス方向の輝度の変化の発生数y2の絶対値が第1の閾値以上の輝度変化のみを表示する。これにより、環境光の照度変化によって発生した輝度変化は検知せず、被写体の移動によって発生した輝度変化を異常現象として検知することができるため、好ましい。
なお、図6や図9のように、表示する輝度変化を閾値で制限する場合、ユーザーが注目するのは、輝度変化が表示されている時間帯のみである。そこで、輝度変化が生じている時間帯の時間スケールよりも、輝度変化が生じていない時間帯の時間スケールを圧縮して表示するほうが好ましい。つまり、輝度変化の発生数が所定の値より小さい場合は、時間軸のスケールの間隔を大きくして表示する。また、輝度変化の発生数が所定の値より小さい時間帯は省略して表示してもよい。これにより、輝度変化が生じており、異常現象が発生している可能性がある時刻を、ユーザーが把握することが容易になる。
また、輝度の変化の割合に注目して、表示方法を変更してもよい。図4より分かるように、画面内を一定の速度で通過する物体があった場合、プラス方向の輝度の変化、マイナス方向の輝度の変化が、ともに時間的に一定の発生数だけ発生する。一方、物体の速度が一定ではない場合、プラス方向の輝度の変化、マイナス方向の輝度の変化の発生数が、時間的に変化する。従って、プラス方向の輝度の変化の割合、マイナス方向の輝度の変化の割合も同時に表示することで、どのような異常があったかを更に特定しやすくすることができる。
以上に説明したアドレスイベント信号の表示を行うために情報処理装置100が実行する処理を説明する。図10は、情報処理装置100が実行する処理を説明するフローチャートである。図10のフローチャートに示した処理は、コンピュータであるCPU102によりメモリ103に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程(ステップ)について先頭にSを付けて表記することで、工程(ステップ)の表記を省略する。ただし、情報処理装置100はこのフローチャートで説明するすべてのステップを必ずしも行わなくても良い。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。
101 イベントベースセンサ
201 計測部
202 表示制御部
203 判定部
104 表示部
105 操作部
Claims (16)
- 輝度の変化が発生した画素のアドレスと時刻とを示すアドレスイベント信号に基づいて、輝度の変化が発生した数である計測結果を取得する取得手段と、
時刻と前記計測結果の関係を表示させる制御手段と、を有し、
前記制御手段は、輝度の変化の方向に応じた前記計測結果を表示させることを特徴とする情報処理装置。 - 前記計測結果は、プラス方向の輝度の変化が起きた第1の計測値と、マイナス方向の輝度の変化が起きた第2の計測値とを含み、
前記制御手段は、前記第1の計測値と、前記第2の計測値とをそれぞれ表示させることを特徴とする請求項1に記載の情報処理装置。 - 前記制御手段は、横軸に時刻、縦軸に前記計測結果を示したグラフであって、
前記第1の計測値を縦軸のプラス方向に、前記第2の計測値を縦軸のマイナス方向に表示させることを特徴とする請求項2に記載の情報処理装置。 - 前記制御手段は、前記第1の計測値と前記第2の計測値との差分を表示することを特徴とする請求項2または3に記載の情報処理装置。
- 前記制御手段は、前記第1の計測値または前記第2の計測値が第1の閾値以上であるときに前記計測結果を表示することを特徴とする請求項2乃至4のいずれか1項に記載の情報処理装置。
- 前記制御手段は、前記第1の計測値と前記第2の計測値との差分が、第2の閾値未満であるときに前記計測結果を表示することを特徴とする請求項2乃至5のいずれか1項に記載の情報処理装置。
- ユーザーによって指定された注目領域を受け付ける受け付け手段を更に有し、
前記取得手段は、前記アドレスイベント信号のうち前記注目領域に含まれる画素に対応する前記アドレスイベント信号から前記計測結果を取得することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。 - 前記計測結果は、前記アドレスイベント信号に基づいて画素毎に前記輝度の変化を計測した数であることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
- 前記計測結果は、前記アドレスイベント信号に基づいて所定の大きさより大きい領域において輝度の変化が発生したことを計測した数であることを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
- 前記制御手段は、前記計測結果に応じて前記時刻のスケールを変更して表示することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
- 前記制御手段は、前記計測結果が所定の値より小さい場合は、前記時刻のスケールの間隔を大きくして表示することを特徴とする請求項10に記載の情報処理装置。
- 前記制御手段は、前記計測結果が第3の閾値未満であるときに前記計測結果を計測した時刻を省略して表示する、することを特徴とする請求項10に記載の情報処理装置。
- 前記取得手段は、予め設定された時間範囲において、輝度の変化が発生した数を計測した前記計測結果を取得することを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
- 前記取得手段は、入射した光子の数に応じて信号を出力するイベントベースセンサに基づいて前記アドレスイベント信号を取得することを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。
- コンピュータを、請求項1乃至14のいずれか1項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
- 輝度の変化が発生した画素のアドレスと時刻とを示すアドレスイベント信号に基づいて、輝度の変化が発生した数である計測結果を取得する取得工程と、
時刻と前記計測結果の関係を表示させる制御工程と、を有し、
前記制御工程は、輝度の変化の方向に応じた前記計測結果を表示させることを特徴とする情報処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020187449A JP2022076837A (ja) | 2020-11-10 | 2020-11-10 | 情報処理装置、情報処理方法およびプログラム |
US17/506,301 US11832002B2 (en) | 2020-11-10 | 2021-10-20 | Information processing apparatus, information processing method, and storage medium for displaying a measurement result in accordance with a direction of luminance changes |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020187449A JP2022076837A (ja) | 2020-11-10 | 2020-11-10 | 情報処理装置、情報処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022076837A true JP2022076837A (ja) | 2022-05-20 |
Family
ID=81453759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020187449A Pending JP2022076837A (ja) | 2020-11-10 | 2020-11-10 | 情報処理装置、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11832002B2 (ja) |
JP (1) | JP2022076837A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024150773A1 (ja) * | 2023-01-11 | 2024-07-18 | テルモ株式会社 | 情報処理装置及びその制御方法、プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022188990A (ja) * | 2021-06-10 | 2022-12-22 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
TWI822527B (zh) * | 2022-05-30 | 2023-11-11 | 神盾股份有限公司 | 感測像素電路、影像感測器和電子裝置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019134271A (ja) | 2018-01-31 | 2019-08-08 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
JP2022076241A (ja) * | 2020-11-09 | 2022-05-19 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2022089017A (ja) * | 2020-12-03 | 2022-06-15 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2020
- 2020-11-10 JP JP2020187449A patent/JP2022076837A/ja active Pending
-
2021
- 2021-10-20 US US17/506,301 patent/US11832002B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024150773A1 (ja) * | 2023-01-11 | 2024-07-18 | テルモ株式会社 | 情報処理装置及びその制御方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20220150424A1 (en) | 2022-05-12 |
US11832002B2 (en) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10070053B2 (en) | Method and camera for determining an image adjustment parameter | |
JP2022076837A (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR20210103440A (ko) | 움직임 영역 검출 장치 및 방법 | |
KR20220143967A (ko) | 이벤트 카메라를 이용한 정적 이미지들의 생성 | |
US20230412937A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2011049980A (ja) | 画像処理プログラムおよび画像処理装置 | |
CN108989638B (zh) | 成像装置及其控制方法、电子装置和计算机可读存储介质 | |
US10594938B2 (en) | Image processing apparatus, imaging apparatus, and method for controlling image processing apparatus | |
JP5610106B1 (ja) | 撮像装置の異物情報検出装置および異物情報検出方法 | |
US20220400198A1 (en) | Imaging apparatus, control method for imaging apparatus, and storage medium | |
US11838627B2 (en) | Imaging apparatus, control method for imaging apparatus, and storage medium | |
TW201340687A (zh) | 相機檢測方法與相機 | |
JP2008232837A (ja) | 欠陥強調・欠陥検出の方法および装置、プログラム | |
JP7302596B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US11735140B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2015233202A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2022188982A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2022076241A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2014150409A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US20220398770A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP4329677B2 (ja) | 動き検出装置 | |
US11838645B2 (en) | Image capturing control apparatus, image capturing control method, and storage medium | |
US20230067332A1 (en) | Image capturing apparatus, control method of image capturing apparatus, and storage medium | |
JP2019022028A (ja) | 撮像装置、その制御方法およびプログラム | |
WO2023093986A1 (en) | A monolithic image sensor, a camera module, an electronic device and a method for operating a camera module |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20201209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231108 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240903 |