JP2023130522A - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP2023130522A JP2023130522A JP2023119527A JP2023119527A JP2023130522A JP 2023130522 A JP2023130522 A JP 2023130522A JP 2023119527 A JP2023119527 A JP 2023119527A JP 2023119527 A JP2023119527 A JP 2023119527A JP 2023130522 A JP2023130522 A JP 2023130522A
- Authority
- JP
- Japan
- Prior art keywords
- data
- pixel
- change
- state
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 59
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000003384 imaging method Methods 0.000 claims abstract description 265
- 230000008859 change Effects 0.000 claims abstract description 94
- 230000006870 function Effects 0.000 claims abstract description 28
- 238000004088 simulation Methods 0.000 claims description 78
- 238000004458 analytical method Methods 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 abstract description 63
- 238000013500 data storage Methods 0.000 abstract description 57
- 238000012545 processing Methods 0.000 description 101
- 230000008569 process Effects 0.000 description 55
- 230000007423 decrease Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 18
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000014759 maintenance of location Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- RKWPMPQERYDCTB-UHFFFAOYSA-N ethyl n-[4-[benzyl(2-phenylethyl)amino]-2-(4-nitrophenyl)-1h-imidazo[4,5-c]pyridin-6-yl]carbamate Chemical compound N=1C(NC(=O)OCC)=CC=2NC(C=3C=CC(=CC=3)[N+]([O-])=O)=NC=2C=1N(CC=1C=CC=CC=1)CCC1=CC=CC=C1 RKWPMPQERYDCTB-UHFFFAOYSA-N 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.
近年、自動車の自動運転やAI(Artificial Inteligence)等の幅広い分野において、デジタル画像が活用されるようになっている。
デジタル画像としては、一般に、実世界をカラー画像として撮像した静止画像または動画像等が用いられている。
なお、特許文献1には、デジタル画像を用いて車両等の物体を認識する技術が開示されている。
In recent years, digital images have come to be utilized in a wide range of fields such as automatic driving of automobiles and AI (Artificial Intelligence).
As a digital image, a still image or a moving image, which is a color image of the real world, is generally used.
Note that
しかしながら、デジタル画像を用いてアプリケーションを構築する場合、従来用いられているデジタル画像(実世界をカラー画像として撮像した静止画像または動画像等)では、目的とする機能に適さない場合がある。
例えば、自動車の自動運転等において障害物を検出しようとする場合、カメラに近い物体ほど動きが速くなることから、撮像されたデジタル画像にはブレが生じる可能性が高くなる。そのため、カメラに近く、注目度が高い物体ほど、正確に検出することが困難になり、障害物の検出を適切に行えない事態が生じ得る。
また、従来用いられているデジタル画像は、撮像センサから出力されたデータを基に1フレームの画像を生成する処理を経て出力されるため、高速な処理が要求されるアプリケーション等において、充分な処理速度を確保することが困難な場合がある。
即ち、従来のデジタル画像を用いた情報処理技術では、適切な機能を実現できない場合があった。
However, when building an application using digital images, conventionally used digital images (such as still images or moving images captured as color images of the real world) may not be suitable for the intended function.
For example, when trying to detect an obstacle in automatic driving of a car, etc., the closer the object is to the camera, the faster the object moves, which increases the possibility that blurring will occur in the captured digital image. Therefore, the closer an object is to the camera and the more attention it receives, the more difficult it is to accurately detect the object, which may lead to a situation where the obstacle cannot be detected properly.
In addition, conventionally used digital images are output after processing to generate one frame of image based on the data output from the image sensor, so in applications that require high-speed processing, sufficient processing is required. It may be difficult to maintain speed.
That is, with conventional information processing technology using digital images, there are cases where appropriate functions cannot be realized.
本発明の課題は、デジタル画像を用いた情報処理技術において、より適切な機能を実現可能とすることである。 An object of the present invention is to enable more appropriate functions to be realized in information processing technology using digital images.
上記課題を解決するため、本発明の一実施形態に係る撮像装置は、
被写体を撮像する撮像センサに備えられた撮像素子の出力の変化に基づいて、前記撮像素子に対応する画素の状態の変化を表すデータを送信する撮像手段と、
前記撮像手段によって送信された前記画素の状態の変化を表すデータを、画素毎に非同期的に受信するデータ受信手段と、
前記画素の状態の変化を表すデータと、当該画素の状態の変化を表すデータに関する時刻情報及び画素のアドレスとが、予め設定された保存形式で記憶される記憶手段と、
前記データ受信手段によって受信された前記画素の状態の変化を表すデータを、前記保存形式のデータとして前記記憶手段に記憶させる記憶制御手段と、
を備えることを特徴とする。
In order to solve the above problems, an imaging device according to an embodiment of the present invention includes:
Imaging means for transmitting data representing a change in the state of a pixel corresponding to the image sensor based on a change in the output of an image sensor included in an image sensor that images a subject;
data receiving means for asynchronously receiving data representing a change in the state of the pixel transmitted by the imaging means for each pixel;
a storage means in which data representing a change in the state of the pixel, time information regarding the data representing a change in the state of the pixel, and an address of the pixel are stored in a preset storage format;
storage control means for storing data representing a change in the state of the pixel received by the data receiving means in the storage means as data in the storage format;
It is characterized by having the following.
本発明によれば、デジタル画像を用いた情報処理技術において、より適切な機能を実現することが可能となる。 According to the present invention, it is possible to realize more appropriate functions in information processing technology using digital images.
以下、本発明の実施形態について、図面を参照して説明する。
[第1実施形態]
[構成]
図1は、本実施形態に係る撮像装置1全体の構成を示す模式図である。
撮像装置1は、撮像素子が配列された撮像センサを有する撮像ユニット10において、画素毎の状態(ここでは輝度値の変化とする)を検出し、情報処理ユニット20において、その検出結果のデータ(以下、適宜「画素データ」と称する。)を受信し、所定の保存形式で記憶領域に格納する。また、情報処理ユニット20は、記憶領域に格納された撮像ユニット10の検出結果のデータ(画素データ)を読み出し、各種アプリケーションで用いると共に、アプリケーションの要求等に応じて、撮像ユニット10における撮像パラメータ(画素毎の状態を検出するための閾値等)を変更する。
そのため、撮像装置1においては、画角における被写体の変化を画素毎に検出し、変化が生じた画素について、変化が生じていることを示す画素データとして出力することができる。
これにより、撮像装置1は、画角における被写体の変化を少ないデータ量で高速に検出することを可能としている。
また、撮像装置1は、所定の保存形式で格納された画素データを読み出し、各種アプリケーションに用いることができる。
したがって、撮像装置1によれば、デジタル画像を用いた情報処理技術において、より適切な機能を実現することが可能となる。
以下、撮像装置1の構成を具体的に説明する。
Embodiments of the present invention will be described below with reference to the drawings.
[First embodiment]
[composition]
FIG. 1 is a schematic diagram showing the overall configuration of an
The
Therefore, in the
This makes it possible for the
Furthermore, the
Therefore, according to the
The configuration of the
図1に示すように、撮像装置1は、撮像ユニット10と、情報処理ユニット20と、センサユニット30とを備え、情報処理ユニット20は、撮像ユニット10及びセンサユニット30と有線または無線の通信ネットワークによって接続されている。なお、撮像ユニット10、情報処理ユニット20及びセンサユニット30のうちの2つあるいは全てを一体として構成することも可能である。
As shown in FIG. 1, the
撮像ユニット10は、レンズ11と、撮像デバイス12とを備えている。
レンズ11は、画角内の被写体からの光線を集束させ、撮像デバイス12の撮像センサ上に被写体像を結像させる。
撮像デバイス12は、複数の撮像素子が配列された撮像センサ及び撮像センサの出力信号を処理する処理回路を含んで構成される。撮像デバイス12は、撮像素子に対応する画素毎に、レンズ11によって結像された被写体像の各部の状態を表す信号を出力する。即ち、被写体像の各部の状態を表す信号により、撮像デバイス12から各画素の状態を表すデータを含む画素データが出力される。本実施形態においては、各画素の状態を表すパラメータの一例として、各画素の輝度値の変化が用いられている。即ち、撮像デバイス12は、撮像素子毎に蓄積される電荷の変化量が設定された閾値に達した場合に、各画素の状態を表すデータ(polarity)として、増加を表す「+1」または減少を表す「-1」を出力する。具体的には、撮像デバイス12は、画素毎に検出される輝度の増加が設定された閾値Th1以上となった場合に、増加を表すデータ(+1)を出力し、画素毎に検出される輝度の減少が設定された閾値Th1以上となった場合に、減少を表すデータ(-1)を出力する。なお、輝度の増加及び減少の判定に用いられる閾値Th1は、情報処理ユニット20によって設定される。
上述のような構成により、撮像デバイス12は、画素毎に、非同期的に画素の状態を表すデータ(+1または-1)を含む画素データを出力することとなる。
The
The
The
With the above configuration, the
情報処理ユニット20は、PC(Personal Computer)、マイクロコンピュータあるいはスマートフォン等の情報処理装置によって構成され、プロセッサ20Aと、記憶部20Bとを備えている。
プロセッサ20Aは、CPU(Central Processing Unit)等の演算処理装置によって構成される。プロセッサ20Aが情報処理のためのプログラムを実行することにより、プロセッサ20Aには、機能的構成として、データ受信部21と、データ格納制御部22と、処理部23とが実現される。
The
The
記憶部20Bは、ハードディスクあるいは半導体メモリ等の記憶装置によって構成され、その記憶領域の一部に、出力データ記憶部24が形成される。
出力データ記憶部24には、撮像ユニット10から出力された画素データが記憶される。
図2は、出力データ記憶部24の記憶領域の構成を示す模式図である。
図2に示すように、出力データ記憶部24には、撮像ユニット10が撮像する画像のアドレスに対応したアドレスを有する2次元メモリ(フレームメモリ)が形成される。具体的には、出力データ記憶部24には、各画素の状態を表すデータが増加している場合に用いられるフレームメモリ(増加時用フレームメモリ24a)と、各画素の状態を表すデータが減少している場合に用いられるフレームメモリ(減少時用フレームメモリ24b)とが独立して形成される。
The
The output
FIG. 2 is a schematic diagram showing the configuration of the storage area of the output
As shown in FIG. 2, a two-dimensional memory (frame memory) having an address corresponding to an address of an image captured by the
これら増加時用フレームメモリ24a及び減少時用フレームメモリ24bには、後述するように、データ格納制御部22によって、撮像ユニット10から出力された画素データが記憶される。
なお、出力データ記憶部24(増加時用フレームメモリ24a及び減少時用フレームメモリ24b)の記憶内容は、所定時間毎(例えば、10[ms]毎)にリセットされる。ただし、リセット後にも過去の画素データを参照可能とするため、バックアップ用の増加時用フレームメモリ24a及び減少時用フレームメモリ24bを別の記憶領域に形成することとしてもよい。
The pixel data output from the
Note that the storage contents of the output data storage unit 24 (increase
データ受信部21は、撮像ユニット10の撮像デバイス12から出力される画素データを非同期的に受信し、受信した画素データを受信データ用のバッファに一時的に記憶する。また、データ受信部21は、情報処理ユニット20の内部動作を規定する所定のタイミングで(例えば、1[ms]毎に)、受信データ用のバッファ内に記憶された画素データをデータ格納制御部22に出力する。具体的には、データ受信部21は、撮像デバイス12から画素データを受信すると、受信した時刻情報と共に、画素のアドレス、各画素の状態を表すデータ(+1または-1)を受信データ用のバッファに記憶する。そして、データ受信部21は、所定のタイミングで、受信データ用のバッファ内に記憶されている時刻情報、画素のアドレス、各画素の状態を表すデータ(+1または-1)を対応付けて、データ格納制御部22に出力する。
The
また、本実施形態において、データ受信部21は、単位時間あたりの受信データ量及び撮像ユニット10の動き量に基づいて、撮像デバイス12における輝度の増加及び減少の判定に用いられる閾値Th1を変更する。
図3は、撮像ユニット10の動き量に対する単位時間当たりの受信データ量(撮像デバイス12の出力データ量)の基準範囲を示す模式図である。
図3に示すように、撮像ユニット10の動き量(回転運動及び並進運動)が大きくなるほど、単位時間当たりの受信データ量の基準値(図3中の破線)が大きくなる。また、単位時間当たりの受信データ量の基準範囲は、基準値から一定のデータ量以内に設定されている。
図3によれば、撮像ユニット10の動き量に応じて、単位時間当たりの受信データ量として適正な範囲(基準範囲)が定まり、基準範囲から逸脱している場合、撮像デバイス12における輝度の増加及び減少の判定に用いられる閾値Th1が不適切な値(過大または過小)になっていると考えられる。
Furthermore, in the present embodiment, the
FIG. 3 is a schematic diagram showing a reference range of the amount of received data per unit time (the amount of output data of the imaging device 12) with respect to the amount of movement of the
As shown in FIG. 3, as the amount of movement (rotational motion and translational motion) of the
According to FIG. 3, an appropriate range (reference range) for the amount of received data per unit time is determined according to the amount of movement of the
即ち、単位時間当たりの受信データ量が、基準範囲を超えている場合、撮像デバイス12における輝度の増加及び減少の判定に用いられる閾値Th1を増加させることが適切であると考えられる。そのため、データ受信部21は、閾値Th1を増加させる指示を撮像デバイス12に出力する。また、単位時間当たりの受信データ量が、基準範囲を下回っている場合、撮像デバイス12における輝度の増加及び減少の判定に用いられる閾値Th1を減少させることが適切であると考えられる。そのため、データ受信部21は、閾値Th1を減少させる指示を撮像デバイス12に出力する。
なお、単位時間当たりの受信データ量として適正な範囲(基準範囲)は、撮像ユニット10の動きがない状態、動きが小さい状態、動きが大きい状態等において、各種被写体を撮像することにより、キャリブレーションを行って具体的な数値を設定することができる。
That is, when the amount of received data per unit time exceeds the reference range, it is considered appropriate to increase the threshold Th1 used to determine whether the brightness in the
Note that the appropriate range (reference range) for the amount of data received per unit time is determined by calibrating the
また、データ受信部21は、処理部23から撮像デバイス12における輝度の増加及び減少の判定に用いられる閾値Th1の変更指示が入力された場合にも、変更指示の内容に応じて、閾値Th1を増加または減少させる指示を撮像デバイス12に出力する。
なお、データ受信部21は、撮像デバイス12から出力される受信データの分布(アドレスの偏り等)に基づいて、画角内の特定の領域にフォーカスしたり、ズームアップしたりすることとしてもよい。例えば、監視カメラにおける物体検出等を行う場合、侵入者が写された領域において画素の状態を表すデータが集中して出力されると考えられるため、データ受信部21が受信した画素データのアドレスが偏在している場合には、データ受信部21(または情報処理ユニット20の他の機能ブロック)が撮像ユニット10に対して、当該アドレス付近にズームアップする指示等を出力することができる。
Further, even when an instruction to change the threshold Th1 used for determining an increase or decrease in brightness in the
Note that the
データ格納制御部22は、データ受信部21から入力された画素データ(時刻情報、画素のアドレス、各画素の状態を表すデータ(+1または-1))を出力データ記憶部24に記憶する。
データ格納制御部22は、データ受信部21から入力された画素データにおいて、画素の状態を表すデータが増加を表す「+1」である場合、増加時用フレームメモリ24aにおいて、画素データの画素のアドレスと対応するアドレスに、時刻情報を格納する。また、データ格納制御部22は、データ受信部21から入力された画素データにおいて、画素の状態を表すデータが減少を表す「-1」である場合、減少時用フレームメモリ24bにおいて、画素データの画素のアドレスと対応するアドレスに、時刻情報を格納する。なお、本実施形態において、画素データが同一の画素において複数回出力された場合、増加時用フレームメモリ24aまたは減少時用フレームメモリ24bにおいて、当該画素の時刻情報が上書きされる。
The data
In the pixel data input from the
これにより、増加時用フレームメモリ24aには、画素の輝度値の増加量が閾値Th1以上となった画素のアドレスに、その時刻情報が逐次書き込まれ、減少時用フレームメモリ24bには、画素の輝度値の減少量が閾値Th1以上となった画素のアドレスに、その時刻情報が逐次書き込まれることとなる。
なお、データ格納制御部22は、画素データが出力された際に判定に用いられた閾値Th1の値を取得し、時刻情報に加えて、閾値Th1の値を画素のアドレスに格納することとしてもよい。
As a result, the time information is sequentially written into the frame memory for
Note that the data
処理部23は、出力データ記憶部24に記憶された画素データを読み出し、アプリケーションに応じた各種処理を実行する。処理部23においては、撮像ユニット10によって出力された画素データを用いる種々のアプリケーションを実行することが可能であり、例えば、自動運転における環境認識のためのアプリケーションや、監視カメラにおける物体検出のためのアプリケーション、さらに、これらに関連する機械学習やデータ処理等を実行することができる。
The
また、処理部23は、実行中のアプリケーションの要求等に応じて、撮像デバイス12における輝度の増加及び減少の判定に用いられる閾値Th1の変更指示をデータ受信部21に適宜出力することができる。
なお、処理部23は、出力データ記憶部24に記憶された画素データを読み出し、種々の加工を施して利用することができる。
例えば、増加時用フレームメモリ24a及び減少時用フレームメモリ24bに記憶された画素データ全体を対象として、所定時間内における各画素の輝度値の変化の回数分、撮像デバイス12における輝度の増加及び減少の判定に用いられた閾値Th1を符号付きで積分することにより、各画素における輝度値の実際の変化量を算出することができる。
Further, the
Note that the
For example, for the entire pixel data stored in the
また、増加時用フレームメモリ24a及び減少時用フレームメモリ24bそれぞれに記憶された画素データを対象として、所定時間内における各画素の輝度値の変化の回数分、撮像デバイス12における輝度の増加及び減少の判定に用いられた閾値Th1を積分することにより、各画素における輝度値の累積増加量及び累積減少量をそれぞれ算出することができる。
このように算出された画素のデータによってフレームのデータを構成することにより、被写体における状態の変化がマッピングされた画像(ここでは輝度の変化を表す画像)を生成することができる。
このように生成された画像を単独で、または、カラー画像と併用して用いることで、環境認識や物体検出等の性能を向上させることが可能となる。
In addition, for the pixel data stored in the
By configuring frame data using the pixel data calculated in this way, it is possible to generate an image in which a change in the state of the subject is mapped (here, an image representing a change in brightness).
By using the image generated in this way alone or in combination with a color image, it is possible to improve performance in environment recognition, object detection, etc.
なお、処理部23は、アプリケーションを実行する場合、シングルスレッド及びマルチスレッドのいずれによって処理を行うことも可能である。スレッドとは、並列で動作する異なるプロセスを意味する。
例えば、処理部23は、シングルスレッドによる処理を行っている場合に、そのスレッド内(同一のプロセス内)で、撮像ユニット10からの画素データの取得と、出力データ記憶部24からの画素データの読み出し等を同時に行うことができる。
また、処理部23は、マルチスレッドによる処理を行っている場合に、異なるスレッド間(異なるプロセス間)で、メモリ等を介して画素データの受け渡しを行いながら、第1のスレッドによる撮像ユニット10からの画素データの取得と、第2のスレッドによる出力データ記憶部24からの画素データの読み出し等を行うことができる。
Note that when executing an application, the
For example, when processing by a single thread, the
In addition, when performing multi-thread processing, the
センサユニット30は、加速度センサあるいはジャイロセンサ等、動きを検出するための各種センサを備えている。センサユニット30は、撮像ユニット10に取り付けること、または、撮像ユニット10と一体とされた情報処理ユニット20に取り付けることが可能となっており、撮像ユニット10の動きを検出するために設置される。センサユニット30の検出結果は、情報処理ユニット20に出力される。
The
[動作]
次に、撮像装置1の動作を説明する。
[データ受信処理]
図4は、情報処理ユニット20で実行されるデータ受信処理の流れを説明するフローチャートである。
データ受信処理は、撮像装置1の起動と共に開始され、繰り返し実行される。
ステップS1において、データ受信部21は、撮像デバイス12から画素データを受信したか否かの判定を行う。
撮像デバイス12から画素データを受信していない場合、ステップS1においてNOと判定されて、ステップS1の処理が繰り返される。
一方、撮像デバイス12から画素データを受信した場合、ステップS1においてYESと判定されて、処理はステップS2に移行する。
[motion]
Next, the operation of the
[Data reception processing]
FIG. 4 is a flowchart illustrating the flow of data reception processing executed by the
The data reception process is started when the
In step S1, the
If pixel data has not been received from the
On the other hand, when pixel data is received from the
ステップS2において、データ受信部21は、受信した画素データを受信データ用のバッファに記憶する。
ステップS3において、データ受信部21は、データ格納制御部22への出力タイミングとなっているか否かの判定を行う。
データ格納制御部22への出力タイミングとなっていない場合、ステップS3においてNOと判定されて、処理はステップS1に移行する。
一方、データ格納制御部22への出力タイミングとなっている場合、ステップS3においてYESと判定されて、処理はステップS4に移行する。
In step S2, the
In step S3, the
If it is not the output timing to the data
On the other hand, if it is the output timing to the data
ステップS4において、データ受信部21は、受信データ用のバッファ内に記憶された画素データをデータ格納制御部22に出力する。
ステップS4の後、データ受信処理が繰り返される。
In step S4, the
After step S4, the data reception process is repeated.
[閾値調整処理]
図5は、情報処理ユニット20で実行される閾値調整処理の流れを説明するフローチャートである。
閾値調整処理は、撮像装置1の起動と共に開始され、繰り返し実行される。
ステップS11において、データ受信部21は、センサユニット30の検出結果が表す撮像ユニット10の動き量に対して、単位時間あたりの受信データ量が基準範囲内であるか否かの判定を行う。
センサユニット30の検出結果が表す撮像ユニット10の動き量に対して、単位時間あたりの受信データ量が基準範囲内でない場合、ステップS11においてNOと判定されて、処理はステップS13に移行する。
一方、センサユニット30の検出結果が表す撮像ユニット10の動き量に対して、単位時間あたりの受信データ量が基準範囲内である場合、ステップS11においてYESと判定されて、処理はステップS12に移行する。
[Threshold adjustment processing]
FIG. 5 is a flowchart illustrating the flow of threshold adjustment processing executed by the
The threshold value adjustment process is started when the
In step S11, the
If the amount of received data per unit time is not within the reference range with respect to the amount of movement of the
On the other hand, if the amount of received data per unit time is within the reference range with respect to the amount of movement of the
ステップS12において、データ受信部21は、処理部23から撮像デバイス12における輝度の増加及び減少の判定に用いられる閾値Th1の変更指示が入力されたか否かの判定を行う。
処理部23から撮像デバイス12における輝度の増加及び減少の判定に用いられる閾値Th1の変更指示が入力されていない場合、ステップS12においてNOと判定されて、処理はステップS11に移行する。
一方、処理部23から撮像デバイス12における輝度の増加及び減少の判定に用いられる閾値Th1の変更指示が入力された場合、ステップS12においてYESと判定されて、処理はステップS13に移行する。
In step S12, the
If an instruction to change the threshold value Th1 used for determining an increase or decrease in brightness in the
On the other hand, if an instruction to change the threshold value Th1 used for determining an increase or decrease in brightness in the
ステップS13において、データ受信部21は、閾値Th1を増加または減少させる指示を撮像デバイス12に出力する。
ステップS13の後、閾値調整処理が繰り返される。
In step S13, the
After step S13, the threshold value adjustment process is repeated.
[データ格納処理]
図6は、情報処理ユニット20で実行されるデータ格納処理の流れを説明するフローチャートである。
データ格納処理は、撮像装置1の起動と共に開始され、繰り返し実行される。
ステップS21において、データ格納制御部22は、データ受信部21から画素データが入力されたか否かの判定を行う。
データ受信部21から画素データが入力されていない場合、ステップS21においてNOと判定されて、ステップS21の処理が繰り返される。
一方、データ受信部21から画素データが入力された場合、ステップS21においてYESと判定されて、処理はステップS22に移行する。
[Data storage processing]
FIG. 6 is a flowchart illustrating the flow of data storage processing executed by the
The data storage process is started when the
In step S21, the data
If no pixel data has been input from the
On the other hand, if pixel data is input from the
ステップS22において、データ格納制御部22は、入力された画素データのうち画素の状態を表すデータが増加(+1)を表しているか否かの判定を行う。
入力された画素データのうち画素の状態を表すデータが増加を表していない(即ち、減少(-1)を表している)場合、ステップS22においてNOと判定されて、処理はステップS24に移行する。
一方、入力された画素データのうち画素の状態を表すデータが増加を表している場合、ステップS22においてYESと判定されて、処理はステップS23に移行する。
In step S22, the data
If the data representing the state of the pixel among the input pixel data does not represent an increase (that is, represents a decrease (-1)), the determination in step S22 is NO, and the process moves to step S24. .
On the other hand, if the data representing the state of the pixel among the input pixel data indicates an increase, YES is determined in step S22, and the process moves to step S23.
ステップS23において、データ格納制御部22は、入力された画素データのうち時刻情報を増加時用フレームメモリ24aに格納する。
ステップS24において、データ格納制御部22は、入力された画素データのうち時刻情報を減少時用フレームメモリ24bに格納する。
ステップS23及びステップS24の後、データ格納処理が繰り返される。
In step S23, the data
In step S24, the data
After step S23 and step S24, the data storage process is repeated.
[アプリケーション実行処理]
図7は、情報処理ユニット20で実行されるアプリケーション実行処理の流れを説明するフローチャートである。
アプリケーション実行処理は、アプリケーション実行処理の開始を指示する操作が行われることにより開始される。
ステップS31において、処理部23は、指定されたアプリケーションプログラムを読み出す。なお、アプリケーションプログラムは、記憶部20Bあるいは不図示のリムーバブルメディア等の記憶媒体に記憶されている。
[Application execution process]
FIG. 7 is a flowchart illustrating the flow of application execution processing executed by the
The application execution process is started by performing an operation that instructs the start of the application execution process.
In step S31, the
ステップS32において、処理部23は、指定されたアプリケーションプログラムに基づく処理(以下、「指定アプリケーション処理」と称する。)を実行する。
ステップS32の後、アプリケーション実行処理は終了となる。
In step S32, the
After step S32, the application execution process ends.
以上のように、本実施形態に係る撮像装置1は、撮像ユニット10によって、画素の状態を表すデータを含む画素データを画素毎に、非同期的に出力し、情報処理ユニット20によって、画素データを出力データ記憶部24に格納する。
そして、情報処理ユニット20は、指定アプリケーション処理において、出力データ記憶部24に格納された画素データを読み出して利用することにより、画角における被写体の変化を検出しながら、種々のアプリケーションを実行する。
これにより、画素毎に変化が検出され次第、非同期的に画素の状態を表すデータが出力されることから、撮像された1フレーム毎のデジタル画像を出力して物体検出等のアプリケーションに用いる従来の技術に比べ、画角における被写体の変化を少ないデータ量で高速に検出することが可能となる。
また、撮像装置1は、所定の保存形式で格納された画素データを読み出し、各種アプリケーションに用いることができる。
したがって、撮像装置1によれば、デジタル画像を用いた情報処理技術において、より適切な機能を実現することが可能となる。
As described above, in the
In the specified application processing, the
As a result, as soon as a change is detected for each pixel, data representing the state of the pixel is output asynchronously. Compared to other techniques, it is possible to detect changes in the subject in terms of angle of view at high speed and with a small amount of data.
Furthermore, the
Therefore, according to the
また、出力データ記憶部24には、撮像ユニット10が撮像する画像のアドレスに対応したアドレスを有する2次元メモリ(増加時用フレームメモリ24a及び減少時用フレームメモリ24b)が形成される。そして、情報処理ユニット20は、画素の状態を表すデータが増加を表すものであるか減少を表すものであるかに応じて、増加時用フレームメモリ24aまたは減少時用フレームメモリ24bにおける当該画素のアドレスと対応するアドレスに、画素データにおける時刻情報を格納する。
これにより、必要なデータを参照しやすい形態で画素データを保存することができる。また、画素データ(時刻情報、画素のアドレス、各画素の状態を表すデータ(+1または-1))のうち、時刻情報のみを所定のアドレスに格納すればよいため、これら全てを保存する場合に比べ、保存するデータ量を削減することができる。さらに、増加時用フレームメモリ24a及び減少時用フレームメモリ24bのサイズは予め決まることから、画素データを保存するために必要な記憶容量を容易に見積もることが可能となる。
Further, the output
Thereby, pixel data can be saved in a format that makes it easy to refer to necessary data. Also, of the pixel data (time information, pixel address, data representing the state of each pixel (+1 or -1)), only the time information needs to be stored at a predetermined address. In comparison, the amount of data to be stored can be reduced. Further, since the sizes of the
[変形例1]
上述の実施形態において、撮像デバイス12が備える撮像センサは、複数の撮像素子が配列されたものであれば採用可能であるが、撮像センサに更なる機能を備えることも可能である。
例えば、撮像センサにおける各撮像素子に特定波長の光を透過するフィルタ(カラーフィルタ等)を配置し、撮像ユニット10が、特定波長の光に対応する画素の状態を表すデータを出力することとしてもよい。
[Modification 1]
In the embodiments described above, the image sensor included in the
For example, a filter (such as a color filter) that transmits light of a specific wavelength may be arranged in each image sensor in the image sensor, and the
図8は、撮像素子に特定波長の光を透過するフィルタが配置された撮像センサの構成例を示す模式図である。
なお、図8におけるRは赤色フィルタ、Gは緑色フィルタ、Bは青色フィルタを示している。
図8に示す撮像センサにおいて、撮像素子毎に蓄積される電荷の変化量が設定された閾値に達した場合、上述の撮像装置1における場合と同様に、画素データとして、増加を表す「+1」または減少を表す「-1」が出力される。
情報処理ユニット20のデータ格納制御部22では、撮像ユニット10が撮像する画像のアドレスと、そのアドレスの撮像センサに配置されているフィルタの種類(透過する光の波長)とが対応付けて登録されており、フィルタの種類と対応付けた画素データの格納及び読み出しを行うことが可能である。
FIG. 8 is a schematic diagram showing a configuration example of an image sensor in which a filter that transmits light of a specific wavelength is disposed on an image sensor.
Note that R in FIG. 8 indicates a red filter, G indicates a green filter, and B indicates a blue filter.
In the image sensor shown in FIG. 8, when the amount of change in charge accumulated in each image sensor reaches a set threshold, "+1" indicating an increase is added as pixel data, as in the case of the above-described
In the data
このような撮像センサの構成とすることにより、例えば、画素の状態を表すフレームをカラー毎に生成すること等が可能となる。
一例として、光源の波長が偏っている場合に、その補色系の波長の光を透過するフィルタが配置された画素データを選択して、被写体の変化を検出することができる。この場合、被写体の変化がより明確にフレームに現れることから、より適切に被写体の変化を検出することが可能となる。
即ち、変形例1の構成により、光の波長を反映させた処理が有効なアプリケーションにおいて、より利便性の高い技術を提供することができる。
By configuring the image sensor in this manner, it becomes possible, for example, to generate a frame representing the state of a pixel for each color.
For example, when the wavelength of the light source is biased, it is possible to detect a change in the subject by selecting pixel data in which a filter that transmits light with a complementary color wavelength is arranged. In this case, since the change in the subject appears more clearly in the frame, it becomes possible to detect the change in the subject more appropriately.
That is, the configuration of
[変形例2]
上述の実施形態において、出力データ記憶部24には、撮像ユニット10が撮像する画像のアドレスに対応したアドレスを有する2次元メモリ(増加時用フレームメモリ24a及び減少時用フレームメモリ24b)が形成され、画素の状態を表すデータが増加を表すものであるか減少を表すものであるかに応じて、増加時用フレームメモリ24aまたは減少時用フレームメモリ24bにおける当該画素のアドレスと対応するアドレスに、画素データに付された時刻情報を格納するものとした。
[Modification 2]
In the embodiment described above, the output
これに対し、以下のような画素データの保存形式とすることが可能である。
(保存形式1)
画素データの保存形式を(時刻t、画像のアドレス(x,y)、polarity)の形式とする。
なお、「polarity」は、画素の状態として増加または減少を示す値(+1または-1等)である。
保存形式1とした場合、出力データ記憶部24の記憶領域は2次元メモリとする必要がなく、1次元の連続アドレスとすることができる。
On the other hand, it is possible to use the following pixel data storage format.
(Save format 1)
The storage format of pixel data is (time t, image address (x, y), polarity).
Note that "polarity" is a value (+1 or -1, etc.) indicating an increase or decrease as the state of a pixel.
When the
図9は、1次元の連続アドレスを有する記憶領域に保存形式1の画素データが記憶された状態の一例を示す模式図である。
図9に示すように、1次元の連続アドレスとして、記憶領域には0番地から1ずつ増加するメモリアドレスが付与されており、データ受信部21が受信した順に、番地の小さいメモリアドレスに保存形式1の画素データが記憶される。
保存形式1で画素データを保存した場合、データの保持管理が容易になると共に、受信データの量に応じて、柔軟に記憶領域を拡大または縮小することができる。
FIG. 9 is a schematic diagram showing an example of a state in which pixel data of
As shown in FIG. 9, the storage area is assigned memory addresses that increase by 1 starting from
When pixel data is stored in
(保存形式2)
画素データの保存形式を、画素毎に用意された記憶領域に最新の画素データ(例えば、アドレス以外のデータ)を記憶する形式とする。
例えば、画素毎に用意された記憶領域(即ち、各画素専用の記憶領域)に、画素データが受信された時刻及びpolarityを上書きして保存することができる。
なお、保存形式2においては、出力データ記憶部24の記憶領域を上述の実施形態のように2次元メモリとする必要はなく、図9に示す記憶領域と同様に、1次元の連続アドレスとすることができる。
ただし、上述の実施形態と同様に、増加時用の記憶領域と減少時用の記憶領域とを独立して形成し、polarityの値に応じて、いずれかの記憶領域に時刻情報のみを格納することとしてもよい。
(Save format 2)
The pixel data is stored in a format in which the latest pixel data (for example, data other than addresses) is stored in a storage area prepared for each pixel.
For example, the time and polarity at which pixel data was received can be overwritten and saved in a storage area prepared for each pixel (that is, a storage area dedicated to each pixel).
Note that in the storage format 2, the storage area of the output
However, similar to the embodiment described above, a storage area for increasing and a storage area for decreasing are formed independently, and only time information is stored in one of the storage areas depending on the polarity value. It may also be a thing.
(保存形式3)
画素データを記憶する1つの領域に、複数回分の画素データを、再構築可能なデータ構造で保存する形式とする。
具体的には、画素データを記憶する1つの領域のデータ幅に対して、複数回分の画素データを割り付けて保存する。例えば、画素データを記憶する1つの領域が64ビットを有する場合に、時刻情報が16ビットで表されているものとすると、64ビットの記憶領域には、4回分の時刻情報を保存することができる。
(Save format 3)
A format is used in which pixel data for multiple times is stored in a data structure that can be reconstructed in one area for storing pixel data.
Specifically, pixel data for a plurality of times are allocated and saved with respect to the data width of one area for storing pixel data. For example, if one area for storing pixel data has 64 bits, and time information is represented by 16 bits, the 64-bit storage area can store time information for four times. can.
このようなデータの保存形式とする場合、新たに受信された画素データの時刻情報を保存する際には、例えば、対象となる記憶領域のデータを64ビット分読み出し、削除対象の時刻情報(最も古いもの等)を除外した上で、新たな時刻情報を追加した64ビットのデータを構成し、対象となる記憶領域に書き戻すこととする。
なお、記憶領域の上位の桁ほど古い時刻情報を保存するようにすることで、時刻情報の入れ替えを容易に行うことができる。
When using such a data storage format, when saving the time information of newly received pixel data, for example, 64 bits of data in the target storage area are read out, and the time information to be deleted (the most 64-bit data is created by excluding old time information, new time information, etc., and written back to the target storage area.
Note that by storing older time information in higher digits of the storage area, time information can be easily replaced.
(保存形式4)
画素データを記憶する領域に、時刻情報に代えて、一定時間内に画素データが何回出力されたかの回数情報を保存する。
具体的には、上述の実施形態及び本変形例における各保存形式において、時刻情報を保存せずに、一定時間内に画素の状態が変化した回数(即ち、画素データが出力された回数)を保存する。
一定時間として設定された時間がごく短時間であり、具体的な時刻情報までは必要でない場合、画素データが出力された回数で設定時間を除算すれば、おおよその時刻情報が取得できる。
また、保存すべきデータは、回数を表す数値(所定範囲の整数)のみであることから、時刻情報を保存する場合に比べ、必要な記憶容量を低減することができる。
したがって、保存形式4を用いることで、記憶容量及び数値演算の負荷の低減を図ることができるため、撮像装置1として必要な装置スペックを抑制することができる。
(Save format 4)
In place of time information, information on the number of times pixel data has been output within a certain period of time is stored in the area for storing pixel data.
Specifically, in each storage format in the above-described embodiment and this modification, the number of times the state of a pixel changes within a certain period of time (that is, the number of times pixel data is output) is calculated without storing time information. save.
If the time set as a certain period of time is very short and specific time information is not necessary, approximate time information can be obtained by dividing the set time by the number of times pixel data has been output.
Moreover, since the data to be saved is only a numerical value (an integer within a predetermined range) representing the number of times, the required storage capacity can be reduced compared to the case where time information is saved.
Therefore, by using the
[変形例3]
上述の実施形態及び各変形例において、出力データ記憶部24に記憶された画素データを保持するか否かを所定方針に従って制御することができる。
所定方針としては、主として、時間を基準として保持の要否を判定すること、及び、画素データのアドレスを基準として保持の要否を判定することが可能である。
具体的には、以下の保持方針とすることができる。
[Modification 3]
In the embodiment and each modification described above, it is possible to control whether or not to hold the pixel data stored in the output
As a predetermined policy, it is possible to determine whether or not to hold data mainly based on time, and to determine whether or not to hold data based on the address of pixel data.
Specifically, the following retention policy can be adopted.
(保持方針1)
一定時間(設定された閾値時間)以上、過去のデータを削除する。
即ち、画素データが現在時刻から設定された閾値時間以上、古いものとなった場合、そのデータを削除する。
これにより、画素の状態に変化がない場合に、過度に古い画素データが保持され続けることを防止できる。
(Retention policy 1)
Delete past data for a certain period of time (set threshold time) or more.
That is, when pixel data becomes older by a set threshold time or more from the current time, that data is deleted.
This makes it possible to prevent excessively old pixel data from continuing to be held when there is no change in the state of the pixel.
(保持方針2)
一定要素数(設定された画素データの数)以上、過去のデータを削除する。
即ち、画素データが直近の一定要素数(設定された画素データの数)以上、古いものとなった場合、そのデータを削除する。
これにより、画素の状態が変化し、画素データが逐次受信される場合に、不要と考えられる過去の画素データを削除することができる。
(Retention policy 2)
Delete past data equal to or greater than a certain number of elements (set number of pixel data).
That is, if the pixel data becomes older than a certain number of recent elements (the set number of pixel data), that data is deleted.
Thereby, when the state of a pixel changes and pixel data is received one after another, past pixel data that is considered unnecessary can be deleted.
(保持方針3)
同一のアドレスに過去一定時間以内の画素データが存在する場合、その画素データを保持し、その他の画素データは削除する。
画素データに変化が生じた場合、一定時間内に、その変化とは逆の変化が生じる可能性が高いため、その画素データは保持することが適当である。
例えば、監視カメラにおける物体検出等において、侵入者が画角内を通過する場合、夜間であれば、侵入者の身体に該当する画素は従前よりも暗くなり、侵入者が通過すると再び明るくなるといった状況が発生し得る。
そのため、物体が検出された際に画素データからフレームを生成する場合等において、有用な画素データを保持しておくことが可能となる。
(Retention policy 3)
If pixel data within a certain amount of time in the past exists at the same address, that pixel data is retained and other pixel data are deleted.
When a change occurs in pixel data, there is a high possibility that a change opposite to the change will occur within a certain period of time, so it is appropriate to retain that pixel data.
For example, when detecting an object in a surveillance camera, when an intruder passes within the field of view, the pixels corresponding to the intruder's body will become darker than before at night, and will become brighter again when the intruder passes. Situations may arise.
Therefore, useful pixel data can be retained when a frame is generated from pixel data when an object is detected.
(保持方針4)
近傍のアドレスに保持されている画素データが存在する場合、中心の画素データを保持し、近傍のアドレスに保持されている画素データが存在しない場合、その画素データを削除する。
この場合、被写体に実際に変化があったと考えられる画素データを保持すると共に、ノイズ等で離散的に発生した画素データを削除することができる。
即ち、有効な画素データを保持すると共に、不要な画素データを削除することが可能となる。
(Retention policy 4)
If there is pixel data held at a nearby address, the central pixel data is held; if there is no pixel data held at a nearby address, that pixel data is deleted.
In this case, pixel data that is considered to have actually changed in the subject can be retained, and pixel data that has been discretely generated due to noise or the like can be deleted.
That is, it is possible to retain valid pixel data and delete unnecessary pixel data.
[変形例4]
上述の実施形態及び各変形例において、単位時間当たりの受信データ量が基準範囲内であるか否かの判定を行う周期を、予め設定された条件に応じて変更することとしてもよい。
撮像デバイス12における輝度の増加及び減少の判定に用いられる閾値Th1が不適切な場合、被写体の変化を適切に検出できないことから、閾値Th1を変更(補正)することが有用である。
一方、閾値Th1を逐次補正するため、単位時間当たりの受信データ量が基準範囲内であるか否かの判定を高頻度に行うと、処理負荷の増大やシステムの不安定化を招く可能性がある。
そこで、撮像装置1に入力される各種情報を基に、単位時間当たりの受信データ量が基準範囲内であるか否かの判定を行う周期に関する条件を設定しておき、この条件に従って判定を行うことで、より効率的に閾値Th1を補正することができる。
なお、単位時間当たりの受信データ量が基準範囲内であるか否かの判定を画素毎に行い、閾値Th1も画素毎に設定することとしてもよい。
これにより、画素毎に、画素の状態に応じた判定周期で、位時間当たりの受信データ量が基準範囲内であるか否かを判定し、より適切な閾値Th1を設定することができる。
[Modification 4]
In the above-described embodiment and each modification, the period for determining whether the amount of received data per unit time is within a reference range may be changed according to preset conditions.
If the threshold value Th1 used to determine an increase or decrease in brightness in the
On the other hand, in order to correct the threshold value Th1 sequentially, if it is judged frequently whether the amount of received data per unit time is within the standard range, there is a possibility that the processing load will increase and the system will become unstable. be.
Therefore, based on various information input to the
Note that it may be determined whether the amount of received data per unit time is within the reference range or not for each pixel, and the threshold Th1 may also be set for each pixel.
Thereby, it is possible to determine whether the amount of received data per hour is within the reference range for each pixel at a determination period according to the state of the pixel, and to set a more appropriate threshold Th1.
[具体的適用例1]
次に、撮像装置1の具体的な適用例について説明する。
本適用例では、撮像装置1を自動車に設置し、自動運転を行うための撮像装置として用いるものとする。
この場合、撮像装置1は、実世界を撮像した撮像結果及び仮想空間を仮想的な撮像装置1で撮像した撮像結果を取得し、自動車が走行する空間のデータを生成する機能を実現する。また、撮像装置1は、生成した空間において自動車の自動運転のシミュレーションを行い、シミュレーションの結果を解析する機能を実現する。
これらの機能を実現するにあたり、撮像装置1において、目的とする処理を簡単に実行するためのライブラリが用意され、各種処理を実行する際に、必要なライブラリが適宜用いられる。
[Specific application example 1]
Next, a specific application example of the
In this application example, it is assumed that the
In this case, the
To realize these functions, a library is prepared in the
[構成]
図10は、具体的適用例1における撮像装置1全体の構成を示す模式図である。
図10に示す構成は、図1に示す全体構成に対し、デジタル画像(実世界をカラー画像として撮像した静止画像または動画像等)を撮像する撮像ユニット100が備えられている点が異なっている。
撮像ユニット100は、画角内の被写体を2次元のカラー画像として撮像する既存のデジタルビデオカメラによって構成することができる。
撮像ユニット100は、レンズ111と、撮像デバイス112とを備えている。
レンズ111は、画角内の被写体からの光線を集束させ、撮像デバイス112の撮像センサ上に被写体像を結像させる。
[composition]
FIG. 10 is a schematic diagram showing the overall configuration of the
The configuration shown in FIG. 10 differs from the overall configuration shown in FIG. 1 in that it includes an
The
The
The
撮像デバイス112は、複数の撮像素子が配列された撮像センサ及び撮像センサの出力信号を処理する処理回路を含んで構成される。
なお、撮像ユニット10及び撮像ユニット100の画角(撮影範囲)は一致(または重複)されており、撮像ユニット100で撮像された被写体の変化を表す画素データが、撮像ユニット10によって出力される。
また、撮像ユニット100が備えられていることに伴い、情報処理ユニット20のデータ受信部21は、撮像ユニット10から出力される画素データを受信する機能に加え、撮像ユニット100から出力される画素データ(フレーム毎の画素データ群)を所定周期(例えば、100[ms]周期)で受信する機能を備えている。データ受信部21は、撮像ユニット100から受信した画素データをデータ格納制御部22に出力し、フレームを表すデータとして出力データ記憶部24に記憶する。
The
Note that the angles of view (shooting ranges) of the
Further, since the
[機能的構成]
次に、情報処理ユニット20の機能的構成について説明する。
図11は、情報処理ユニット20の機能的構成を示すブロック図である。
図11においては、情報処理ユニット20のうち、処理部23及び記憶部20Bに形成される機能的構成を示している。
図11に示すように、本適用例における撮像装置1は、処理部23において、空間データ取得部23aと、シミュレーション処理部23bと、解析処理部23cとを備えている。また、記憶部20Bには、出力データ記憶部24に加え、ライブラリ記憶部25と、3Dモデルデータベース(3DモデルDB)26とが形成される。
[Functional configuration]
Next, the functional configuration of the
FIG. 11 is a block diagram showing the functional configuration of the
FIG. 11 shows the functional configuration formed in the
As shown in FIG. 11, the
ライブラリ記憶部25には、撮像装置1において使用される頻度が高い各種機能をまとめた複数のライブラリが記憶されている。本実施形態において、ライブラリが用いられる場合、実行中のアプリケーションからAPI(Application Program Interface)として必要なライブラリが呼び出され、呼び出されたライブラリの機能による応答がアプリケーションに返される。
The
例えば、ライブラリ記憶部25には、以下の機能を実現するライブラリが記憶されている。
(ライブラリ1)出力データを画像として読み出すか、出力データを画素データのまま読み出すかを切り替えるライブラリ
(ライブラリ2)画素データにおけるpolarityがマイナスである画素を青、画素データにおけるpolarityがプラスである画素を赤として、出力データが表す画像を表示するライブラリ
(ライブラリ3)出力データの保存形式(2次元メモリあるいは保存形式1~4のいずれか等)を切り替えるライブラリ
(ライブラリ4)撮像時に輝度の増加及び減少の判定に用いられた閾値Th1に応じたデータの正規化を行うライブラリ
なお、ライブラリ4は、撮像装置1の出力データを後に解析する場合等に用いられる。
(ライブラリ5)撮影中に特定領域(変化が大きい領域等)にズームアップ(あるいはフォーカス)して撮像するか否かを切り替えるライブラリ
(ライブラリ6)被写体の動きに合わせて出力データ量が基準範囲となるように閾値Th1を変更するか否かを切り替えるライブラリ
(ライブラリ7)3D空間内を撮像する仮想カメラのパラメータ(視点位置、絞り値、感度等)を設定するライブラリ
For example, the
(Library 1) Library for switching between reading output data as an image or reading output data as pixel data (Library 2) Pixels whose polarity in pixel data is negative are blue, and pixels whose polarity is positive in pixel data are blue. As red, the library (Library 3) that displays the image represented by the output data; the Library (Library 4) that switches the storage format of the output data (two-dimensional memory or any of
(Library 5) Library for switching whether or not to zoom in (or focus) on a specific area (such as an area with large changes) during shooting (Library 6) Adjusts the amount of output data to the reference range according to the movement of the subject. Library for changing whether or not to change the threshold Th1 so that
アプリケーションのプログラムにおいては、これらのライブラリを呼び出すことで、上位の命令を記述しておけば、撮像装置1における各種機能を実現するための下位の制御を容易に実行することができる。
なお、撮像装置1において使用される頻度が高い各種機能をまとめる形態としては、ライブラリの他、ミドルウェアあるいはアプリケーションの形態とすることも可能である。
In an application program, by calling these libraries and writing higher-level commands, lower-level controls for realizing various functions in the
Note that, in addition to a library, the various functions that are frequently used in the
3DモデルDB26には、自動運転のシミュレーションを行うための仮想空間の3次元モデルデータが記憶される。本実施形態において、3DモデルDB26には、自動運転のシミュレーションが行われる実空間(走行環境を構成する実空間)を表す3次元モデルデータが記憶されている。これにより、実空間を走行できない場合であっても、3DモデルDB26に記憶された3次元モデルデータを用いて、仮想空間を仮想的な撮像装置1で撮像した撮像結果を取得することが可能となる。
なお、3DモデルDB26には、自動運転のシミュレーションが行われる実空間(走行環境を構成する実空間)を表す3次元モデルデータに限らず、架空の走行環境を構成する仮想空間の3次元モデルデータを記憶することも可能である。この場合、実空間に限らず、各種走行環境を仮想的に走行した場合のシミュレーションを行うことができる。
The
Note that the
空間データ取得部23aは、自動運転のシミュレーション環境を表す空間のデータを構築する処理(環境構築処理)を実行する。
即ち、空間データ取得部23aは、自動車に設置された撮像ユニット10及び撮像ユニット100によって自動車の走行範囲における実空間を撮像した画素データ(以下、適宜「実データ」と称する。)を取得して出力データ記憶部24に記憶する。また、空間データ取得部23aは、3DモデルDB26に記憶された3次元モデルデータを用いて、仮想空間内に設定された走行範囲を仮想的な撮像装置1で撮像した画素データ(以下、適宜「仮想データ」と称する。)を画素毎に非同期的に取得して出力データ記憶部24に記憶する。このとき、空間データ取得部23aは、上述のライブラリ7を呼び出し、3D空間内を撮像する仮想カメラのパラメータ(視点位置、絞り値、感度等)を設定することができる。また、空間データ取得部23aは、上述のライブラリ3を呼び出し、出力データの保存形式を適宜切り替えることができる。
The spatial
That is, the spatial
そして、空間データ取得部23aは、取得した実データ及び仮想データを合成し、自動運転のシミュレーション環境を表す空間のデータを構築する。このとき、空間データ取得部23aは、上述のライブラリ1を呼び出し、撮像ユニット10によって出力されたデータを画像として読み出すことにより、自動運転のシミュレーション環境を表す空間のデータを構築する。さらに、空間データ取得部23aは、構築した空間のデータを不図示のメモリまたは記憶部20Bの記憶領域に記憶する。
Then, the spatial
ここで、自動運転のシミュレーション環境を表す空間のデータを構成する実データは、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データと、撮像ユニット100によって撮像された風景を表す画素データとを構成要素としている。撮像ユニット10は、撮像ユニット100よりも早い周期で画素データを出力することから、撮像ユニット100によって撮像された風景を表す画素データ及び撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データが併せて取得されているタイミングと、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データのみが取得されているタイミングとが存在する。そこで、空間データ取得部23aが自動運転のシミュレーション環境を表す空間のデータを構築する場合、撮像ユニット100によって撮像された風景を表す画素データ及び撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データが併せて取得されているタイミング以外において、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データにより物体の形状を補間し、自動運転のシミュレーション環境を表す空間のデータをより高精度なものに変換する。
Here, the actual data constituting the spatial data representing the automated driving simulation environment includes pixel data including data representing the state of pixels imaged by the
具体的には、以下の手順に従って、自動運転のシミュレーション環境を表す空間のデータを構成することができる。
(手順1)併せて取得された撮像ユニット100によって撮像された風景を表す画素データと撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データとを対象として、撮像ユニット10によって撮像された風景を表す画素データを基に算出される物体の形状に、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データから算出される形状を対応付ける。
(手順2)撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データのみが取得されているタイミングにおいて、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データを過去の所定期間において積分し、物体の形状を時間的に補間する。
(手順3)手順1及び手順2の結果を基に、撮像ユニット100によって撮像された風景を表す画素データ及び撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データが併せて取得されているタイミングの物体の形状のデータ及び撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データのみが取得されているタイミングの物体の形状のデータを合成し、自動運転のシミュレーション環境を表す空間のデータを構築する。
Specifically, spatial data representing the automated driving simulation environment can be configured according to the following procedure.
(Procedure 1) Imaged by the
(Step 2) At a timing when only pixel data including data representing the state of the pixel imaged by the
(Step 3) Based on the results of
図12は、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データにより物体の形状を補間する概念を示す模式図である。
なお、図12は、撮像装置1が設置された自動車が、時刻ta→時刻tb→時刻tc→時刻tdの順に進行し、道路に隣接する建物を撮像する様子を示している。
図12において、撮像ユニット100は、その撮像周期に従い、時刻ta及び時刻tdで撮像を行うものとする。このとき、被写体となる建物は、時刻taで撮像された画像に全体が含まれているものの、時刻tdで撮像された画像には、ほぼ撮像されていない。
一方、撮像ユニット10は、撮像ユニット10に比べて短い撮像周期で撮像を行う(画素データを出力する)ことができるため、時刻taと時刻tdの間にも、建物を撮像した画素の状態の変化を表す画素データを逐次出力することができる。
そのため、時刻taと時刻tdの間における時刻tb及び時刻tcにおいて、撮像ユニット10によって出力された画素データを用いて、物体(建物)の形状のデータを合成して補間し、自動運転のシミュレーション環境を表す空間のデータを構築することができる。
FIG. 12 is a schematic diagram showing the concept of interpolating the shape of an object using pixel data including data representing the state of pixels imaged by the
Note that FIG. 12 shows a state in which a car in which the
In FIG. 12, it is assumed that the
On the other hand, since the
Therefore, at time tb and time tc between time ta and time td, the pixel data output by the
シミュレーション処理部23bは、空間データ取得部23aによって構築された自動運転のシミュレーション環境を表す空間のデータを参照し、設定された自動運転のアルゴリズムに従って、この空間における自動運転のシミュレーションを行う処理(シミュレーション処理)を実行する。このとき、シミュレーション処理部23bは、上述のライブラリ1を呼び出し、撮像ユニット10によって出力されたデータを画素データのまま読み出す。これにより、シミュレーション処理部23bは、画素の状態を表すデータを非同期的に取得しながら、自動運転のシミュレーションを行う。また、シミュレーション処理部23bは、自動運転のシミュレーションを行うにあたり、上述のライブラリ5を呼び出し、撮影中に特定領域(変化が大きい領域等)にズームアップ(あるいはフォーカス)して撮像するか否かを切り替えることができる。また、シミュレーション処理部23bは、自動運転のシミュレーションを行うにあたり、上述のライブラリ6を呼び出し、被写体の動きに合わせて出力データ量が基準範囲となるように閾値Th1を変更するか否かを切り替えることができる。さらに、シミュレーション処理部23bは、自動運転のシミュレーションを行うにあたり、上述のライブラリ3を呼び出し、出力データの保存形式を適宜切り替えることができる。
The
また、シミュレーション処理部23bは、自動運転のシミュレーションによって取得された運転履歴(シミュレーション結果)のデータを不図示のメモリまたは記憶部20Bの記憶領域に記憶する。自動運転のアルゴリズムとして、テスト等の対象となる種々のものを設定することにより、自動運転のシミュレーション結果を基に、自動運転のアルゴリズムの性能評価等を行うことができる。
さらに、シミュレーション処理部23bは、自動運転のシミュレーション結果を解析処理部23cによって解析した結果がより適切なものになるように、自動運転のアルゴリズムに対する機械学習を行うことができる。
Further, the
Further, the
解析処理部23cは、シミュレーション処理部23bによって取得されたシミュレーション結果のデータを基に、自動運転のアルゴリズムの性能評価等のために解析を行う処理(解析処理)を実行する。
このとき、解析処理部23cは、上述のライブラリ2を呼び出すことにより、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データにおいて、polarityがマイナスである画素を青、polarityがプラスである画素を赤として、出力データが表す画像を表示することができる。また、解析処理部23cは、上述のライブラリ4を呼び出すことにより、撮像時に輝度の増加及び減少の判定に用いられた閾値Th1に応じたデータの正規化を行い、自動運転のシミュレーションにおいて検出された画素の状態の変化を時系列にグラフ化して表示することができる。
The
At this time, the
[動作]
次に、本適用例の撮像装置1の動作を説明する。
図13は、自動運転のシミュレーションが行われる経路の一例を示す模式図である。
図13に示す経路は、自宅(地点A)を出発し、住宅街を通過して地点Bにおいて右折して国道に入り、さらに、地点Cにおいて左折して商店街に進入すると共に、踏切を通過して公園(地点D)に至るものである。ただし、地点Cから地点Dの区間は、工事中等の理由により、実際の走行ができない区間である。
以下、図13に例示される経路を対象として、自動運転のシミュレーション環境を表す空間のデータを構築し、その経路における自動運転のシミュレーション及びシミュレーション結果の解析を行う場合を想定して、撮像装置1の動作を説明する。
[motion]
Next, the operation of the
FIG. 13 is a schematic diagram showing an example of a route on which automatic driving simulation is performed.
The route shown in Figure 13 starts from home (point A), passes through a residential area, turns right at point B, enters the national highway, then turns left at point C, enters a shopping district, and passes through a railroad crossing. and then reach the park (point D). However, the section from point C to point D is a section where actual driving is not possible due to construction or other reasons.
Hereinafter, assuming that spatial data representing a simulation environment for autonomous driving is constructed for the route illustrated in FIG. Explain the operation.
[環境構築処理]
図14は、撮像装置1が実行する環境構築処理の流れを説明するフローチャートである。
環境構築処理は、環境構築処理の開始を指示する操作が行われることにより開始される。
ステップS41において、空間データ取得部23aは、自動車に設置された撮像ユニット10及び撮像ユニット100によって自動車の走行範囲における実空間を撮像した画素データ(実データ)を取得して出力データ記憶部24に記憶する。このとき、空間データ取得部23aは、撮像ユニット100によって撮像された風景を表す画素データ及び撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データを併せて取得できるタイミングでは、これらの画素データを併せて取得する。また、空間データ取得部23aは、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データのみを取得できるタイミングでは、撮像ユニット10が出力する画素データのみを取得する。
[Environment construction processing]
FIG. 14 is a flowchart illustrating the flow of environment construction processing executed by the
The environment construction process is started by performing an operation that instructs the start of the environment construction process.
In step S41, the spatial
ステップS42において、空間データ取得部23aは、3DモデルDB26に記憶された3次元モデルデータを用いて、仮想空間内に設定された走行範囲を仮想的な撮像装置1で撮像した画素データ(仮想データ)を取得して出力データ記憶部24に記憶する。このとき、空間データ取得部23aは、撮像ユニット100の撮像周期と同一のタイミングで撮像ユニット10からの出力となる画素データを算出し、仮想的な撮像ユニット10及び撮像ユニット100が出力する画素データを併せて取得する。
なお、ステップS42において、空間データ取得部23aは、上述のライブラリ7を呼び出し、3D空間内を撮像する仮想カメラのパラメータ(視点位置、絞り値、感度等)を設定することができる。また、ステップS41及びステップS42において、空間データ取得部23aは、上述のライブラリ3を呼び出し、出力データの保存形式を適宜切り替えることができる。
In step S42, the spatial
Note that in step S42, the spatial
ステップS43において、空間データ取得部23aは、取得した実データ及び仮想データを合成し、自動運転のシミュレーション環境を表す空間のデータを構築する。このとき、空間データ取得部23aは、上述のライブラリ1を呼び出し、撮像ユニット10によって出力されたデータを画像として読み出すことにより、自動運転のシミュレーション環境を表す空間のデータを構築する。なお、自動運転のシミュレーション環境を表す空間の実データには、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データと、撮像ユニット100によって撮像された風景を表す画素データとが含まれている。ステップS43の処理では、空間データ取得部23aは、撮像ユニット100によって撮像された風景を表す画素データ及び撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データが併せて取得されているタイミング以外において、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データにより物体の形状を補間し、自動運転のシミュレーション環境を表す空間のデータをより高精度なものに変換する。
In step S43, the spatial
ステップS44において、空間データ取得部23aは、構築した空間のデータを不図示のメモリまたは記憶部20Bの記憶領域に記憶する。
ステップS44の後、環境構築処理は終了となる。
In step S44, the spatial
After step S44, the environment construction process ends.
[シミュレーション処理]
図15は、撮像装置1が実行するシミュレーション処理の流れを説明するフローチャートである。
シミュレーション処理は、シミュレーション処理の開始を指示する操作が行われることにより開始される。
ステップS51において、シミュレーション処理部23bは、自動運転のシミュレーション環境を表す空間のデータを取得する。
ステップS52において、シミュレーション処理部23bは、自動運転のシミュレーション環境を表す空間内で、出発地点からの移動(シミュレーション)を開始する。
[Simulation processing]
FIG. 15 is a flowchart illustrating the flow of simulation processing executed by the
The simulation process is started by performing an operation that instructs the start of the simulation process.
In step S51, the
In step S52, the
ステップS53において、シミュレーション処理部23bは、設定された自動運転アルゴリズムに従い、自動運転のシミュレーション環境を表す空間内を移動し、自動車の応答(運転履歴)をシミュレーション結果として記録する。
ステップS54において、シミュレーション処理部23bは、自動運転のシミュレーション環境を表す空間内で、目的地へ到達したか否かの判定を行う。
自動運転のシミュレーション環境を表す空間内で、目的地へ到達していない場合、ステップS54においてNOと判定されて、処理はステップS53に移行する。
一方、自動運転のシミュレーション環境を表す空間内で、目的地へ到達した場合、ステップS54においてYESと判定されて、シミュレーション処理は終了となる。
In step S53, the
In step S54, the
If the destination has not been reached within the space representing the automated driving simulation environment, the determination in step S54 is NO, and the process proceeds to step S53.
On the other hand, if the destination is reached within the space representing the automated driving simulation environment, YES is determined in step S54, and the simulation process ends.
[解析処理]
図16は、撮像装置1が実行する解析処理の流れを説明するフローチャートである。
解析処理は、解析処理の開始を指示する操作が行われることにより開始される。
ステップS61において、解析処理部23cは、自動車の運転履歴(シミュレーション結果)のデータを読み出す。
[Analysis processing]
FIG. 16 is a flowchart illustrating the flow of analysis processing executed by the
The analysis process is started by performing an operation that instructs the start of the analysis process.
In step S61, the
ステップS62において、解析処理部23cは、撮像装置1を視点とする画像を時系列に読み出し、風景の画像として表示する。解析処理部23cは、上述のライブラリ2を呼び出すことにより、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データにおいて、polarityがマイナスである画素を青、polarityがプラスである画素を赤として、出力データが表す画像を表示することができる。なお、ステップS62においては、自動運転のシミュレーションにおいて検出された画素の状態の変化を時系列にグラフ化する等、解析の内容に応じて、異なる解析結果を表示させることとしてもよい。
In step S62, the
ステップS63において、解析処理部23cは、解析処理の終了が指示されたか否かの判定を行う。
解析処理の終了が指示されていない場合、ステップS63においてNOと判定されて、処理はステップS62に移行する。
一方、解析処理の終了が指示された場合、ステップS63においてYESと判定されて、解析処理は終了となる。
In step S63, the
If the end of the analysis process has not been instructed, the determination in step S63 is NO, and the process moves to step S62.
On the other hand, if an instruction to end the analysis process is given, a YES determination is made in step S63, and the analysis process ends.
以上のように、本適用例における撮像装置1は、自動車に設置された撮像ユニット10及び撮像ユニット100によって自動車の走行範囲における実空間を撮像した実データを取得すると共に、3DモデルDB26に記憶された3次元モデルデータを用いて、仮想空間内に設定された走行範囲を仮想的な撮像装置1で撮像した仮想データを取得する。そして、撮像装置1は、取得した実データ及び仮想データを合成し、自動運転のシミュレーション環境を表す空間のデータを構築する。
そのため、撮像ユニット100によって撮像された風景を表す画素データ及び撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データが併せて取得されているタイミング以外において、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データにより物体の形状を補間し、自動運転のシミュレーション環境を表す空間のデータをより高精度なものに変換することができる。
さらに、撮像装置1は、構築した空間のデータを参照し、設定された自動運転のアルゴリズムに従って、この空間におけるシミュレーション処理を実行する。
したがって、自動運転のアルゴリズムとして、テスト等の対象となる種々のものを設定し、自動運転のシミュレーション結果を取得することができる。
As described above, the
Therefore, at times other than when pixel data representing the scenery imaged by the
Furthermore, the
Therefore, it is possible to set various automatic driving algorithms to be tested, etc., and obtain automatic driving simulation results.
また、撮像装置1は、シミュレーション結果のデータを基に、自動運転のアルゴリズムの性能評価等のための解析処理を実行する。
これにより、構築した空間を利用して、設定された自動運転のアルゴリズムによる自動運転の結果を解析することができ、自動運転のアルゴリズムに対する機械学習を行うことが可能となる。
また、機械学習により適切化された自動運転のアルゴリズムを実際の自動車における自動運転に用いることが可能となる。
The
This makes it possible to use the constructed space to analyze the results of automated driving based on the set automated driving algorithm, and to perform machine learning on the automated driving algorithm.
Furthermore, it will be possible to use automated driving algorithms optimized through machine learning for automated driving in actual cars.
また、シミュレーション結果のデータを可視化して解析し、自動運転のアルゴリズムの高性能化に反映させることができる。
また、本適用例の撮像装置1により、撮像ユニット10が出力する画素データにより被写体の変化を早期に検出できると共に、撮像ユニット10及び撮像ユニット100が出力する画素データを併せて用いることにより、被写体となる物体の形状をより正確に把握し、構築することができる。さらに、撮像装置1により、自動運転時の状況把握及び応答を迅速化することができる。
In addition, the simulation result data can be visualized and analyzed, and reflected in the improvement of the performance of autonomous driving algorithms.
Furthermore, with the
また、本適用例の撮像装置1には、使用される頻度が高い各種機能をまとめたライブラリが用意されている。
これにより、アプリケーションにおいては、ライブラリを呼び出すことで、上位の命令を記述しておけば、撮像装置1における各種機能を実現するための下位の制御を容易に実行することができる。
Further, the
As a result, in an application, by calling the library and writing higher-level commands, lower-level control for realizing various functions in the
なお、撮像装置1は、自動車に限らず、移動可能な装置の自律的な移動または手動操作による移動において、撮像ユニット10が出力する画素データを取得し、被写体の変化を検出することができる。例えば、撮像装置1を用いることにより、歩行可能なロボット、ドローン等の飛行体、船舶、潜水艇等の移動において、撮像ユニット10が出力する画素データを取得し、被写体の変化を検出することができる。また、撮像装置1は、自動車の自動運転を始め、これら移動可能な装置の自律制御のシミュレーションあるいは実働に用いることが可能である。
また、解析処理における解析の対象は、自動運転のシミュレーション結果に限らず、実際の自動運転の運転履歴のデータとすることも可能である。
Note that the
Furthermore, the object of analysis in the analysis process is not limited to the simulation results of automatic driving, but can also be data on the driving history of actual automatic driving.
また、上述の実施形態において撮像装置1が実行するものとして説明した各種処理を、撮像装置1以外の情報処理装置で行うこととしてもよい。
また、上述の実施形態において撮像装置1が実行するものとして説明した各種処理の一部を撮像装置1以外の情報処理装置で実行し、撮像装置1は、その実行結果を取得することとしてもよい。
また、上述の実施形態において、撮像装置1が用いる各種データ(実空間の3次元モデルデータ等)は、撮像装置1以外の情報処理装置に記憶しておき、必要なデータを適宜ダウンロードして撮像装置1に記憶することとしてもよい。
Furthermore, the various processes described as being executed by the
Furthermore, part of the various processes described as being executed by the
Further, in the above-described embodiment, various data used by the imaging device 1 (such as three-dimensional model data in real space) are stored in an information processing device other than the
以上のように構成される撮像装置1は、撮像ユニット10と、情報処理ユニット20と、を備える。情報処理ユニット20は、データ受信部21と、データ格納制御部22と、処理部23と、記憶部20Bと、を備える。
撮像ユニット10は、被写体を撮像する撮像センサに備えられた撮像素子の出力の変化に基づいて、撮像素子に対応する画素の状態の変化を表すデータを送信する。
データ受信部21は、撮像ユニット10によって送信された画素の状態の変化を表すデータを、画素毎に非同期的に受信する。
記憶部20Bは、画素の状態の変化を表すデータと、当該画素の状態の変化を表すデータに関する時刻情報及び画素のアドレスとが、予め設定された保存形式で記憶される。
データ格納制御部22は、データ受信部21によって受信された画素の状態の変化を表すデータを、予め設定された保存形式のデータとして記憶部20Bに記憶させる。
これにより、画素毎に変化が検出され次第、非同期的に画素の状態を表すデータが出力されることから、撮像された1フレーム毎のデジタル画像を出力して物体検出等のアプリケーションに用いる従来の技術に比べ、画角における被写体の変化を少ないデータ量で高速に検出することが可能となる。
また、撮像装置1は、所定の保存形式で格納された画素データを読み出し、各種アプリケーションに用いることができる。
したがって、撮像装置1によれば、デジタル画像を用いた情報処理技術において、より適切な機能を実現することが可能となる。
The
The
The
The
The data
As a result, as soon as a change is detected for each pixel, data representing the state of the pixel is output asynchronously. Compared to other techniques, it is possible to detect changes in the subject in terms of angle of view at high speed and with a small amount of data.
Furthermore, the
Therefore, according to the
また、記憶部20Bは、画素の状態の変化を表すデータが増加を表している場合に当該データを記憶する増加時用フレームメモリ24aと、画素の状態の変化を表すデータが減少を表している場合に当該データを記憶する減少時用フレームメモリ24bとを備える。
これにより、必要なデータを参照しやすい形態で画素データを保存することができる。また、例えば、画素データ(時刻情報、画素のアドレス、各画素の状態を表すデータ等)のうち、時刻情報のみを所定のアドレスに格納すればよいため、これら全てを保存する場合に比べ、保存するデータ量を削減することができる。さらに、増加時用フレームメモリ24a及び減少時用フレームメモリ24bのサイズは予め決まることから、画素データを保存するために必要な記憶容量を容易に見積もることが可能となる。
The
Thereby, pixel data can be saved in a format that makes it easy to refer to necessary data. In addition, for example, of the pixel data (time information, pixel addresses, data representing the state of each pixel, etc.), only the time information needs to be stored at a predetermined address, so compared to the case where all of these data are stored, storage The amount of data to be processed can be reduced. Further, since the sizes of the
また、撮像ユニット10から送信されるデータ量に基づいて、撮像素子の出力の変化を判定するための閾値が変更される。
これにより、撮像ユニット10から送信されるデータ量を設定された範囲に収束させることができる。
Further, based on the amount of data transmitted from the
Thereby, the amount of data transmitted from the
データ格納制御部22は、撮像素子に対応する画素の状態の変化を表すデータと、当該データについて撮像素子の出力の変化を判定するために用いられた閾値とを対応付けて記憶部20Bに記憶させる。
これにより、撮像素子の出力の変化を判定する際に用いられた閾値を参照することで、画素の状態の変化量を算出することが可能となる。
The data
This makes it possible to calculate the amount of change in the state of the pixel by referring to the threshold value used when determining the change in the output of the image sensor.
また、情報処理ユニット20は、撮像ユニット10から送信される撮像素子に対応する画素の状態の変化を表すデータの分布に応じて、撮像ユニット10におけるフォーカスまたはズームの制御を行う。
これにより、画角内において変化が大きい領域等に着目して被写体の状態を検出することができる。
Further, the
Thereby, it is possible to detect the state of the subject by focusing on an area where there is a large change within the angle of view.
また、撮像センサは、撮像素子にカラーフィルタを備える。
撮像素子に対応する画素の状態の変化を表すデータは、撮像素子に備えられたカラーフィルタが透過する光の波長に対応する画素の状態を表す。
これにより、光の波長を反映させた処理が有効なアプリケーションにおいて、より利便性の高い技術を提供することができる。
Further, the image sensor includes a color filter in the image sensor.
Data representing a change in the state of a pixel corresponding to an image sensor represents a state of a pixel corresponding to a wavelength of light transmitted through a color filter provided in the image sensor.
This makes it possible to provide a more convenient technology in applications where processing that reflects the wavelength of light is effective.
また、撮像装置1は、撮像ユニット100を備える。
撮像ユニット100は、風景を表す画像のデータを取得する。
処理部23は、撮像ユニット10から送信された撮像素子に対応する画素の状態の変化を表すデータと、撮像ユニット100によって取得された画像のデータとを対応付けて、アプリケーションによる処理を実行する。
これにより、撮像ユニット100によって取得された画像のデータから物体の形状を構築することに加え、撮像ユニット10によって撮像された画素の状態を表すデータを含む画素データにより物体の形状を補間し、より高精度な空間のデータを構築することができる。
Further, the
The
The
As a result, in addition to constructing the shape of the object from the data of the image acquired by the
処理部23は、記憶部20Bに記憶された撮像素子に対応する画素の状態の変化を表すデータを画像として読み出すか、または、画素データとして読み出すかを切り替える。
これにより、処理内容に応じて、画素の状態の変化を表すデータを適切な形式で読み出すことが可能となる。
The
This makes it possible to read data representing changes in pixel states in an appropriate format depending on the processing content.
また、情報処理装置としての撮像装置1は、情報処理ユニット20に空間データ取得部23aを備える。
空間データ取得部23aは、3次元仮想空間において、被写体を仮想的に撮像した際の仮想的な撮像素子に対応する画素の状態の変化を表すデータを、画素毎に非同期的に取得する。
これにより、実空間を実際に撮像できない場合であっても、仮想的に被写体の状態を検出したデータを取得することができる。
Further, the
The spatial
As a result, even if it is not possible to actually image the real space, it is possible to obtain data that virtually detects the state of the subject.
また、撮像装置1は、撮像ユニット10と、データ受信部21と、データ格納制御部22と、処理部23と、記憶部20Bと、を備える。
撮像ユニット10は、被写体を撮像する撮像センサに備えられた撮像素子の出力の変化に基づいて、撮像素子に対応する画素の状態の変化を表すデータを送信する。
データ受信部21は、撮像ユニット10によって送信された画素の状態の変化を表すデータを、画素毎に非同期的に受信する。
記憶部20Bは、空間データ取得部23aによって取得された画素の状態の変化を表すデータ及びデータ受信部21によって受信された画素の状態の変化を表すデータと、当該画素の状態の変化を表すデータに関する時刻情報及び画素のアドレスとが、予め設定された保存形式で記憶される。
データ格納制御部22は、空間データ取得部23aによって取得された画素の状態の変化を表すデータ及びデータ受信部21によって受信された画素の状態の変化を表すデータを、予め設定された保存形式のデータとして記憶部20Bに記憶させる。
これにより、画素毎に変化が検出され次第、非同期的に画素の状態を表すデータが出力されることから、撮像された1フレーム毎のデジタル画像を出力して物体検出等のアプリケーションに用いる従来の技術に比べ、画角における被写体の変化を少ないデータ量で高速に検出することが可能となる。
また、撮像装置1は、所定の保存形式で格納された画素データを読み出し、各種アプリケーションに用いることができる。
また、仮想的に被写体の状態を検出したデータと、撮像により検出した画素の状態の変化を表すデータとを相互に補間させて、より適切な処理を行うことができる。
したがって、撮像装置1によれば、デジタル画像を用いた情報処理技術において、より適切な機能を実現することが可能となる。
The
The
The
The
The data
As a result, as soon as a change is detected for each pixel, data representing the state of the pixel is output asynchronously. Compared to other techniques, it is possible to detect changes in the subject in terms of angle of view at high speed and with a small amount of data.
Furthermore, the
Moreover, more appropriate processing can be performed by mutually interpolating data that virtually detects the state of the subject and data that represents changes in the state of pixels detected by imaging.
Therefore, according to the
空間データ取得部23aは、取得した画素の状態の変化を表すデータ及びデータ受信部21によって受信された画素の状態の変化を表すデータの少なくともいずれかに基づいて、3次元空間を表す空間データを構築する。
これにより、仮想的に被写体の状態を検出したデータと、撮像により検出した画素の状態の変化を表すデータとを相互に補間させて、3次元空間のデータをより高精度なものとすることができる。
The spatial
This makes it possible to interpolate data that virtually detects the state of the subject and data representing changes in the pixel state detected through imaging, thereby making the data in three-dimensional space more accurate. can.
また、撮像装置1は、シミュレーション処理部23bを備える。
シミュレーション処理部23bは、空間データ取得部23aによって構築された空間データに基づいて、移動可能な装置から視認される被写体の変化を検出し、移動を制御するためのシミュレーションを行う。
これにより、移動可能な装置を制御するための種々のアルゴリズムを設定し、シミュレーション結果を取得することができる。
The
The
This makes it possible to set various algorithms for controlling the movable device and obtain simulation results.
また、撮像装置1は、解析処理部23cを備える。
解析処理部23cは、シミュレーション処理部23bによるシミュレーションの結果に基づいて、移動を制御するためのアルゴリズムに関する学習を行う。
これにより、構築された空間データを用いてシミュレーションを繰り返し行うことで、より適切なアルゴリズムを生成することができる。
The
The
As a result, a more appropriate algorithm can be generated by repeatedly performing simulations using the constructed spatial data.
解析処理部23cは、空間データ取得部23aによって取得された画素の状態の変化を表すデータ及びデータ受信部21によって受信された画素の状態の変化を表すデータを、当該データについて撮像素子の出力の変化を判定するために用いられた閾値に基づいて正規化し、画素の変化を表示する。
これにより、取得された画素の状態の変化を客観的に解析可能な形態で表示することができる。
The
Thereby, changes in the state of the acquired pixels can be displayed in a form that can be objectively analyzed.
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
即ち、本発明は、撮像機能を備える各種電子機器、あるいは、情報処理機能を備える各種電子機器に対して適用することができる。
It should be noted that the present invention is not limited to the above-described embodiments, and any modifications, improvements, etc. that can achieve the purpose of the present invention are included in the present invention.
That is, the present invention can be applied to various electronic devices having an imaging function or various electronic devices having an information processing function.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図1及び図10の構成、図11の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
The series of processes described above can be executed by hardware or software.
In other words, the configurations in FIGS. 1 and 10 and the functional configuration in FIG. 11 are merely examples and are not particularly limited. That is, it is sufficient that the
Further, one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
The functional configuration in this embodiment is realized by a processor that executes arithmetic processing, and processors that can be used in this embodiment include various processing units such as a single processor, a multiprocessor, and a multicore processor. In addition, it includes combinations of these various processing devices and processing circuits such as ASICs (Application Specific Integrated Circuits) and FPGAs (Field-Programmable Gate Arrays).
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processes is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer built into dedicated hardware. Further, the computer may be a computer that can execute various functions by installing various programs, such as a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk),Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM(Read Only Memory)や、記憶部20Bに含まれる半導体メモリ等で構成される。
A recording medium containing such a program is not only configured as a removable medium distributed separately from the device itself in order to provide the program to the user, but also provided to the user in a state that is pre-installed in the device body. Consists of recording media, etc. The removable medium is, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. Optical disks include, for example, CD-ROMs (Compact Disk-Read Only Memory), DVDs (Digital Versatile Disks), Blu-ray (registered trademark) Discs, and the like. The magneto-optical disk is composed of an MD (Mini-Disk) or the like. Further, the recording medium provided to the user in a state that is pre-installed in the main body of the apparatus includes, for example, a ROM (Read Only Memory) in which a program is recorded, a semiconductor memory included in the
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described above, these embodiments are merely illustrative and do not limit the technical scope of the present invention. The present invention can take various other embodiments, and various changes such as omissions and substitutions can be made without departing from the gist of the present invention. These embodiments and their modifications are included within the scope and gist of the invention described in this specification and the like, as well as within the scope of the invention described in the claims and its equivalents.
1 撮像装置、10,100 撮像ユニット、11,111 レンズ、12,112 撮像デバイス、20 情報処理ユニット、20A プロセッサ、20B 記憶部、21 データ受信部、22 データ格納制御部、23 処理部、23a 空間データ取得部、23b シミュレーション処理部、23c 解析処理部、24 出力データ記憶部、24a 増加時用フレームメモリ、24b 減少時用フレームメモリ、25 ライブラリ記憶部、26 3Dモデルデータベース、30 センサユニット 1 Imaging device, 10,100 Imaging unit, 11,111 Lens, 12,112 Imaging device, 20 Information processing unit, 20A Processor, 20B Storage unit, 21 Data receiving unit, 22 Data storage control unit, 23 Processing unit, 23a Space Data acquisition section, 23b Simulation processing section, 23c Analysis processing section, 24 Output data storage section, 24a Frame memory for increase, 24b Frame memory for decrease, 25 Library storage section, 26 3D model database, 30 Sensor unit
Claims (8)
前記撮像手段によって送信された前記画素の状態の変化を表すデータを、画素毎に非同期的に受信するデータ受信手段と、
前記仮想データ取得手段によって取得された前記画素の状態の変化を表すデータ及び前記データ受信手段によって受信された画素の状態の変化を表すデータと、当該画素の状態の変化を表すデータに関する時刻情報及び画素のアドレスとが、予め設定された保存形式で記憶される記憶手段と、
前記仮想データ取得手段によって取得された前記画素の状態の変化を表すデータ及び前記データ受信手段によって受信された画素の状態の変化を表すデータを、前記保存形式のデータとして前記記憶手段に記憶させる記憶制御手段と、
を備えることを特徴とする請求項1に記載の情報処理装置。 Imaging means for transmitting data representing a change in the state of a pixel corresponding to the image sensor based on a change in the output of an image sensor included in an image sensor that images a subject;
data receiving means for asynchronously receiving data representing a change in the state of the pixel transmitted by the imaging means for each pixel;
data representing a change in the state of the pixel acquired by the virtual data acquisition means, data representing a change in the state of the pixel received by the data receiving means, time information regarding the data representing a change in the state of the pixel, and a storage means in which the pixel address is stored in a preset storage format;
Storage for storing data representing a change in the state of the pixel acquired by the virtual data acquisition means and data representing a change in the state of the pixel received by the data receiving means as data in the storage format in the storage means. control means;
The information processing device according to claim 1, further comprising:
3次元仮想空間において、被写体を仮想的に撮像した際の仮想的な撮像素子に対応する画素の状態の変化を表すデータを、画素毎に非同期的に取得する仮想データ取得機能を実現させることを特徴とするプログラム。 to the computer,
In a three-dimensional virtual space, we aim to realize a virtual data acquisition function that asynchronously acquires data representing changes in the state of pixels corresponding to a virtual image sensor when a subject is virtually imaged for each pixel. Featured programs.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023119527A JP2023130522A (en) | 2019-05-31 | 2023-07-22 | Information processing device, information processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019103387A JP7393851B2 (en) | 2019-05-31 | 2019-05-31 | Imaging device, imaging method and program |
JP2023119527A JP2023130522A (en) | 2019-05-31 | 2023-07-22 | Information processing device, information processing method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019103387A Division JP7393851B2 (en) | 2019-05-31 | 2019-05-31 | Imaging device, imaging method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023130522A true JP2023130522A (en) | 2023-09-20 |
Family
ID=73649348
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019103387A Active JP7393851B2 (en) | 2019-05-31 | 2019-05-31 | Imaging device, imaging method and program |
JP2023119527A Pending JP2023130522A (en) | 2019-05-31 | 2023-07-22 | Information processing device, information processing method, and program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019103387A Active JP7393851B2 (en) | 2019-05-31 | 2019-05-31 | Imaging device, imaging method and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7393851B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AT502551B1 (en) * | 2005-06-15 | 2010-11-15 | Arc Seibersdorf Res Gmbh | METHOD AND PICTURE EVALUATION UNIT FOR SCENE ANALYSIS |
KR102022970B1 (en) * | 2013-04-30 | 2019-11-04 | 삼성전자주식회사 | Method and apparatus for sensing spatial information based on vision sensor |
JP7298277B2 (en) * | 2019-04-25 | 2023-06-27 | トヨタ自動車株式会社 | event camera |
-
2019
- 2019-05-31 JP JP2019103387A patent/JP7393851B2/en active Active
-
2023
- 2023-07-22 JP JP2023119527A patent/JP2023130522A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7393851B2 (en) | 2023-12-07 |
JP2020198535A (en) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101826897B1 (en) | Method and camera for determining an image adjustment parameter | |
US7973833B2 (en) | System for and method of taking image and computer program | |
EP2104333B1 (en) | Image recording method, image recording device, and image recording program | |
EP3197147A1 (en) | Event signal processing method and apparatus | |
CN103179350B (en) | The camera and method of the exposure of picture frame in picture frame sequence based on the sports level optimization capturing scenes in scene | |
KR20170135855A (en) | Automated generation of panning shots | |
US20070018977A1 (en) | Method and apparatus for generating a depth map | |
WO2019177736A1 (en) | Three-dimensional environment modeling based on a multicamera convolver system | |
JP6924064B2 (en) | Image processing device and its control method, and image pickup device | |
JP2022520772A (en) | How to process a series of events received asynchronously from a pixel array of event-based optical sensors | |
US20190304122A1 (en) | Image processing device, image processing method, recording medium storing image processing program and image pickup apparatus | |
CN112017137B (en) | Image processing method, device, electronic equipment and computer readable storage medium | |
JP7393851B2 (en) | Imaging device, imaging method and program | |
JP2021007055A (en) | Discriminator learning device, discriminator learning method, and computer program | |
JP4926450B2 (en) | Image processing device | |
JP2016109766A (en) | Imaging device | |
KR20230149615A (en) | Method and apparatus for light estimation | |
CN115037869A (en) | Automatic focusing method and device, electronic equipment and computer readable storage medium | |
KR101741150B1 (en) | An imaging photographing device and an imaging photographing method using an video editing | |
CN115512242B (en) | Scene change detection method and flight device | |
Samadzadeh et al. | Amirkabir campus dataset: Real-world challenges and scenarios of Visual Inertial Odometry (VIO) for visually impaired people | |
JP2020095673A (en) | Image processing device, control method therefor, and image capturing device | |
KR20170009654A (en) | An imaging photographing device and an imaging photographing method using an video editing | |
JP2014143551A (en) | Image processing apparatus, imaging apparatus, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230723 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240903 |