JP2023152041A - イベントセンサ、撮影システム、データ処理システム - Google Patents
イベントセンサ、撮影システム、データ処理システム Download PDFInfo
- Publication number
- JP2023152041A JP2023152041A JP2022061969A JP2022061969A JP2023152041A JP 2023152041 A JP2023152041 A JP 2023152041A JP 2022061969 A JP2022061969 A JP 2022061969A JP 2022061969 A JP2022061969 A JP 2022061969A JP 2023152041 A JP2023152041 A JP 2023152041A
- Authority
- JP
- Japan
- Prior art keywords
- event
- data
- event data
- sensor
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 167
- 230000008859 change Effects 0.000 claims abstract description 43
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 33
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 22
- 241000196324 Embryophyta Species 0.000 description 11
- 230000007423 decrease Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 244000025254 Cannabis sativa Species 0.000 description 5
- 101100449439 Drosophila melanogaster grass gene Proteins 0.000 description 5
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001373 regressive effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】イベントセンサを用いる場合に、撮影領域内に、風で揺れる草木などの定常的に動く物体があるときと、人や車両などの非定常的に動く物体があるときと、を識別する。【解決手段】本開示のイベントセンサは、撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に出力する撮像素子制御部と、所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、前記所定条件を満たしたと前記処理部によって判定された場合、前記イベントデータを外部に出力する送信部と、を備える。【選択図】図5
Description
本開示は、イベントセンサ、撮影システム、データ処理システムに関する。
従来から、イメージセンサの一種として、イベントセンサ(イベントカメラ)が知られている。イベントセンサは、各画素における輝度値(画素値)の変化をイベントとして検出し、例えば、検出したタイミング(時刻)、イベントが発生した画素位置(座標)、変化値(増加または減少の2値)を含むイベントデータを生成して出力する。
イベントセンサは、輝度値の変化があった画素のみのイベントデータを出力するため、例えば、所定のフレームレートで全画素のデータを出力する従来の画像カメラと比べて、消費電力が低い。
また、例えば、車両用の撮影システムにイベントセンサと画像カメラを用いる場合、それらの撮影領域を同じにしておく。そして、所定時間内にイベントセンサから出力されたイベントデータの数が所定閾値以上となった場合に画像カメラによる撮影を開始し、所定時間内にイベントセンサから出力されたイベントデータの数が所定閾値未満となった場合に画像カメラによる撮影を終了する。これにより、撮影領域内に人や他車両などの動く物体が存在する場合にだけ画像カメラによってそれらの撮影を行うようにして、常に画像カメラで撮影する場合に比べて消費電力を低減することができる。
しかしながら、上述の従来技術では、イベントデータの数が所定閾値以上となった場合に画像カメラによる撮影を開始するので、例えば、撮影領域内に風で揺れる草木(撮影不要物体)などがあって定常的に所定閾値以上の数のイベントデータが発生した場合には、画像カメラでの撮影を行うことになる。そのため、消費電力低減の効果が得られず、改善の余地がある。
そこで、本発明の課題は、イベントセンサを用いる場合に、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときと、人や車両などの非定常的に動く物体があるときと、を識別可能とするイベントセンサ、撮影システム、データ処理システムを提供することである。
本開示のイベントセンサは、撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に出力する撮像素子制御部と、所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、前記所定条件を満たしたと前記処理部によって判定された場合、前記イベントデータを外部に出力する送信部と、を備える。
これにより、例えば、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときは、所定条件を満たさないので、イベントデータを外部に出力しない。また、撮影領域内に、人や車両などの非定常的に動く物体があるときは、所定条件を満たすので、イベントデータを外部に出力する。つまり、両者を識別できる。これにより、消費電力を低減することができる。
これにより、例えば、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときは、所定条件を満たさないので、イベントデータを外部に出力しない。また、撮影領域内に、人や車両などの非定常的に動く物体があるときは、所定条件を満たすので、イベントデータを外部に出力する。つまり、両者を識別できる。これにより、消費電力を低減することができる。
また、前記処理部は、前記イベントデータの数の変化量が所定閾値以上である場合に、前記所定条件を満たしたと判定する。
これにより、例えば、イベントデータの数の変化量が所定閾値以上か否かというシンプルな処理で、所定条件を満たしたか否かを判定できる。
これにより、例えば、イベントデータの数の変化量が所定閾値以上か否かというシンプルな処理で、所定条件を満たしたか否かを判定できる。
また、前記処理部は、すべての前記画素のうち、所定間隔ごとの前記画素のみの前記イベントデータについて、前記所定条件を満たしたか否かを判定する。
これにより、例えば、判定に使う画素を間引いても判定精度はあまり低下しないという特性を利用して判定精度を維持しつつ、消費電力をさらに低減できる。
これにより、例えば、判定に使う画素を間引いても判定精度はあまり低下しないという特性を利用して判定精度を維持しつつ、消費電力をさらに低減できる。
また、前記所定間隔は、予め定められた撮影対象物体の大きさと前記撮影対象物体までの距離に基づいて決定される。
これにより、例えば、所定間隔を、撮影対象物体を撮影するために適正な値とすることができる。
これにより、例えば、所定間隔を、撮影対象物体を撮影するために適正な値とすることができる。
また、撮影システムは、イベントセンサと、画像カメラと、記憶装置と、を備える。前記イベントセンサは、撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に出力する撮像素子制御部と、所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、を備える。前記画像カメラは、前記所定条件を満たしたと前記処理部によって判定された場合、撮影を開始して撮影による画像データを前記記憶装置に記憶させる。
これにより、例えば、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときは画像カメラで撮影せず、人や車両などの非定常的に動く物体があるときは画像カメラで撮影して画像データを記憶する。つまり、両者を識別できる。これにより、必要な撮影を行いつつ、消費電力を低減することができる。
これにより、例えば、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときは画像カメラで撮影せず、人や車両などの非定常的に動く物体があるときは画像カメラで撮影して画像データを記憶する。つまり、両者を識別できる。これにより、必要な撮影を行いつつ、消費電力を低減することができる。
また、データ処理システムは、イベントセンサと、データ処理装置と、記憶装置と、を備える。前記イベントセンサは、撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に前記データ処理装置に送信する。前記データ処理装置は、所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、前記所定条件を満たしたと前記処理部によって判定された場合、前記イベントデータを前記記憶装置に記憶させる記憶制御部と、を備える。
これにより、例えば、イベントセンサ側ではなく、データ処理装置側でも、イベントデータの数の変化量に関する判定を行うことができる。
これにより、例えば、イベントセンサ側ではなく、データ処理装置側でも、イベントデータの数の変化量に関する判定を行うことができる。
以下、本発明のイベントセンサ、撮影システム、データ処理システムの実施形態について、図面を参照して説明する。なお、以下の実施形態により本発明が限定されるものではない。また、以下の各実施形態において同一の構成には同一の符号を付し、重複する説明を適宜省略する。また、以下では、イベントデータの数のことを、単に「イベント数」と称する場合がある。
(第1実施形態)
第1実施形態について説明する。まず、図1、図2を参照して、イベントセンサによって検出されるイベントに関する特性について説明する。図1は、第1実施形態において、イベントセンサで定常的に動く物体を検出したときのイベントデータ数の変化に関する説明図である。
第1実施形態について説明する。まず、図1、図2を参照して、イベントセンサによって検出されるイベントに関する特性について説明する。図1は、第1実施形態において、イベントセンサで定常的に動く物体を検出したときのイベントデータ数の変化に関する説明図である。
(a)は、画像カメラによる画像を模式的に示す図である。この画像には、風で揺れる草Gや木Wが映っている。
(b)は、撮影領域が画像カメラと同じイベントセンサによって出力された所定時間内のイベントデータを模式的に示す図である。イベントデータは、風で揺れる草Gや木Wに対応して発生している。
(c)において、(c1)は、(b)の場合のイベント数の時間変化の様子を示すグラフである。また、(c2)は、(c1)に示すイベント数の微分値の時間変化の様子を示すグラフである。ここで、イベント数の微分値とは、ある所定時間内のイベント数から、その直前の所定時間内のイベント数を引いた値である。例えば、ある所定時間内のイベント数が「100」で、その直前の所定時間内のイベント数が「95」の場合、イベント数の微分値はそれらの差分の「5」となる。なお、(c2)のグラフは、(c1)のグラフに対して厳密に描いたものではなく、おおよその様子を描いたものである。
例えば、イベントセンサの撮影領域において、風で揺れる草Gや木Wのサイズが大きいと、イベント数は大きくなる。しかし、イベント数が大きい場合でも、(c2)のグラフからわかるように、イベント数の微分値は小さい値(0付近)で推移する可能性が高い。
次に、図2は、図1に対して、さらに、非定常的に動く物体も検出したときのイベントデータ数の変化に関する説明図である。
(a)の画像カメラ画像に示すように、撮影領域内に、風で揺れる草Gや木Wのほかに人物Mも入ったものとする。その場合、(b)に示すように、人物Mに対応したイベントデータも発生する。
その場合、(c1)に示すように、イベント数は、人物Mが撮影領域を通過する時間帯Tの間、他の時間帯よりも有意に大きくなる。
そして、(c2)に示すように、イベント数の微分値は、時間帯Tの最初に(つまり、人物Mが撮影領域外から撮影領域内に入ってきたときに)瞬間的に有意に大きくなり、また、時間帯Tの最後に(つまり、人物Mが撮影領域内から撮影領域外に出ていったときに)瞬間的に有意に小さくなる。
そして、この図1と図2で説明したイベント数に関する特性を考慮することで、イベントセンサを用いる場合に、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときと、人や車両などの非定常的に動く物体があるときと、を識別することができる。
なお、撮影領域内に人物Mが存在する場合でも、人物Mが移動状態から停止状態に移行したときにはイベント数が急に減り、人物Mが停止状態から移動状態に移行したときにはイベント数が急に増える。
次に、図3と図4を参照して、第1実施形態のデータ処理システムSの構成について説明する。図3は、第1実施形態における各構成の配置例を示す図である。図4は、第1実施形態のデータ処理システムSの全体構成を示す図である。
データ処理システムSは、4つのイベントセンサ1と、データ処理装置2と、記憶装置3と、を備え、それらは車両Cに設置される。それぞれのイベントセンサ1は、車両Cの周囲の人物や他車両を撮影できるように撮影領域を設定される。
イベントセンサ1は、撮像素子11と、撮像素子制御部12と、処理部13と、送信部14と、を備える。
撮像素子11は、光を電気信号に変換する素子である。
撮像素子制御部12は、撮像素子11に対応する画素ごとの輝度変化をイベントとして検出し、イベントが検出されたタイミングとイベントが発生した画素位置とを含むイベントデータを非同期に出力する。
イベントデータとしては、ほかに、輝度値の変化情報を含んでもよい。この変化情報は、輝度値の変化の方向を示す情報である。具体的には、この変化情報は、輝度値の増加、減少を0、1の2値で表現した情報である。例えば、0が輝度値の減少を示し、1が輝度値の増加を示すものとすればよいが、これに限定されず、逆の対応としてもよい。
処理部13は、所定時間ごとにイベントデータの数をカウントし、イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する。
処理部13は、例えば、イベントデータの数の変化量(上述の微分値。以下、単に「微分値」とも称する。)が所定閾値以上である場合に、所定条件を満たしたと判定する。
処理部13は、例えば、微分値が正の一定の閾値(例えば、図2(c2)の水平方向の2本の1点鎖線のうちの上側)以上になった場合、非定常的に動く物体が撮影領域内に存在するとして、イベントデータの記録を行うための送信トリガを送信部14に送信する。
また、処理部13は、例えば、微分値が負の一定の閾値(例えば、図2(c2)の水平方向の2本の1点鎖線のうちの下側)以下になった場合、非定常的に動く物体が停止、または撮影領域外へ退出したとして、イベントデータの記録を停止させる。
なお、微分値の判定に使う閾値はあらかじめ設定した値でもよいし、一定時間の微分値の平均値から算出してもよい。
また、所定条件を満たしたか否かの判定は、上述の微分値を用いた手法に限定されない。ほかに、例えば、以下の(1)~(3)のような手法を用いてもよい。
(1)外れ値検知(検出単位:データ点)
例) k近傍法
(2)異常部位検出(検出単位:部分時系列)
例) k近傍法
(3)変化点検知(検出単位:変化が起きた時点)
例) AR(Auto Regressive)モデル、ARMA(Auto Regressive Moving Average)モデル
(1)外れ値検知(検出単位:データ点)
例) k近傍法
(2)異常部位検出(検出単位:部分時系列)
例) k近傍法
(3)変化点検知(検出単位:変化が起きた時点)
例) AR(Auto Regressive)モデル、ARMA(Auto Regressive Moving Average)モデル
送信部14は、所定条件を満たしたと処理部13によって判定された場合、つまり、処理部13から送信トリガを受け取った場合、撮像素子制御部12から受け取ったイベントデータをデータ処理装置2に送信する。
データ処理装置2は、一時記憶部21と、記憶制御部22と、を備える。
一時記憶部21は、例えばメモリ装置によって構成され、イベントセンサ1から受信したイベントデータを一時的に記憶する。
一時記憶部21は、例えばメモリ装置によって構成され、イベントセンサ1から受信したイベントデータを一時的に記憶する。
記憶制御部22は、一時記憶部21に記憶されているイベントデータを記憶装置3に送信する。
記憶装置3は、データ処理装置2から受信したイベントデータを記憶する。
次に、図5を参照して、イベントセンサ1による処理について説明する。図5は、第1実施形態のイベントセンサ1による処理を示すフローチャートである。
まず、ステップS11において、撮像素子11と撮像素子制御部12によって、すべての画素ごとにイベントを検出する。
次に、ステップS12において、処理部13は、所定の周期毎(所定時間毎)のイベントデータの数(イベント数)をカウントする。
次に、ステップS13において、処理部13は、イベント数を時系列で配列に格納する。
次に、ステップS14において、処理部13は、イベント数の時系列データの定常/非定常を検出する。具体的には、例えば、処理部13は、イベント数の微分値が所定閾値以上である場合に「非定常」と判定し、イベント数の微分値が所定閾値未満である場合に「定常」と判定する。
次に、ステップS15において、処理部13は、非定常状態か否かを判定し、Yesの場合はステップS16に進み、Noの場合はステップS17に進む。
ステップS16において、送信部14は、処理部13から送信トリガを受け取ることにより、データ処理装置2へイベントデータを送信する。その後、ステップS11に戻る。
ステップS17において、処理部13は、イベントデータをデータ処理装置2へ転送中であるか否かを判定し、Yesの場合はステップS18に進み、Noの場合はステップS11に戻る。
ステップS18において、送信部14は、データ処理装置2へのイベントデータの送信を停止する。その後、ステップS11に戻る。
次に、図6を参照して、イベントセンサ1による詳細な処理例について説明する。図6は、第1実施形態のイベントセンサ1による詳細な処理例を示すフローチャートである。
ステップS201において、撮像素子11と撮像素子制御部12によって、すべての画素ごとにイベントを検出する。
次に、ステップS202において、処理部13は、1つのイベントデータごとに、イベント数カウンタをインクリメント(1加算)する。
次に、ステップS203において、処理部13は、所定の周期(所定時間)が経過したか否かを判定し、Yesの場合はステップS204に進み、Noの場合はステップS201に戻る。
ステップS204において、処理部13は、バッファ0の値(前回周期のイベント数)をバッファ1に格納する。
次に、ステップS205において、処理部13は、イベント数カウンタの値をバッファ0に格納する。
次に、ステップS206において、処理部13は、イベント数カウンタを0クリアする。
次に、ステップS207において、処理部13は、2周期目以降であるか否かを判定し、Yesの場合はステップS208に進み、Noの場合はステップS201に戻る。
ステップS208において、処理部13は、バッファ0とバッファ1の値を微分する。つまり、バッファ0の値からバッファ1の値を引く計算をする。以下、計算結果を微分結果とも称する。
次に、ステップS209において、処理部13は、微分結果が所定閾値以上であるか否かを判定し、Yesの場合はステップS210に進み、Noの場合はステップS211に進む。
ステップS210において、送信部14は、イベントデータをデータ処理装置2へ送信する。その後、ステップS201に戻る。
ステップS211において、処理部13は、イベントデータをデータ処理装置2へ転送中であるか否かを判定し、Yesの場合はステップS212に進み、Noの場合はステップS201に戻る。
ステップS212において、送信部14は、イベントデータのデータ処理装置2への送信を停止する。その後、ステップS201に戻る。
次に、図7を参照して、データ処理装置2による処理について説明する。図7は、第1実施形態のデータ処理装置2による処理を示すフローチャートである。
ステップS31において、データ処理装置2は、イベントセンサ1からイベントデータを受信する。
次に、ステップS32において、データ処理装置2は、一時記憶部21へイベントデータを格納する。
次に、ステップS33において、データ処理装置2の記憶制御部22は、記憶装置3へイベントデータを送信して保存させる。
このように、第1実施形態によれば、イベントセンサ1を用いる場合に、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときと、人や車両などの非定常的に動く物体があるときと、を識別することができる。つまり、イベントセンサ1は、撮影領域内に、動く物体として定常的に動く物体だけがあるときは、所定条件を満たさない(例えば微分値が所定閾値以上にならない)ので、イベントデータを外部(データ処理装置2)に出力しない。また、イベントセンサ1は、撮影領域内に、非定常的に動く物体があるときは、所定条件を満たす(例えば微分値が所定閾値以上になる)ので、イベントデータを外部(データ処理装置2)に出力する。
これにより、例えば、撮影領域内に背景で定常的に動く草木の様な物体のみ存在する場合はイベントデータの記録を行わず、監視するべき非定常的に動く物体(人、他車両など)が存在する場合のみイベントデータの記録を行うことで、性能を落とすことなく、消費電力を低減することができる。また、データ処理装置2や記憶装置3における記憶容量を小さくできる。
また、処理部13は、微分値が所定閾値以上である場合に所定条件を満たしたと判定することにより、シンプルな処理で、所定条件を満たしたか否かを判定できる。
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態では、第1実施形態と違って、イベントセンサ1において、処理部13は、すべての画素のうち、所定間隔ごとの画素のみのイベントデータについて、所定条件を満たしたか否かを判定する。
次に、第2実施形態について説明する。第2実施形態では、第1実施形態と違って、イベントセンサ1において、処理部13は、すべての画素のうち、所定間隔ごとの画素のみのイベントデータについて、所定条件を満たしたか否かを判定する。
図8は、第2実施形態において、イベントセンサ1で一部の有効画素によって定常的に動く物体を検出したときのイベントデータ数の変化に関する説明図である。
(a)は、画像カメラによる画像を模式的に示す図である。符号qは有効画素を示す。そして、(b)に示すように、すべての画素のうちの有効画素について風で揺れる草Gや木Wに対応した部分についてイベントデータが発生している。
また、(c)の(c1)と(c2)のグラフからわかるように、全画素でイベントを検出する場合に比べて(図1の(c1)と(c2)参照)、有効画素の数に比例してイベント数と微分値は減少するが、イベント数の変化の傾向はあまり変わらない。
ここで、図9は、図8に対して、さらに、非定常的に動く物体も検出したときのイベントデータ数の変化に関する説明図である。図9からわかるように、全画素でイベントを検出する場合に比べて(図2の(c1)と(c2)参照)、人や車両のような非定常的に動く物体によるイベント数の変化の傾向はあまり変わらない。
次に、図10は、図9と比較して、非定常的に動く物体までの距離が長い場合の説明図である。(a)、(b)に示すように、画面(撮影領域)内での非定常的に動く物体(人物M)のサイズが小さいと、有効画素9で常時検出されづらい場合が考えられる。
その場合、(c)の(c1)、(c2)に示すように、イベント数と微分値の増減は無くなるか、または、無視できる程度に小さくなってしまう。
そこで、有効画素間の所定間隔は、イベントセンサ1の画素数、予め定められた撮影対象物体の大きさ、撮影対象物体までの距離、レンズのパラメータなどに基づいて、適切な値を決定しておくことができる。
つまり、検出したい動く物体の大きさと距離の条件が決まっている場合、その物体までの距離が所定距離以上の場合はイベント数、微分値の増減が小さくなり、その物体までの距離が所定距離未満の場合はイベント数、微分値の増減が大きくなるようにすることで、不要な検出を回避するとともに、画素数の削減によって消費電力をさらに低減できる。
なお、所定間隔の画素の有効化については、イベントセンサ1の画素ごとでイベント検出の有効/無効を設定することで実現してもよいし(以下、有効画素ハード実現と称する。)、あるいは、イベントセンサ1やデータ処理装置2でのデータ処理で無効画素(有効画素以外の画素)のイベントデータを無視することで実現してもよい(以下、有効画素ソフト実現と称する。)。
次に、図11を参照して、データ処理システムSの全体構成について説明する。図11は、第2実施形態のデータ処理システムSの全体構成を示す図である。
有効画素ハード実現の場合、撮像素子制御部12は、処理部13と送信部14に対して、一定間隔(所定間隔)画素のイベントデータを送信する。その場合、送信トリガを受けた送信部14からデータ処理装置2を経由して記憶装置3に、一定間隔画素のイベントデータが送信される。
有効画素ソフト実現の場合、撮像素子制御部12は、送信部14に対して全画素のイベントデータを送信し、処理部13に対して一定間隔画素のイベントデータを送信する。その場合、送信トリガを受けた送信部14からデータ処理装置2を経由して記憶装置3に、全画素のイベントデータが送信される。
いずれの場合でも、処理部13は、一定間隔画素のイベントデータについて、所定条件を満たしたか否かを判定する。
次に、図12を参照して、有効画素ソフト実現の場合のイベントセンサ1による詳細な処理例について説明する。図12は、第2実施形態のイベントセンサ1による詳細な処理例を示すフローチャートである。
ステップS401において、撮像素子11と撮像素子制御部12によって、すべての画素ごとにイベントを検出する。
次に、ステップS402において、撮像素子制御部12は、検出されたイベントについて、有効画素のものか否かを判定し、Yesの場合はステップS403に進み、Noの場合はステップS401に戻る。
ステップS403~S413については、図6のステップS202~S212と同様である。
このように、第2実施形態によれば、判定に使う画素を間引いても判定精度はあまり低下しないという特性を利用して判定精度を維持しつつ、消費電力をさらに低減できる。
また、所定間隔を、少なくとも予め定められた撮影対象物体の大きさと撮影対象物体までの距離に基づいて決定することで、撮影対象物体を撮影するために適正な値とすることができる。つまり、撮影対象物体が所望の距離まで近づいてきたとき以降のイベントデータを記憶することができる。
なお、有効画素ハード実現の場合、図12におけるステップS402の処理は不要となる。
(第3実施形態)
次に、第3実施形態について説明する。第3実施形態では、イベントセンサ1、データ処理装置2、記憶装置3に加えて、画像カメラ4、表示部5も備えた撮影システムSa(図16)について説明する。
次に、第3実施形態について説明する。第3実施形態では、イベントセンサ1、データ処理装置2、記憶装置3に加えて、画像カメラ4、表示部5も備えた撮影システムSa(図16)について説明する。
図13は、第3実施形態の各構成の配置例を示す図である。図3と比較して、それぞれのイベントセンサ1に対して、撮影領域が共通の画像カメラ4が追加されている。
図14は、第3実施形態におけるイベントセンサ1と画像カメラ4の取付位置と撮影範囲の第1の例を示す図である。この第1の例では、イベントセンサ1と画像カメラ4の4組のセットによって、撮影範囲Rとして車両Cの全周囲がカバーされている。
次に、図15は、第3実施形態におけるイベントセンサ1と画像カメラ4の取付位置と撮影範囲の第2の例を示す図である。この第2の例では、イベントセンサ1と画像カメラ4の1組のセットによって、撮影範囲Rとして車両Cの全周囲がカバーされている。
図16は、第3実施形態における撮影システムSaの全体構成を示す図である。処理部13は、微分値が正の一定の閾値以上になった場合、非定常的に動く物体が撮影領域内に存在するとして、画像カメラ4によって撮影を行うための撮影トリガを画像カメラ4に送信する。
画像カメラ4は、処理部13から撮影トリガを受信した場合、撮影を開始する。画像カメラ4の撮影による画像データは、データ処理装置2の記憶制御部22を経由して記憶装置3に記憶され、また、表示部5に表示される。
図17は、第3実施形態の画像カメラ4などによる処理を示すフローチャートである。ステップS51において、画像カメラ4は、イベントセンサ1の処理部13から撮影トリガを受信する。
次に、ステップS52において、画像カメラ4は、画像を撮影する。
次に、ステップS53において、画像カメラ4は、画像データを、データ処理装置2の記憶制御部22を経由して記憶装置3へ保存させる。
次に、ステップS53において、画像カメラ4は、画像データを、データ処理装置2の記憶制御部22を経由して記憶装置3へ保存させる。
また、ステップS54において、画像カメラ4は、画像データを表示部5で表示させる。
このように、第3実施形態によれば、例えば、撮影領域内に、動く物体として風で揺れる草木などの定常的に動く物体だけがあるときは画像カメラ4で撮影せず、人や車両などの非定常的に動く物体があるときは画像カメラ4で撮影して画像データを記憶する。これにより、必要な撮影と記録を行いつつ、消費電力を低減することができる。
(第4実施形態)
次に、第4実施形態について説明する。図18は、第4実施形態のデータ処理システムSの全体構成を示す図である。図18のデータ処理システムSは、図4のデータ処理システムSに対して、データ処理装置2の画像再構成処理部23と表示部5が追加されている。
次に、第4実施形態について説明する。図18は、第4実施形態のデータ処理システムSの全体構成を示す図である。図18のデータ処理システムSは、図4のデータ処理システムSに対して、データ処理装置2の画像再構成処理部23と表示部5が追加されている。
画像再構成処理部23は、種々の画像再構成手法(例えば、ニューラルネットワークを用いた深層学習による手法)に基づいて、イベントデータから画像データを再構成する処理を実行する。作成した画像データは、記憶制御部22を経由して記憶装置3に記憶されたり、表示部5に表示されたりする。
図19は、第4実施形態のデータ処理装置2による処理を示すフローチャートである。ステップS61において、データ処理装置2は、イベントセンサ1からイベントデータを受信する。
次に、ステップS62において、データ処理装置2は、一時記憶部21へイベントデータを格納する。
次に、ステップS63において、画像再構成処理部23は、イベントデータから画像データを再構成する処理を実行する。
次に、ステップS64において、記憶制御部22は、再構成画像を記憶装置3へ保存する。
また、ステップS65において、データ処理装置2は、再構成画像を表示部5で表示させる。
このように、第4実施形態によれば、微分値が所定閾値以上になった場合にだけイベントセンサ1からデータ処理装置2にイベントデータを送信するので、データ処理装置2によるイベントデータに基づく画像再構成処理を必要なときにだけ行って、消費電力を低減できる。
(第5実施形態)
次に、第5実施形態について説明する。図20は、第5実施形態の撮影システムSaの全体構成を示す図である。図20の撮影システムSaは、図16の撮影システムSaに対して、データ処理装置2に画像再構成処理部23と認識処理部24が追加されている。
次に、第5実施形態について説明する。図20は、第5実施形態の撮影システムSaの全体構成を示す図である。図20の撮影システムSaは、図16の撮影システムSaに対して、データ処理装置2に画像再構成処理部23と認識処理部24が追加されている。
認識処理部24は、種々の画像認識手法とイベントデータに基づいて、撮影対象物体(人物、車両など)に関する認識処理を実行する。認識処理部24は、撮影対象物体を認識すると、画像再構成トリガを画像再構成処理部23に送信する。
画像再構成処理部23は、画像再構成トリガを受信すると、図18の場合と同様の画像再構成処理を行う。作成した画像データは、記憶制御部22を経由して記憶装置3に記憶されたり、表示部5に表示されたりする。
また、認識処理部24は、撮影対象物体を認識すると、撮影トリガを画像カメラ4に送信する。画像カメラ4は、撮影トリガを受信すると、撮影を開始する。画像カメラ4の撮影による画像データは、データ処理装置2の記憶制御部22を経由して記憶装置3に記憶されたり、表示部5に表示されたりする。
図21は、第5実施形態のデータ処理装置2などによる処理を示すフローチャートである。ステップS71において、データ処理装置2は、イベントセンサ1からイベントデータを受信する。
次に、ステップS72において、データ処理装置2は、一時記憶部21へイベントデータを格納する。
次に、ステップS73において、認識処理部24は、イベントデータに基づいて、撮影対象物体に関する認識処理を実行する。
次に、ステップS74において、認識処理部24は、撮影対象物体を認識すると、画像再構成トリガを画像再構成処理部23に送信し、撮影トリガを画像カメラ4に送信する。
次に、ステップS75において、記憶制御部22は、画像カメラ4によって撮影された画像データと、画像再構成処理部23によって作成された再構成画像(画像データ)を、記憶装置3へ保存する。
また、ステップS76において、データ処理装置2は、画像カメラ4によって撮影された画像データと、画像再構成処理部23によって作成された再構成画像を、表示部5で表示させる。
このように、第5実施形態によれば、微分値が正の一定の閾値以上になった場合にだけイベントセンサ1からデータ処理装置2にイベントデータを送信し、さらに、認識処理部24によって撮影対象物体が認識されたときにだけ、画像再構成処理部23による画像再構成処理や画像カメラ4による撮影を行う。これにより、さらに効果的に消費電力を低減できる。
(第6実施形態)
次に、第6実施形態について説明する。図22は、第6実施形態のデータ処理システムSの全体構成を示す図である。図4と比較して、イベントセンサ1から処理部13がなくなり、データ処理装置2に処理部25が追加されている点で異なっている。
次に、第6実施形態について説明する。図22は、第6実施形態のデータ処理システムSの全体構成を示す図である。図4と比較して、イベントセンサ1から処理部13がなくなり、データ処理装置2に処理部25が追加されている点で異なっている。
処理部25は、所定時間ごとにイベントデータの数をカウントし、イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定し、所定条件を満たした場合は保存トリガを記憶制御部22に送信する。
記憶制御部22は、保存トリガを受信すると、イベントデータを記憶装置3に保存する。
このように、第6実施形態によれば、イベントセンサ1側ではなく、データ処理装置2側でも、イベントデータの数の変化量に関する判定を行うことができる。
以上、本開示の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
例えば、定常的に動く物体は、風で揺れる草木に限定されない。ほかに、例えば、風に揺れる旗や、強度が変化する太陽光の当たっている物体や、点滅する光の光源やその光が当たっている物体などが考えられる。
また、非定常的に動く物体は、人物や車両に限定されない。ほかに、例えば、走行中の自転車、走行中の自動二輪車、動いている動物(犬、猫など)、移動中の移動ロボットなどが考えられる。
1…イベントセンサ、2…データ処理装置、3…記憶装置、4…画像カメラ、5…表示部、11…撮像素子、12…撮像素子制御部、13…処理部、14…送信部、21…一時記憶部、22…記憶制御部、23…画像再構成処理部、24…認識処理部、25…処理部、C…車両、G…草、M…人物、W…木、S…データ処理システム、Sa…撮影システム
Claims (6)
- 撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に出力する撮像素子制御部と、
所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、
前記所定条件を満たしたと前記処理部によって判定された場合、前記イベントデータを外部に出力する送信部と、を備えるイベントセンサ。 - 前記処理部は、前記イベントデータの数の変化量が所定閾値以上である場合に、前記所定条件を満たしたと判定する、請求項1に記載のイベントセンサ。
- 前記処理部は、すべての前記画素のうち、所定間隔ごとの前記画素のみの前記イベントデータについて、前記所定条件を満たしたか否かを判定する、請求項1に記載のイベントセンサ。
- 前記所定間隔は、予め定められた撮影対象物体の大きさと前記撮影対象物体までの距離に基づいて決定される、請求項3に記載のイベントセンサ。
- イベントセンサと、画像カメラと、記憶装置と、を備える撮影システムであって、
前記イベントセンサは、
撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に出力する撮像素子制御部と、
所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、を備え、
前記画像カメラは、前記所定条件を満たしたと前記処理部によって判定された場合、撮影を開始して撮影による画像データを前記記憶装置に記憶させる、撮影システム。 - イベントセンサと、データ処理装置と、記憶装置と、を備えるデータ処理システムであって、
前記イベントセンサは、
撮像素子に対応する画素ごとの輝度変化をイベントとして検出し、前記イベントが検出されたタイミングと前記イベントが発生した画素位置とを含むイベントデータを非同期に前記データ処理装置に送信し、
前記データ処理装置は、
所定時間ごとに前記イベントデータの数をカウントし、前記イベントデータの数の変化量が、撮影領域内に非定常的に動く物体が存在するときのイベントデータの数の変化に関する所定条件を満たしたか否かを判定する処理部と、
前記所定条件を満たしたと前記処理部によって判定された場合、前記イベントデータを前記記憶装置に記憶させる記憶制御部と、を備えるデータ処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022061969A JP2023152041A (ja) | 2022-04-01 | 2022-04-01 | イベントセンサ、撮影システム、データ処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022061969A JP2023152041A (ja) | 2022-04-01 | 2022-04-01 | イベントセンサ、撮影システム、データ処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023152041A true JP2023152041A (ja) | 2023-10-16 |
Family
ID=88327403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022061969A Pending JP2023152041A (ja) | 2022-04-01 | 2022-04-01 | イベントセンサ、撮影システム、データ処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023152041A (ja) |
-
2022
- 2022-04-01 JP JP2022061969A patent/JP2023152041A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020057355A1 (zh) | 一种三维建模的方法及其装置 | |
CN111931752B (zh) | 一种基于事件相机的动态目标检测方法 | |
US10070053B2 (en) | Method and camera for determining an image adjustment parameter | |
JP6127152B2 (ja) | セキュリティ監視システム及び相応な警報触発方法 | |
US10204275B2 (en) | Image monitoring system and surveillance camera | |
US20100128983A1 (en) | Imaging system and imaging method | |
JP2020149642A (ja) | 物体追跡装置および物体追跡方法 | |
CN114120171A (zh) | 基于视频帧的火灾烟雾检测方法、装置、设备及存储介质 | |
KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
WO2020248543A1 (zh) | 异常目标的检测方法、设备及存储介质 | |
CN112884805A (zh) | 一种跨尺度自适应映射的光场成像方法 | |
JP2023152041A (ja) | イベントセンサ、撮影システム、データ処理システム | |
JP2021007055A (ja) | 識別器学習装置、識別器学習方法およびコンピュータプログラム | |
JP7243372B2 (ja) | 物体追跡装置および物体追跡方法 | |
JP6275022B2 (ja) | 画像監視装置 | |
CN112419635B (zh) | 融合光栅和视频的周界报警方法 | |
CN113516018A (zh) | 目标检测方法、安防设备及可读存储介质 | |
JP6230877B2 (ja) | 画像処理装置 | |
JP4578743B2 (ja) | 監視カメラ装置 | |
JP2009010594A (ja) | 画像センサ | |
JP3492239B2 (ja) | 画像監視装置 | |
JP7492595B2 (ja) | 監視システム、解析装置及びaiモデル生成方法 | |
JP2015046811A (ja) | 画像センサ | |
JP2019033469A (ja) | 撮像装置、制御方法及びプログラム | |
CN112084813B (zh) | 异常目标的检测方法、装置及存储介质 |