JP2023094925A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2023094925A JP2023094925A JP2021210527A JP2021210527A JP2023094925A JP 2023094925 A JP2023094925 A JP 2023094925A JP 2021210527 A JP2021210527 A JP 2021210527A JP 2021210527 A JP2021210527 A JP 2021210527A JP 2023094925 A JP2023094925 A JP 2023094925A
- Authority
- JP
- Japan
- Prior art keywords
- output
- event data
- area
- imaging
- limited
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】イベントデータの出力飽和状態を抑制しつつ、時間的高分解能・高ダイナミックレンジ・省データ・省電力といったイベントカメラの優位性を有する撮像装置を提供する。【解決手段】制御部11による出力制限処理は、所定の撮像エリアSを狭いエリアに限定した限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることで、撮像素子13aにて生成されるイベントデータの出力を制限可能であって、所定の撮像エリアSを網羅するように限定エリアを順次切り替える。制御部11による画像生成処理は、出力制限処理によるイベントデータの出力制限時には、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアSの撮像画像を生成する。【選択図】図2
Description
本発明は、撮像装置に関するものである。
近年、より高速に撮像対象の画像を生成する技術として、下記特許文献1に開示されるイベントカメラ(イベントベースカメラ)が知られている。イベントカメラは、生物の網膜構造にヒントを得て開発された輝度値差分出力カメラであり、画素ごとに輝度の変化を感知してその座標、時間、そして輝度変化の極性を出力するように構成されている。このような構成により、イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータは出力しないといった特徴があるため、より高速に撮像対象の画像を生成できるだけでなく、時間的高分解能・高ダイナミックレンジ・省データ・省電力といった優位性を有するカメラを実現することができる。特に、下記特許文献1では、イベントカメラと情報コードとを相対移動させたときに輝度変化が発生する画素に応じて出力されるイベントに基づいて情報コードを構成する各セルの明暗を推定することで、情報コードの画像を復元させている。
ところで、例えば、至近距離で横切るQRコード(登録商標)をイベントカメラで撮像する場合、その二次元的な白黒の変化は、イベントカメラの時間的高分解能によって、瞬間的に大量のイベントデータを出力することになってしまう。そうすると、瞬間的に大量のイベントデータを出力できない安価なイベントカメラでは、出力すべきイベントデータが限界に達して飽和してしまい、一部のデータが出力されずに喪失してしまうという問題がある。上述のようなQRコードを撮像する場合に限らず、例えば、SLAM(Simultaneous Localization and Mapping:自己位置推定と環境地図作成の同時実行)に関連して撮像する場合にも同様の問題が生じてしまう。
本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、イベントデータの出力飽和状態を抑制しつつ、時間的高分解能・高ダイナミックレンジ・省データ・省電力といったイベントカメラの優位性を有する撮像装置を提供することにある。
上記目的を達成するため、特許請求の範囲の請求項1に記載の撮像装置(10)は、
輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを生成する撮像素子(13a)と、
前記撮像素子から出力されるイベントデータを利用して所定の撮像エリア(S)の撮像画像を生成する画像生成部(11)と、
前記所定の撮像エリアを狭いエリアに限定した限定エリア(Sa~Sf)のみについて輝度変化のあった画素のイベントデータを出力させることで、前記撮像素子にて生成されるイベントデータの出力を制限可能な出力制限部(11)と、
を備え、
前記出力制限部は、前記所定の撮像エリアを網羅するように前記限定エリアを順次切り替え、
前記画像生成部は、前記出力制限部によるイベントデータの出力制限時には、前記限定エリアの切り替えごとに出力されるイベントデータを集約することで、前記所定の撮像エリアの撮像画像を生成することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを生成する撮像素子(13a)と、
前記撮像素子から出力されるイベントデータを利用して所定の撮像エリア(S)の撮像画像を生成する画像生成部(11)と、
前記所定の撮像エリアを狭いエリアに限定した限定エリア(Sa~Sf)のみについて輝度変化のあった画素のイベントデータを出力させることで、前記撮像素子にて生成されるイベントデータの出力を制限可能な出力制限部(11)と、
を備え、
前記出力制限部は、前記所定の撮像エリアを網羅するように前記限定エリアを順次切り替え、
前記画像生成部は、前記出力制限部によるイベントデータの出力制限時には、前記限定エリアの切り替えごとに出力されるイベントデータを集約することで、前記所定の撮像エリアの撮像画像を生成することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
請求項1の発明では、出力制限部は、所定の撮像エリアを狭いエリアに限定した限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることで、撮像素子にて生成されるイベントデータの出力を制限可能であって、所定の撮像エリアを網羅するように限定エリアを順次切り替える。画像生成部は、出力制限部によるイベントデータの出力制限時には、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアの撮像画像を生成する。
これにより、例えば、至近距離で横切るようにQRコードが所定の撮像エリアに入り込む場合でも、限定エリアに含まれるQRコードの一部についてイベントデータが出力されて限定エリアに含まれないQRコードの残部についてイベントデータが出力されないので、イベントデータの出力飽和状態を抑制することができる。そして、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアの撮像画像を生成できるので、イベントデータの出力飽和状態を抑制しつつ、時間的高分解能・高ダイナミックレンジ・省データ・省電力といったイベントカメラの優位性を有する撮像装置を実現することができる。
請求項2の発明では、出力制限部は、限定エリアに対応しない画素の機能を一時的に無効にすることで、限定エリアのみについて輝度変化のあった画素のイベントデータを出力させるので、限定エリアの切り替えを正確かつ高速に実施することができる。特に、所定の撮像エリアに占める各限定エリアの範囲を、四分割やまばらなど容易に調整することができる。
請求項3の発明では、出力制限部は、撮像素子側の面が単一色で形成されて限定エリアに対応する画素と異なる画素を覆う遮蔽部を有し、限定エリアの順次切り替えに応じて遮蔽部を移動させることで、限定エリアのみについて輝度変化のあった画素のイベントデータを出力させる。このように、遮蔽部の回転やスライドなどの移動に応じて限定エリアの切り替えを実施することができる。
請求項4の発明では、出力制限部は、撮像素子の受光側を覆う赤外線透過部と、赤外線透過部の所定の撮像エリアに対応する面の一部に対して撮像素子側から赤外線を照射する赤外線照射部と、を有し、限定エリアの順次切り替えに応じて赤外線照射部から照射される赤外線の照射範囲を移動させることで、限定エリアのみについて輝度変化のあった画素のイベントデータを出力させる。このように、赤外線の照射範囲の移動に応じて限定エリアの切り替えを実施することができる。
請求項5の発明では、画像生成部は、出力制限部によるイベントデータの出力制限時には、限定エリアの切り替えごとに出力されるイベントデータを、推定部により推定される撮像対象の移動速度を考慮して集約することで、所定の撮像エリアの撮像画像を生成する。これにより、QRコードなどの撮像対象が高速で移動していることで、限定エリアを切り替えるごとに所定の撮像エリアに占める撮像対象の位置がずれるような場合でも、その位置ズレを補正するようにイベントデータを集約でき、所定の撮像エリアの撮像画像を精度良く生成することができる。
請求項6の発明では、出力制限部は、単位時間当たりに撮像素子から出力されるイベントデータが所定量以上となる場合に、イベントデータの出力を制限するため、少量のイベントデータが出力されるような場合にまでイベントデータの出力が制限されることもないので、不要なイベントデータの出力制限を抑制することができる。
[第1実施形態]
以下、本発明の撮像装置を具現化した第1実施形態について、図面を参照して説明する。
本実施形態に係る撮像装置10は、いわゆるイベントカメラとして機能する装置である。この撮像装置10は、輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データと時間と輝度変化の極性とを含めるようにイベントデータを出力し、一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットするようにして、撮像対象の画像データを生成する。
以下、本発明の撮像装置を具現化した第1実施形態について、図面を参照して説明する。
本実施形態に係る撮像装置10は、いわゆるイベントカメラとして機能する装置である。この撮像装置10は、輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データと時間と輝度変化の極性とを含めるようにイベントデータを出力し、一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットするようにして、撮像対象の画像データを生成する。
図1に示すように、撮像装置10は、CPU等からなる制御部11及び半導体メモリ等からなる記憶部12に加えて、制御部11によって制御される撮像部13及び表示部14、入力操作に応じた操作信号を制御部11に出力する操作部15、外部機器等と通信するための通信部16などを備えている。
撮像部13は、撮像素子13aや受光レンズ等を備えるように構成されており、この撮像素子13aは、受光レンズを介して受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを制御部11に出力するように構成されている。すなわち、撮像素子13aは、輝度変化のあった画素に対応するイベントデータ(二次元点データ、時間、輝度変化の極性)を制御部11に出力し、輝度変化のない画素に関してデータを出力しないように機能する。
特に、本実施形態では、撮像部13の撮像素子13aは、輝度変化があった際にイベントデータを出力する画素(以下、出力可能画素ともいう)と画素の機能を一時的に無効にすることで輝度変化の有無にかかわらずイベントデータを出力しない画素(以下、出力制限画素ともいう)とを、制御部11による出力制限処理に応じて画素単位で切り替え可能に構成されている。
このため、例えば、撮像素子13aの全ての画素を利用した所定の撮像エリアSを、図2(A)に示す限定エリアSaに対応する画素のみ出力可能画素としてその他の画素を出力制限画素とすることで、全ての画素を出力可能画素とする場合と比較して、イベントデータの出力量を減らすことができる。また、図2(B)に示す限定エリアSbに対応する画素のみ出力可能画素としてその他の画素を出力制限画素とする場合や図2(C)に示す限定エリアScに対応する画素のみ出力可能画素としてその他の画素を出力制限画素とする場合、図2(D)に示す限定エリアSdに対応する画素のみ出力可能画素としてその他の画素を出力制限画素とする場合でも、同様にイベントデータの出力量を減らすことができる。
本実施形態では、各限定エリアSa~Sdを合わせたエリアが撮像エリアSに一致するように設定されており、所定の撮像条件では、撮像エリアSを網羅するように各限定エリアSa~Sdが順次切り替えられる。このような撮像条件では、上述のようにイベントデータの出力量を減らしつつ、各限定エリアSa~Sdの切り替えごとに出力されるイベントデータを集約することで、撮像エリアSの撮像画像を生成することができる。なお、上記出力制限処理を行う制御部11は、撮像エリアSを狭いエリアに限定した限定エリア(Sa~Sd)のみについて輝度変化のあった画素のイベントデータを出力させることで、撮像素子13aにて生成されるイベントデータの出力を制限可能な「出力制限部」の一例に相当し得る。また、各限定エリアSa~Sdは、当該各限定エリアSa~Sdを合わせたエリアが撮像エリアSを含むように設定されてもよい。
例えば、上記所定の撮像条件時に、QRコードCを撮像装置10にかざすことで、図3に示すようにそのQRコードCが撮像エリアSに入り込んだ状態では、まず、限定エリアSaへの切り替え時に図4(A)に示す画像を生成するためのイベントデータが撮像素子13aから制御部11に出力される。続いて、限定エリアSbへの切り替え時に図4(B)に示す画像を生成するためのイベントデータが撮像素子13aから制御部11に出力された後、限定エリアScへの切り替え時に図4(C)に示す画像を生成するためのイベントデータが撮像素子13aから制御部11に出力される。最後に、限定エリアSdへの切り替え時に図4(D)に示す画像を生成するためのイベントデータが撮像素子13aから制御部11に出力される。
そして、制御部11では、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアSの撮像画像を生成する画像生成処理がなされる。これにより、限定エリアSaへの切り替え時に得られたイベントデータと限定エリアSbへの切り替え時に得られたイベントデータと限定エリアScへの切り替え時に得られたイベントデータと限定エリアSdへの切り替え時に得られたイベントデータとが集約されて、図3に示すようQRコードCに対応する撮像画像が生成される。なお、上記画像生成処理を行う制御部11は、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアSの撮像画像を生成する「画像生成部」の一例に相当し得る。
以上説明したように、本実施形態に係る撮像装置10では、制御部11による出力制限処理は、所定の撮像エリアSを狭いエリアに限定した限定エリア(Sa~Sb)のみについて輝度変化のあった画素(出力可能画素)のイベントデータを出力させることで、撮像素子13aにて生成されるイベントデータの出力を制限可能であって、所定の撮像エリアSを網羅するように限定エリアを順次切り替える。制御部11による画像生成処理は、出力制限処理によるイベントデータの出力制限時には、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアSの撮像画像を生成する。
これにより、例えば、至近距離で横切るようにQRコードCが所定の撮像エリアSに入り込む場合でも、限定エリアに含まれるQRコードCの一部についてイベントデータが出力されて限定エリアに含まれないQRコードCの残部についてイベントデータが出力されないので、イベントデータの出力飽和状態を抑制することができる。また、例えば、周辺環境が所定の撮像エリアSに入り込む場合でも、限定エリアに含まれる周辺環境の一部についてイベントデータが出力されて限定エリアに含まれない周辺環境の残部についてイベントデータが出力されないので、イベントデータの出力飽和状態を抑制することができる。そして、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアSの撮像画像を生成できるので、イベントデータの出力飽和状態を抑制しつつ、時間的高分解能・高ダイナミックレンジ・省データ・省電力といったイベントカメラの優位性を有する撮像装置を実現することができる。
特に、制御部11による出力制限処理は、限定エリアに対応しない画素(出力制限画素)の機能を一時的に無効にすることで、限定エリアのみについて輝度変化のあった画素(出力可能画素)のイベントデータを出力させるので、限定エリアの切り替えを正確かつ高速に実施することができる。さらに、所定の撮像エリアSに占める各限定エリアの範囲を、四分割やまばらなど容易に調整することができる。
[第2実施形態]
次に、本発明の第2実施形態に係る撮像装置について、図面を参照して説明する。
本第2実施形態では、限定エリアを物理的に切り替える点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、本発明の第2実施形態に係る撮像装置について、図面を参照して説明する。
本第2実施形態では、限定エリアを物理的に切り替える点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
本実施形態に係る撮像装置10では、図5に例示するように、撮像部13(撮像素子13a)の受光側に遮蔽部20が回転移動可能に配置されている。この遮蔽部20は、撮像素子側の面が単一色(例えば、白色と黒色との中間色となるグレー色)であって扇形状の切り欠き21が形成され、回転中心が撮像素子13aの撮像中心に一致するように配置されている。遮蔽部20は、撮像対象側から見ると、回転時に切り欠き21を除いて撮像素子13aを覆うように形成されており、切り欠き21の中心角は切り替え頻度に応じた角度(例えば、90°)に設定されている。
制御部11にてなされる出力制限処理では、遮蔽部20を回転させるモータ等を駆動制御して、遮蔽部20によって覆われる撮像素子13aの範囲と切り欠き21を介して露出される撮像素子13aの範囲とを切り替える。遮蔽部20によって覆われる撮像素子13aの画素は、遮蔽部20の上記単一色の面からの光が受光されて輝度変化が生じないために上記出力制限画素となり、切り欠き21を介して露出される撮像素子13aの画素は、上記出力可能画素となる。
このため、遮蔽部20を回転移動させることで、限定エリアの切り替えを実施することができる。そして、制御部11では、例えば、切り欠き21の中心角分だけ遮蔽部20が回転移動するごとに、限定エリアが切り替えられたとしてイベントデータを集約することで、所定の撮像エリアSの撮像画像を生成する画像生成処理がなされる。なお、図5では、遮蔽部20を回転移動させることで切り替えられた限定エリアを符号Seにて図示している。また、上記出力制限処理を行う制御部11及び遮蔽部20は、「出力制限部」の一例に相当し得る。
なお、切り欠き21が形成される遮蔽部20を回転移動させることで、物理的に限定エリアの切り替えを実施することに限らず、例えば、遮蔽部を所定方向(例えば、上下方向)にスライドさせることで、物理的に限定エリアの切り替えを実施してもよい。
[第3実施形態]
次に、本発明の第3実施形態に係る撮像装置について、図面を参照して説明する。
本第3実施形態では、赤外線を利用して限定エリアを切り替える点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、本発明の第3実施形態に係る撮像装置について、図面を参照して説明する。
本第3実施形態では、赤外線を利用して限定エリアを切り替える点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
本実施形態に係る撮像装置10では、図6に例示するように、撮像部13(撮像素子13a)の受光側を覆う赤外線透過部31と、赤外線透過部31の所定の撮像エリアに対応する面の一部に対して撮像素子側から赤外線を照射する赤外線照射部32とが設けられている。赤外線透過部31は、例えば、赤外線透過フィルタであって、可視光を透過させずに赤外線を透過させるように機能する。
このため、撮像対象等にて反射されて赤外線透過部31を透過した赤外線が受光される撮像素子13aの一部の画素は、出力可能画素となる。一方、赤外線が照射されない撮像対象等からの反射光は赤外線透過部31を透過できないため、赤外線が照射されないエリアを受光範囲とする撮像素子13aの残部の画素は、出力制限画素となる。
赤外線照射部32は、その赤外線の照射範囲(照射方向)が制御部11によって制御可能に構成されている。このため、制御部11にてなされる出力制限処理では、赤外線照射部32による赤外線の照射範囲を移動させることで、限定エリアの切り替えを実施することができる。そして、制御部11では、赤外線照射部32による赤外線の照射範囲が変わるごとに、限定エリアが切り替えられたとしてイベントデータを集約することで、所定の撮像エリアSの撮像画像を生成する画像生成処理がなされる。なお、図6では、赤外線照射部32から赤外線が照射されることで切り替えられた限定エリアを符号Sfにて図示している。また、上記出力制限処理を行う制御部11、赤外線透過部31及び赤外線照射部32は、「出力制限部」の一例に相当し得る。
なお、赤外線照射部32は、照射方向を変えることで、赤外線透過部31に対する照射範囲を変えるように構成されることに限らず、例えば、限定エリアごとに対応する赤外線ライトをそれぞれ備えて、点灯する赤外線ライトを切り替えることで、赤外線透過部31に対する照射範囲を変えるように構成されてもよい。
[第4実施形態]
次に、本発明の第4実施形態に係る撮像装置について説明する。
本第4実施形態では、推定される撮像対象の移動速度を考慮してイベントデータを集約する点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、本発明の第4実施形態に係る撮像装置について説明する。
本第4実施形態では、推定される撮像対象の移動速度を考慮してイベントデータを集約する点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
撮像装置10に対する撮像対象の相対移動速度が比較的速い場合や限定エリアの切り替え速度が比較的遅い場合には、限定エリアの切り替え中に撮像対象が移動することで位置ズレが生じてしまい、正確な撮像対象の撮像画像を生成できない場合がある。
このため、本実施形態では、撮像対象の移動速度を推定して、限定エリアの切り替えごとに出力されるイベントデータを、推定される撮像対象の移動速度を考慮して集約する。
具体的には、まず、制御部11にてなされる移動速度推定処理がなされ、撮像エリア又は1つの限定エリアでイベントデータを利用して撮像対象の画像を複数生成して、各画像間での撮像対象の位置ズレ量を検出することで、その撮像対象の移動速度が推定される。なお、上記移動速度推定処理を行う制御部11は、撮像対象の移動速度を推定する「推定部」の一例に相当し得る。
続いて、制御部11にてなされる出力制限処理では、上述のように限定エリアを切り替えることで限定エリアごとにイベントデータが取得される。そして、制御部11にてなされる画像生成処理では、取得されたイベントデータを、上述のように推定された移動速度から求められる撮像対象の移動方向及び限定エリア切り替え間隔での移動距離を利用して位置補正し、このように位置補正したイベントデータを集約して撮像対象の撮像画像が生成される。
例えば、上記第1実施形態のように4つの限定エリアSa~Sdが採用される場合には、まず、限定エリアSaの切り替え時に出力されたイベントデータを上記移動距離等を利用して位置補正したイベントデータと限定エリアSbの切り替え時に出力されたイベントデータとを集約する。続いて、上述のように2つの限定エリアに関して集約されたイベントデータを上記移動距離等を利用して位置補正したイベントデータと限定エリアScの切り替え時に出力されたイベントデータとをさらに集約する。そして、上述のように3つの限定エリアに関して集約されたイベントデータを上記移動距離等を利用して位置補正したイベントデータと限定エリアSdの切り替え時に出力されたイベントデータとをさらに集約する。このように位置ズレを補正するように集約されたイベントデータに基づいて所定の撮像エリアSの撮像画像が生成される。
以上説明したように、本実施形態に係る撮像装置10では、制御部11にてなされる画像生成処理は、出力制限処理によるイベントデータの出力制限時には、限定エリアの切り替えごとに出力されるイベントデータを、推定される撮像対象の移動速度を考慮して集約することで、所定の撮像エリアSの撮像画像を生成する。
これにより、QRコードなどの撮像対象が高速で移動していることで、限定エリアを切り替えるごとに所定の撮像エリアSに占める撮像対象の位置がずれるような場合でも、その位置ズレを補正するようにイベントデータを集約でき、所定の撮像エリアSの撮像画像を精度良く生成することができる。
なお、推定される撮像対象の移動速度を考慮してイベントデータを集約する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
なお、本発明は上記各実施形態等に限定されるものではなく、例えば、以下のように具体化してもよい。
(1)制御部11にてなされる出力制限処理では、上記所定の撮像条件として、例えば、単位時間当たりに撮像素子13aから出力されるイベントデータが所定量以上となる場合にイベントデータの出力を制限し、出力されるイベントデータが上記所定量未満となる場合には、イベントデータの出力を制限しなくてもよい。これにより、少量のイベントデータが出力されるような場合にまでイベントデータの出力が制限されることもないので、不要なイベントデータの出力制限を抑制することができる。また、例えば、操作部15に対する所定の操作が行われた場合や通信部16を介して外部から所定の指示が受信された場合に、イベントデータの出力を制限するようにしてもよい。
(1)制御部11にてなされる出力制限処理では、上記所定の撮像条件として、例えば、単位時間当たりに撮像素子13aから出力されるイベントデータが所定量以上となる場合にイベントデータの出力を制限し、出力されるイベントデータが上記所定量未満となる場合には、イベントデータの出力を制限しなくてもよい。これにより、少量のイベントデータが出力されるような場合にまでイベントデータの出力が制限されることもないので、不要なイベントデータの出力制限を抑制することができる。また、例えば、操作部15に対する所定の操作が行われた場合や通信部16を介して外部から所定の指示が受信された場合に、イベントデータの出力を制限するようにしてもよい。
(2)制御部11にてなされる画像生成処理では、限定エリアの切り替えごとに出力されるイベントデータを全て集約することで所定の撮像エリアSの撮像画像を生成することに限らず、例えば、撮像対象の部分の撮像画像や所定の撮像エリアSの一部の撮像画像を生成してもよい。
10…撮像装置
11…制御部(出力制限部,画像生成部,推定部)
13…撮像部
13a…撮像素子
S…撮像エリア
Sa~Sf…限定エリア
11…制御部(出力制限部,画像生成部,推定部)
13…撮像部
13a…撮像素子
S…撮像エリア
Sa~Sf…限定エリア
Claims (6)
- 輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを生成する撮像素子と、
前記撮像素子から出力されるイベントデータを利用して所定の撮像エリアの撮像画像を生成する画像生成部と、
前記所定の撮像エリアを狭いエリアに限定した限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることで、前記撮像素子にて生成されるイベントデータの出力を制限可能な出力制限部と、
を備え、
前記出力制限部は、前記所定の撮像エリアを網羅するように前記限定エリアを順次切り替え、
前記画像生成部は、前記出力制限部によるイベントデータの出力制限時には、前記限定エリアの切り替えごとに出力されるイベントデータを集約することで、前記所定の撮像エリアの撮像画像を生成することを特徴とする撮像装置。 - 前記出力制限部は、前記限定エリアに対応しない画素の機能を一時的に無効にすることで、前記限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることを特徴とする請求項1に記載の撮像装置。
- 前記出力制限部は、前記撮像素子側の面が単一色で形成されて前記限定エリアに対応する画素と異なる画素を覆う遮蔽部を有し、前記限定エリアの順次切り替えに応じて前記遮蔽部を移動させることで、前記限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることを特徴とする請求項1に記載の撮像装置。
- 前記出力制限部は、前記撮像素子の受光側を覆う赤外線透過部と、前記赤外線透過部の前記所定の撮像エリアに対応する面の一部に対して前記撮像素子側から赤外線を照射する赤外線照射部と、を有し、前記限定エリアの順次切り替えに応じて前記赤外線照射部から照射される赤外線の照射範囲を移動させることで、前記限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることを特徴とする請求項1に記載の撮像装置。
- 撮像対象の移動速度を推定する推定部を備え、
前記画像生成部は、前記出力制限部によるイベントデータの出力制限時には、前記限定エリアの切り替えごとに出力されるイベントデータを、前記推定部により推定される前記撮像対象の移動速度を考慮して集約することで、前記所定の撮像エリアの撮像画像を生成することを特徴とする請求項1~4のいずれか一項に記載の撮像装置。 - 前記出力制限部は、単位時間当たりに前記撮像素子から出力されるイベントデータが所定量以上となる場合に、前記イベントデータの出力を制限することを特徴とする請求項1~5のいずれか一項に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021210527A JP2023094925A (ja) | 2021-12-24 | 2021-12-24 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021210527A JP2023094925A (ja) | 2021-12-24 | 2021-12-24 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023094925A true JP2023094925A (ja) | 2023-07-06 |
Family
ID=87002331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021210527A Pending JP2023094925A (ja) | 2021-12-24 | 2021-12-24 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023094925A (ja) |
-
2021
- 2021-12-24 JP JP2021210527A patent/JP2023094925A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11082605B2 (en) | Method of photography processing for camera module, terminal, using same and storage medium implementing same | |
US20190325580A1 (en) | Surround camera system with seamless stitching for arbitrary viewpoint selection | |
EP3389268B1 (en) | Depth information acquisition method and apparatus, and image collection device | |
JP4258539B2 (ja) | 複数画角カメラ | |
US20180302543A1 (en) | Hdr/wdr image time stamps for sensor fusion | |
JP2005229415A (ja) | 複数のカメラを備えたプロジェクタ | |
CN108377380A (zh) | 影像扫描系统及其方法 | |
CN110248097A (zh) | 追焦方法、装置、终端设备、计算机可读存储介质 | |
JP6425931B2 (ja) | カプセル型内視鏡及び内視鏡システム | |
WO2020261491A1 (ja) | センサ制御装置、センサ制御方法およびプログラム | |
US11979663B2 (en) | Imaging support device, imaging support system, imaging system, imaging support method, and program | |
US11968448B2 (en) | Imaging support device, imaging apparatus, imaging system, imaging support system, imaging support method, and program | |
RU2727920C9 (ru) | Устройство компьютерной системы панорамного телевизионного наблюдения с селективным масштабированием изображения | |
US11132586B2 (en) | Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos | |
JP2014027355A (ja) | 複数画像を利用したオブジェクト検索装置、方法、およびプログラム | |
JP2023094925A (ja) | 撮像装置 | |
CN107211095A (zh) | 处理图像的方法和设备 | |
JP4668863B2 (ja) | 撮像装置 | |
CN109618085B (zh) | 电子设备和移动平台 | |
CN109587304B (zh) | 电子设备和移动平台 | |
JP7259660B2 (ja) | イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム | |
JP2013214938A (ja) | 撮影装置及び撮影装置の画像処理方法 | |
JPH10283475A (ja) | 画像処理方法及び装置 | |
WO2024004316A1 (ja) | 撮像装置、被写体奥行き推定方法、およびプログラム | |
US10477104B1 (en) | Image sensor selection in a multiple image sensor device |