JP2023065075A - 撮像装置、撮像方法およびプログラム - Google Patents
撮像装置、撮像方法およびプログラム Download PDFInfo
- Publication number
- JP2023065075A JP2023065075A JP2021175658A JP2021175658A JP2023065075A JP 2023065075 A JP2023065075 A JP 2023065075A JP 2021175658 A JP2021175658 A JP 2021175658A JP 2021175658 A JP2021175658 A JP 2021175658A JP 2023065075 A JP2023065075 A JP 2023065075A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- imaging
- image
- display period
- moving speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】非同期型の光電変換素子（ＤＶＳ）等を使用して撮像された画像を、表示する際に、被写体を視認しやすい映像を生成すること。【解決手段】撮像装置は、被写体を撮像して、当該被写体の画素毎に輝度の変化を検出する撮像検出手段と、前記輝度の変化に基づいて、前記被写体の移動速度を決定する決定手段と、前記被写体の移動速度に基づいて、前記被写体の表示期間を設定する設定手段と、設定された前記表示期間で前記被写体を表示する映像を生成する生成手段と、を備える。【選択図】図２
Description
本発明は、イベントベースセンサの映像生成技術に関する。
特許文献１には、画素アドレス毎に、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子（ＤＶＳ）が開示されている。ＤＶＳはＤｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒの略である。ＤＶＳは、画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサである。
本発明は、被写体を視認しやすい映像を生成することを目的とする。
本発明の一態様による撮像装置は、被写体を撮像して、当該被写体の画素毎に輝度の変化を検出する撮像検出手段と、前記輝度の変化に基づいて、前記被写体の移動速度を決定する決定手段と、前記被写体の移動速度に基づいて、前記被写体の表示期間を設定する設定手段と、設定された前記表示期間で前記被写体を表示する映像を生成する生成手段と、を備える。
本発明によれば、被写体を視認しやすい映像を生成できる。
ＤＶＳ（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）は、例えば、車載カメラやマシンビジョンカメラなど、高速で動く被写体を検出する撮像装置に用いられる。ＤＶＳは画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサで、非同期型であるが、被写体検出後にユーザが映像を確認する場合や、被写体の検出精度を向上したい場合、同期型の光電変換素子で得られるような映像を出力することも求められる。ＤＶＳのように輝度変化に基づいて映像を生成する場合、被写体の移動速度が速いほど、所定周期において多くの輝度変化を検出することになり、映像化した際には残像が現れやすくなる。一方、移動速度の遅い被写体では、撮像素子から出力される輝度変化が少ないため、被写体が薄くなったり点滅したりする映像が生成される。このように映像が薄い場合や映像に残像や点滅が発生すると、ユーザが後から映像を確認した際に、被写体を識別しにくくなる。この課題に鑑み、被写体の移動速度に関わらず被写体を視認しやすい適切な映像を生成する撮像装置を以下に説明する。
以下に、本発明を実施するための形態について詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用されるシステムおよび装置の仕様および各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって確定されない。
以下に、本発明を実施するための形態について詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用されるシステムおよび装置の仕様および各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって確定されない。
第一の実施形態
以下に図１Ａを参照して、第一の実施形態に係る撮像装置１００の構成を説明する。図１Ａは撮像装置１００と周辺機器（制御装置１０９および表示装置１１０）のブロック図である。
撮像装置１００は、光学部１０１、撮像素子部１０２、イベント検出部１０３、第一の映像生成部１０４、第二の映像生成部１０５、移動量算出部１０６、第一のＩ／Ｆ部１０７および第二のＩ／Ｆ部１０８を有する。Ｉ／ＦはＩｎｔｅｒｆａｃｅの略である。撮像装置１００は、例えば、ＦＡ（ファクトリーオートメーション）機器に使用されるマシンビジョンカメラまたは車載カメラである。
以下に図１Ａを参照して、第一の実施形態に係る撮像装置１００の構成を説明する。図１Ａは撮像装置１００と周辺機器（制御装置１０９および表示装置１１０）のブロック図である。
撮像装置１００は、光学部１０１、撮像素子部１０２、イベント検出部１０３、第一の映像生成部１０４、第二の映像生成部１０５、移動量算出部１０６、第一のＩ／Ｆ部１０７および第二のＩ／Ｆ部１０８を有する。Ｉ／ＦはＩｎｔｅｒｆａｃｅの略である。撮像装置１００は、例えば、ＦＡ（ファクトリーオートメーション）機器に使用されるマシンビジョンカメラまたは車載カメラである。
撮像装置１００には制御装置１０９と表示装置１１０が接続されている。制御装置１０９は、撮像装置１００から出力されたイベント情報を受け取り、当該イベント情報に基づいて撮像装置１００を制御する。例えば、撮像装置１００からイベント情報を受け取った制御装置１０９は、撮像装置１００に、後述する図２の処理フローの開始を指示する（制御信号を送信する）。
表示装置１１０は、撮像装置１００から出力された映像を受け取り、表示する装置である。表示装置１１０は、例えば、液晶表示装置である。
表示装置１１０は、撮像装置１００から出力された映像を受け取り、表示する装置である。表示装置１１０は、例えば、液晶表示装置である。
光学部１０１は、フォーカスレンズ、ズームレンズ、及び、絞り等を含み、被写体の光学像を形成し、形成した光学像を撮像装置１００の撮像面に入射する。
撮像素子部１０２は、本実施形態ではＤＶＳであり、画素毎に輝度の変化の発生を示す輝度変化の情報を出力する。つまり、撮像素子部１０２は、輝度変化があった画素アドレス、変化方向、時刻を示す輝度変化の情報を出力することが可能な光電変換素子である。撮像素子部１０２の出力（イベント情報）は、イベント検出部１０３、第一の映像生成部１０４および第二の映像生成部１０５に入力される。輝度変化の情報は、例えば、撮像素子部１０２が、被写体を撮像した画像の画素毎に単位時間当たりの輝度の変化を検出することで取得される。もしくは、撮像素子部１０２が画素毎にフォトンの数（光電変換素子に入射した光子の数）が所定閾値以上になるまでの所要時間（クロック数）を計測し、所要時間の変化に基づいて輝度の変化を検出することで輝度変化の情報が取得される。具体的には、前回計測された所要時間をＴ０、最新の所要時間をＴとしたとき、差分Ｔ-Ｔ０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ０-Ｔが時間閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ０の差分が時間閾値未満であれば輝度の変化を検出しない。なお、時間閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。
撮像素子部１０２は、本実施形態ではＤＶＳであり、画素毎に輝度の変化の発生を示す輝度変化の情報を出力する。つまり、撮像素子部１０２は、輝度変化があった画素アドレス、変化方向、時刻を示す輝度変化の情報を出力することが可能な光電変換素子である。撮像素子部１０２の出力（イベント情報）は、イベント検出部１０３、第一の映像生成部１０４および第二の映像生成部１０５に入力される。輝度変化の情報は、例えば、撮像素子部１０２が、被写体を撮像した画像の画素毎に単位時間当たりの輝度の変化を検出することで取得される。もしくは、撮像素子部１０２が画素毎にフォトンの数（光電変換素子に入射した光子の数）が所定閾値以上になるまでの所要時間（クロック数）を計測し、所要時間の変化に基づいて輝度の変化を検出することで輝度変化の情報が取得される。具体的には、前回計測された所要時間をＴ０、最新の所要時間をＴとしたとき、差分Ｔ-Ｔ０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ０-Ｔが時間閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、ＴとＴ０の差分が時間閾値未満であれば輝度の変化を検出しない。なお、時間閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。
イベント検出部１０３は、撮像素子部１０２から入力された輝度変化の情報に基づいて、イベント情報を検出したか否かを判定する。イベント情報の検出とは、例えば、被写体が映像（画角）に映りこんだことを検出することである。イベント検出部１０３の出力（イベント情報）は第一のＩ／Ｆ部１０７に入力される。イベント情報は第一のＩ／Ｆ部１０７から制御装置１０９に送信される。
第一の映像生成部１０４は、撮像素子部１０２から入力された輝度変化の情報と、移動量算出部１０６から入力される被写体の移動量とに基づいて、第一の映像を生成する。第一の映像生成部１０４では、輝度変化の変化量を画素値として、当該画素値を所定の表示期間だけ表示するように第一の映像を生成する。表示期間は領域または画素毎に異なり、移動量算出部１０６により算出された移動量（移動速度）と所定の閾値とに基づいて、画素の表示期間を調整する（設定する）。具体的には、第一の閾値より移動量が小さい（移動速度が遅い）画素の表示期間は長くし、第二の閾値より移動量が大きい（移動速度が速い）画素の表示期間は短くする。第一の映像生成部１０４の出力（映像）は第二のＩ／Ｆ部１０８に入力される。当該映像は第二のＩ／Ｆ部１０８から表示装置１１０に送信され、表示装置１１０は、当該映像を表示する。ここで、イベント情報を、単位時間あたりの輝度値の変化に基づいて計測する場合は、移動量は単位時間当たりの移動量であるので、被写体の移動速度である。なお、表示期間とは、注目画素についての画素値を生成するために、輝度変化の情報の数を計測する期間を示す。例えば、通常時の表示期間をＳ＝１(ｓ)とすると、表示期間が長いとはＳ＞１の期間で出力された輝度変化の情報の数を加算したもので、表示期間が短いとはＳ＜1の期間で出力された輝度変化の情報の数を加算したものとなる。
第二の映像生成部１０５は、撮像素子部１０２から入力された輝度変化の情報に基づいて、第二の映像を生成する。第二の映像では、第一の映像と異なり、表示期間を調整しない（全画素で同じ表示期間）。第二の映像生成部１０５の出力は移動量算出部１０６に入力される。
制御装置１０９は、第一の映像のフレームレートと第二の映像のフレームレートを制御することができる。本実施形態では、第一の映像生成部１０４と第二の映像生成部１０５は、同じフレームレートで映像（画像データ）を生成するとする。フレームレートは、例えば、３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）または６０ｆｐｓである。
移動量算出部１０６は、第二の映像から、所定の領域または画素毎に、動きベクトルを算出し、動きベクトルの大きさ（ベクトル量）を移動量とする。動きベクトルは、ブロックマッチングや勾配法を用いて算出してもよいし、その他の手法を用いて算出してもよい。移動量算出部１０６の出力は、第一の映像生成部１０４に入力される。なお、第一の実施形態では、動きベクトルを求めることで移動量を算出するが、他の手法により移動量を算出してもよい。他の手法による移動量の算出については第三の実施形態で説明する。
制御装置１０９は、第一の映像のフレームレートと第二の映像のフレームレートを制御することができる。本実施形態では、第一の映像生成部１０４と第二の映像生成部１０５は、同じフレームレートで映像（画像データ）を生成するとする。フレームレートは、例えば、３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）または６０ｆｐｓである。
移動量算出部１０６は、第二の映像から、所定の領域または画素毎に、動きベクトルを算出し、動きベクトルの大きさ（ベクトル量）を移動量とする。動きベクトルは、ブロックマッチングや勾配法を用いて算出してもよいし、その他の手法を用いて算出してもよい。移動量算出部１０６の出力は、第一の映像生成部１０４に入力される。なお、第一の実施形態では、動きベクトルを求めることで移動量を算出するが、他の手法により移動量を算出してもよい。他の手法による移動量の算出については第三の実施形態で説明する。
第一のＩ／Ｆ部１０７は、イベント検出部１０３からイベント情報を受け取り、撮像装置１００の外部の制御装置１０９に出力するインタフェース部である。第一のＩ／Ｆ部１０７は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）やＵＡＲＴ（Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）（登録商標）を介して制御装置１０９に接続される。なお、第一のＩ／Ｆ部１０７と制御装置１０９との接続は、上記したもの以外の無線接続でもよいし、有線接続でもよい。
第二のＩ／Ｆ部１０８は第一の映像生成部１０４から入力される映像を撮像装置１００の外部の表示装置１１０に出力するインタフェース部である。第二のＩ／Ｆ部１０８は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）やＨＤＭＩ（ＨＩＧＨ－ＤＥＦＩＮＩＴＩＯＮ ＭＵＬＴＩＭＥＤＩＡ ＩＮＴＥＲＦＡＣＥ）（登録商標）を介して表示装置１１０に接続される。なお、第一のＩ／Ｆ部１０７と制御装置１０９との接続は、上記したもの以外の無線接続でもよいし、有線接続でもよい。
第二のＩ／Ｆ部１０８は第一の映像生成部１０４から入力される映像を撮像装置１００の外部の表示装置１１０に出力するインタフェース部である。第二のＩ／Ｆ部１０８は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）やＨＤＭＩ（ＨＩＧＨ－ＤＥＦＩＮＩＴＩＯＮ ＭＵＬＴＩＭＥＤＩＡ ＩＮＴＥＲＦＡＣＥ）（登録商標）を介して表示装置１１０に接続される。なお、第一のＩ／Ｆ部１０７と制御装置１０９との接続は、上記したもの以外の無線接続でもよいし、有線接続でもよい。
なお、図１Ａに示す各機能部（１０３～１０８）は、ＡＳＩＣ等の専用のハードウェア又はソフトウェアとして撮像装置１００に実装される。ハードウェアとして実装される場合は、各機能部それぞれ又はいくつかをまとめた専用のハードウェアモジュールとして実装してもよい。ソフトウェアとして実装される場合には、各機能部を実行するためのプログラムが撮像装置１００の不揮発性メモリ１２３（図１Ｂ）や記憶媒体１２６（図１Ｂ）に記憶され、制御部１２１（図１Ｂ）により適宜読み出されて実行される。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。
図１Ｂは撮像装置１００のハードウェア構成の一例を示すブロック図である。撮像装置１００は、制御部１２１、揮発性メモリ１２２、不揮発性メモリ１２３、操作部１２４、表示部１２５、記憶媒体１２６、撮像部１２７および通信部１２８を有している。
制御部１２１は、１つまたは複数のプロセッサ（例えば、ＣＰＵ、ＭＰＵ）により構成される。制御部１２１は、制御部１２１に入力された信号や不揮発性メモリ１２３、記憶媒体１２６に記憶されたプログラムに従って、撮像装置１００の各構成部を制御する。なお制御部１２１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＭＰＵはＭｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。
揮発性メモリ１２２は、例えば、ＲＡＭにより構成され、各種データを一時的に保持し、制御部１２１の作業領域等として使用される。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。
揮発性メモリ１２２は、例えば、ＲＡＭにより構成され、各種データを一時的に保持し、制御部１２１の作業領域等として使用される。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。
不揮発性メモリ１２３は、例えば、ＲＯＭにより構成され、制御部１２１で実行されるプログラム等を格納する。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。
操作部１２４は、撮像装置１００に対する指示をユーザから受け付けるために用いられる。操作部１２４は例えば、ユーザが撮像装置１００の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、通信機能のＯＮ／ＯＦＦを指示するための操作ボタンを含む。また、次に説明する表示部１２５として構成されるタッチパネルも、操作部１２４として機能する。操作部１２４は、ユーザからの指示（入力）を受け付けることができるので入力部と称してもよい。
操作部１２４は、撮像装置１００に対する指示をユーザから受け付けるために用いられる。操作部１２４は例えば、ユーザが撮像装置１００の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、通信機能のＯＮ／ＯＦＦを指示するための操作ボタンを含む。また、次に説明する表示部１２５として構成されるタッチパネルも、操作部１２４として機能する。操作部１２４は、ユーザからの指示（入力）を受け付けることができるので入力部と称してもよい。
表示部１２５は、例えば、液晶ディスプレイにより構成される。表示部１２５は、タッチパネルとしても機能することができ、インタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）な操作のためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）となることができる。なお、表示部１２５は必ずしも撮像装置１００に内蔵される必要はない。
記憶媒体１２６は、各種データやプログラムなどを記憶する。記憶媒体１２６は、撮像装置１００に着脱可能な媒体でもよいし、撮像装置１００に内蔵されていてもよい（例えば、ＳＳＤ、ＨＤＤ）。ＳＳＤはＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅの略である。ＨＤＤはＨａｒｄ Ｄｉｓｃ Ｄｒｉｖｅの略である。
記憶媒体１２６は、各種データやプログラムなどを記憶する。記憶媒体１２６は、撮像装置１００に着脱可能な媒体でもよいし、撮像装置１００に内蔵されていてもよい（例えば、ＳＳＤ、ＨＤＤ）。ＳＳＤはＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅの略である。ＨＤＤはＨａｒｄ Ｄｉｓｃ Ｄｒｉｖｅの略である。
撮像部１２７は、図１Ａの光学部１０１と撮像素子部１０２に対応する。撮像部１２７は、例えば光学レンズユニットと絞り、ズーム、フォーカスを制御する光学系と、光学レンズユニットを経て導入された光（映像）を電気的な映像信号に変換するための撮像素子（ＤＶＳを含む）等で構成される。撮像部１２７は、制御部１２１に制御されることにより、撮像部１２７に含まれるレンズで結像された被写体光を、撮像素子により電気信号に変換し、ノイズ低減処理等を行い、デジタルデータを映像データ（画像データ）として出力する。また、撮像部１２７は、撮像した被写体の映像（画像）の画素毎に輝度の変化を検出する。撮像部１２７は、被写体を撮像して、画素毎に輝度の変化を検出するので、撮像検出部と称してもよい。撮像部１２７の撮像により第二の映像生成部１０５の映像（第二の映像）の表示期間が規定される。
通信部１２８は、無線通信または有線通信により他機器（制御装置１０９、表示装置１１０）との通信を実現するための通信ユニットである。通信部１２８は、例えば無線通信のためのアンテナと無線信号を処理するための通信コントローラから構成され、ＩＥＥＥ ８０２．１１規格に従った無線通信を実現する。
制御部１０１は、入力された信号や、プログラムに従って撮像装置１００の各構成部を制御する。なお制御部１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。また制御部１０１は、ＩＥＥＥ ８０２．１ＡＳ等の時刻同期プロトコルに従い、後述の通信部１１０を介して他機器と時刻同期を行う。更に制御部１０１は、他機器と連動して同時刻に撮像部１０８を用いて撮影処理を行う。複数の撮影機器が連動して同時刻に撮影処理を行うことを同期撮影という。メモリ１０２は、各種データを一時的に保持するバッファメモリや、制御部１０１の作業領域等として使用される。
通信部１２８は、無線通信または有線通信により他機器（制御装置１０９、表示装置１１０）との通信を実現するための通信ユニットである。通信部１２８は、例えば無線通信のためのアンテナと無線信号を処理するための通信コントローラから構成され、ＩＥＥＥ ８０２．１１規格に従った無線通信を実現する。
制御部１０１は、入力された信号や、プログラムに従って撮像装置１００の各構成部を制御する。なお制御部１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。また制御部１０１は、ＩＥＥＥ ８０２．１ＡＳ等の時刻同期プロトコルに従い、後述の通信部１１０を介して他機器と時刻同期を行う。更に制御部１０１は、他機器と連動して同時刻に撮像部１０８を用いて撮影処理を行う。複数の撮影機器が連動して同時刻に撮影処理を行うことを同期撮影という。メモリ１０２は、各種データを一時的に保持するバッファメモリや、制御部１０１の作業領域等として使用される。
不揮発性メモリ１０３は、電気的に消去・記録可能な不揮発性のメモリであり、制御部１０１で実行されるプログラム等が格納される。操作部１０４は、撮像装置１００に対す
る指示をユーザから受け付けるために用いられる。操作部１０４は例えば、ユーザが撮像装置１００の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、通信機能のＯＮ／ＯＦＦを指示するための操作ボタンを含む。また、次に説明する表示部１０５として構成されるタッチパネルも、操作部１０４として機能する。
る指示をユーザから受け付けるために用いられる。操作部１０４は例えば、ユーザが撮像装置１００の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、通信機能のＯＮ／ＯＦＦを指示するための操作ボタンを含む。また、次に説明する表示部１０５として構成されるタッチパネルも、操作部１０４として機能する。
表示部１０５は、タッチパネルで構成されており、対話的な操作のためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）表示を行う。なお、表示部１０５は必ずしも撮像装置１００に内蔵される必要はない。表示部１０５は制御部１０１によって表示制御可能な構成であれば、撮像装置１００の外部に設けられていてもよい。タイマ１０６は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部として機能する。記憶媒体１０７は、各種データを記録する。記憶媒体１０７は、撮像装置１００に着脱可能に構成されてもよいし、内蔵されていてもよい。即ち、撮像装置１００は少なくとも記憶媒体１０７にアクセス可能な手段を有していればよい。
撮像部１０８は、例えば光学レンズユニットと絞り、ズーム、フォーカスを制御する光学系と、光学レンズユニットを経て導入された光（映像）を電気的な映像信号に変換するための撮像素子等で構成される。撮像部１０８は、制御部１０１に制御されることにより、撮像部１０８に含まれるレンズで結像された被写体光を、撮像素子により電気信号に変換し、ノイズ低減処理等を行い、デジタルデータを画像データとして出力する。
通信部１１０は、他機器との通信を実現するための通信ユニットである。通信部１１０は、例えば無線通信のためのアンテナと無線信号を処理するための通信コントローラから構成され、ＩＥＥＥ ８０２．１１規格に従った無線通信を実現する。制御部１０１は、通信部１１０を制御し、他機器との通信を実現する。
通信部１１０は、他機器との通信を実現するための通信ユニットである。通信部１１０は、例えば無線通信のためのアンテナと無線信号を処理するための通信コントローラから構成され、ＩＥＥＥ ８０２．１１規格に従った無線通信を実現する。制御部１０１は、通信部１１０を制御し、他機器との通信を実現する。
次に、図２および図３を参照して撮像装置１００が第一の映像を生成する際のフローを説明する。
図２は、第一の映像を生成するフローチャートである。図中、ＳはＳｔｅｐの略である。図３は、第一の映像を生成する手順を説明するための図である。図３（ａ）～図３（ｃ）は第二の映像生成部１０５が生成する映像を示す。図３（ｄ）～図３（ｆ）は移動量算出部１０６が算出する移動ベクトルを示す。図３（ｇ）～図３（ｉ）は第一の映像生成部１０４が生成する映像を示す。本実施形態では、撮像装置１００が被写体Ａと被写体Ｂの映像を生成する例を説明する。被写体ＡとＢは自動車である。
図２は、第一の映像を生成するフローチャートである。図中、ＳはＳｔｅｐの略である。図３は、第一の映像を生成する手順を説明するための図である。図３（ａ）～図３（ｃ）は第二の映像生成部１０５が生成する映像を示す。図３（ｄ）～図３（ｆ）は移動量算出部１０６が算出する移動ベクトルを示す。図３（ｇ）～図３（ｉ）は第一の映像生成部１０４が生成する映像を示す。本実施形態では、撮像装置１００が被写体Ａと被写体Ｂの映像を生成する例を説明する。被写体ＡとＢは自動車である。
まず、第二の映像生成部１０５が、第二の映像を生成する（Ｓ２０１）。図３には、Ｓ２０１で生成された３つの映像３０１、３０４および３０７が示されている。より詳しくは、図３（ａ）の映像３０１は、Ｓ２０１で生成したｔ（ｔ＝１・２・・・Ｔ・・）フレーム目における第二の映像である。映像３０１には、被写体Ａ（３０２）と被写体Ｂ（３０３）が映っている。被写体Ａ（３０２）は図３（ａ）の上部領域を、左から右に移動する自動車である。被写体Ｂ（３０３）は図３（ａ）の下部領域を、右から左に移動する自動車である。被写体Ａの移動速度は被写体Ｂの移動速度より遅い。
図３（ｂ）の映像３０４は、Ｓ２０１で生成したｔ＋１フレーム目における第二の映像である。映像３０４には、被写体Ａ（３０５）と被写体Ｂ（３０６）が映っている。図３（ｃ）の映像３０７は、Ｓ２０１で生成したｔ＋２フレーム目における第二の映像である。映像３０７には、被写体Ａ（３０８）と被写体Ｂ（３０９）が映っている。
被写体Ａの移動速度が遅いので、被写体Ａについては、撮像素子部１０２から出力される輝度変化の情報の数が少ない。そのため被写体Ａは薄く映る。被写体Ａの移動速度がさらに遅いと、点滅して映ったり、消滅して映らなくなったりする。一方、被写体Ｂは移動速度が速いので、撮像素子部１０２から出力される輝度変化の情報の数が多い。そのため被写体Ｂは、被写体Ａより濃く映る。本実施形態では、被写体Ａの映像はユーザにとって薄くて確認しにくい映像であるとする。また、被写体Ｂの映像はユーザにとって確認しやすい映像であり、残像が残らない映像であるとする。
被写体Ａの移動速度が遅いので、被写体Ａについては、撮像素子部１０２から出力される輝度変化の情報の数が少ない。そのため被写体Ａは薄く映る。被写体Ａの移動速度がさらに遅いと、点滅して映ったり、消滅して映らなくなったりする。一方、被写体Ｂは移動速度が速いので、撮像素子部１０２から出力される輝度変化の情報の数が多い。そのため被写体Ｂは、被写体Ａより濃く映る。本実施形態では、被写体Ａの映像はユーザにとって薄くて確認しにくい映像であるとする。また、被写体Ｂの映像はユーザにとって確認しやすい映像であり、残像が残らない映像であるとする。
Ｓ２０１の次にＳ２０２に進む。Ｓ２０２において、移動量算出部１０６は、領域または画素毎に動きベクトルを算出する。図３（ｄ）は、Ｓ２０２で生成したｔフレーム目における動きベクトル３１１、３１２を示す図である。動きベクトル３１１は被写体Ａの動きベクトルであり、動きベクトル３１２は被写体Ｂの動きベクトルである。
図３（ｅ）は、Ｓ２０２で生成したｔ＋１フレーム目における動きベクトル３１４、３１５を示す図である。動きベクトル３１４は被写体Ａの動きベクトルであり、動きベクトル３１５は被写体Ｂの動きベクトルである。
図３（ｆ）は、Ｓ２０２で生成したｔ＋２フレーム目における動きベクトル３１７、３１８を示す図である。動きベクトル３１７は被写体Ａの動きベクトルであり、動きベクトル３１８は被写体Ｂの動きベクトルである。
動きベクトルは、速度の遅い被写体Ａでは小さく（短く）、速度の速い被写体Ｂでは大きく（長く）なる。動きベクトルの算出は、第二の映像の連続する２フレームを用いて、ブロックマッチングや勾配法を適用して行う。動きベクトルの大きさ（長さ）は、単位時間当たりの移動量を示すので、以下の説明において、動きベクトルの大きさを移動速度と称する場合もある。
図３（ｆ）は、Ｓ２０２で生成したｔ＋２フレーム目における動きベクトル３１７、３１８を示す図である。動きベクトル３１７は被写体Ａの動きベクトルであり、動きベクトル３１８は被写体Ｂの動きベクトルである。
動きベクトルは、速度の遅い被写体Ａでは小さく（短く）、速度の速い被写体Ｂでは大きく（長く）なる。動きベクトルの算出は、第二の映像の連続する２フレームを用いて、ブロックマッチングや勾配法を適用して行う。動きベクトルの大きさ（長さ）は、単位時間当たりの移動量を示すので、以下の説明において、動きベクトルの大きさを移動速度と称する場合もある。
Ｓ２０２の次にＳ２０３に進む。Ｓ２０３において、第一の映像生成部１０４は、移動量算出部１０６で算出された動きベクトルに基づいて、領域または画素毎に表示期間を決定（設定）する。表示期間は、所定の閾値に基づいて、Ｓ２０２で算出した移動量が小さいほど長く、大きいほど短く設定する。より詳しくは、移動量が第一の閾値より小さい場合には、第一の映像のフレームレートよりも、当該画素の表示期間を長くする。また、移動量が第二の閾値より大きい場合には、第一の映像のフレームレートよりも、当該画素の表示期間を短くする。本実施形態では、移動量（動きベクトルの長さ）が第一の閾値より小さい場合、映像がユーザにとって確認しにくい（映像が薄い、点滅する）と判定する。映像が薄いと、表示装置１１０で表示した際に、被写体を確認しにくいと考えられる。また、本実施形態では、移動量が第二の閾値より大きい場合、残像が残ると判定する。表示装置１１０で表示した映像に残像が残ると、当該映像はユーザにとって確認しにくい映像となる。本実施形態では、第一の映像生成部１０４は、被写体Ａの動きベクトル３１１、３１４、３１７の大きさ（長さ）が第一の閾値より小さいと判定する。また、第一の映像生成部１０４は、被写体Ｂの動きベクトル３１２、３１５、３１８の大きさ（長さ）が第一の閾値から第二の閾値の間にあると判定する。なお、動きベクトルが算出されない場合は、被写体の動きがない可能性があるため、移動量が第一の閾値より小さいと判定し、表示期間を長く設定する。
Ｓ２０３の次にＳ２０４に進む。Ｓ２０４において、第一の映像生成部１０４は、Ｓ２０３で設定した表示期間に基づいて、第一の映像を生成する。図３（ｇ）の映像３１９は、Ｓ２０４で生成したｔフレーム目における第一の映像である。第一の映像３１９には、被写体Ａ（３２０）と被写体Ｂ（３２１）が映っている。第一の映像３１９は図３（ａ）の映像３０１に対応している。被写体Ａの表示期間は調整されており（第二の映像のフレームレートより長くされており）、被写体Ｂの表示期間は調整されていない（第二の映像のフレームレートと同じ）。
図３（ｈ）の映像３２２は、Ｓ２０４で生成したｔ＋１フレーム目における第一の映像である。第一の映像３２２には、被写体Ａ（３２３）と被写体Ｂ（３２４）が映っている。第一の映像３２２は図３（ｂ）の映像３０４に対応している。被写体Ａの表示期間は第二の映像の被写体Ａより長くされており、被写体Ｂの表示期間は第二の映像の被写体Ｂと同じである。
図３（ｉ）の映像３２５は、Ｓ２０４で生成したｔ＋２フレーム目における第一の映像である。映像３２５には、被写体Ａ（３２６）と被写体Ｂ（３２７）が映っている。第一の映像３２５は図３（ｃ）の映像３０７に対応している。被写体Ａの表示期間は第二の映像の被写体Ａより長くされており、被写体Ｂの表示期間は第二の映像の被写体Ｂと同じである。
図３（ｈ）の映像３２２は、Ｓ２０４で生成したｔ＋１フレーム目における第一の映像である。第一の映像３２２には、被写体Ａ（３２３）と被写体Ｂ（３２４）が映っている。第一の映像３２２は図３（ｂ）の映像３０４に対応している。被写体Ａの表示期間は第二の映像の被写体Ａより長くされており、被写体Ｂの表示期間は第二の映像の被写体Ｂと同じである。
図３（ｉ）の映像３２５は、Ｓ２０４で生成したｔ＋２フレーム目における第一の映像である。映像３２５には、被写体Ａ（３２６）と被写体Ｂ（３２７）が映っている。第一の映像３２５は図３（ｃ）の映像３０７に対応している。被写体Ａの表示期間は第二の映像の被写体Ａより長くされており、被写体Ｂの表示期間は第二の映像の被写体Ｂと同じである。
本実施形態では、第一の映像生成部１０４は、３フレーム分の被写体Ａを合成して出力することにより、被写体Ａの表示期間を長くした映像を生成する。つまり、第一の映像生成部１０４は、被写体Ａの表示時間を３倍にした映像を生成する。従って、第二の映像に映る被写体Ａ（例えば、図３（ａ）の被写体３０２）よりも、第一の映像に映る被写体Ａ（例えば、図３（ｇ）の被写体３２０）は濃い画像になる。被写体Ｂは移動速度が速いため、第一の映像生成部１０４は被写体Ｂの表示期間を調整しない（つまり、１フレーム分で表示させるように表示期間を設定する）。従って、第二の映像に映る被写体Ｂ（例えば、図３（ａ）の被写体３０３）と第一の映像に映る被写体Ｂ（例えば、図３（ｇ）の被写体３２１）は同じ濃さである。なお、図３では、被写体Ａは３フレームを合成して表示し、被写体Ｂは１フレームだけで表示させるよう設定しているが、これは一例であり、移動量に対する表示期間の設定は上記以外の設定でもよい。
本実施形態では、図３（ｇ）～図３（ｉ）の映像が第一の映像生成部１０４から出力されて、第二のＩＦ部１０８を介して表示装置１１０に送信される。そして、表示装置１１０では、ｔフレームの映像として図３（ｇ）の映像が表示され、ｔ＋１フレームの映像として図３（ｈ）の映像が表示され、ｔ＋２フレームの映像として図３（ｉ）の映像が表示される。
次に、図４を参照して、表示期間と移動量の関係を説明する。
Ｓ２０３における表示期間の決定は図４のグラフに基づいて行う。図４では、移動量（移動速度）が小さいほど、表示期間が長くなるグラフとなっており、表示期間と移動量の関係は一次関数により規定されている。なお、表示期間と移動量の関係は、反比例や二次関数など他の関数により規定されてもよい。また、図４のグラフは、上記した第一の閾値と第二の閾値に対応する移動量（移動速度）の間で、一定値を取るようにしてもよい。
Ｓ２０３における表示期間の決定は図４のグラフに基づいて行う。図４では、移動量（移動速度）が小さいほど、表示期間が長くなるグラフとなっており、表示期間と移動量の関係は一次関数により規定されている。なお、表示期間と移動量の関係は、反比例や二次関数など他の関数により規定されてもよい。また、図４のグラフは、上記した第一の閾値と第二の閾値に対応する移動量（移動速度）の間で、一定値を取るようにしてもよい。
本実施形態によれば、被写体ＡおよびＢが十分に濃く映っている図３（ｇ）～図３（ｉ）の映像を撮像装置１００から表示装置１１０に送信し、表示装置１１０はこれら映像を表示する。よって、表示装置１１０を見るユーザは、正確に被写体Ａおよび被写体Ｂを認識・識別することができる。このように、本実施形態によれば、被写体映像の表示期間を適正化することができる。
非同期型の光電変換素子を用いて映像を生成すると、移動速度が遅い被写体では、撮像素子から出力される輝度変化が少ないため、被写体の映像が薄くなったり、点滅を繰り返したり、消滅したりする場合がある。本実施形態では、移動速度が遅い被写体Ａの表示期間を強制的に長くして、被写体Ａの映像が十分濃くなるようにしている。よって、ユーザが認識しやすい映像を生成することができる。
なお、被写体Ｂの移動速度がさらに速くなり、第二の閾値を超えると、撮像素子部１０２から出力される輝度変化がさらに多くなるので、被写体Ｂの残像が現れる映像が生成される。このような場合、第一の映像生成部１０４は、被写体Ｂの表示期間を調整する（短くする）ことにより、被写体Ｂの残像が発生しないような映像を生成する。
第一の閾値や第二の閾値はユーザが設定してもよいし、自動で設定されてもよい。また、第一の映像や第二の映像を表示する表示部のリフレッシュレート、解像度、表示視差帯の拡大倍率などによって変更してもよい。解像度が高く、拡大倍率が高いほど、残像が目立つため、第二の閾値を小さくしたほうが好ましい。一方で、リフレッシュレートが高いほど点滅が目立つため、第一の閾値を大きくしたほうが好ましい。
非同期型の光電変換素子を用いて映像を生成すると、移動速度が遅い被写体では、撮像素子から出力される輝度変化が少ないため、被写体の映像が薄くなったり、点滅を繰り返したり、消滅したりする場合がある。本実施形態では、移動速度が遅い被写体Ａの表示期間を強制的に長くして、被写体Ａの映像が十分濃くなるようにしている。よって、ユーザが認識しやすい映像を生成することができる。
なお、被写体Ｂの移動速度がさらに速くなり、第二の閾値を超えると、撮像素子部１０２から出力される輝度変化がさらに多くなるので、被写体Ｂの残像が現れる映像が生成される。このような場合、第一の映像生成部１０４は、被写体Ｂの表示期間を調整する（短くする）ことにより、被写体Ｂの残像が発生しないような映像を生成する。
第一の閾値や第二の閾値はユーザが設定してもよいし、自動で設定されてもよい。また、第一の映像や第二の映像を表示する表示部のリフレッシュレート、解像度、表示視差帯の拡大倍率などによって変更してもよい。解像度が高く、拡大倍率が高いほど、残像が目立つため、第二の閾値を小さくしたほうが好ましい。一方で、リフレッシュレートが高いほど点滅が目立つため、第一の閾値を大きくしたほうが好ましい。
第二の実施形態
次に、図５を参照して、本発明の第二の実施形態を説明する。本実施形態では、第一の実施形態と異なるフレームレートで第一の映像を生成する。より具体的には、第一の実施形態では、第一の映像と第二の映像を同じフレームレートに設定したが、第二の実施形態では、第一の映像よりも第二の映像のほうが３倍速いフレームレートに設定される。第二の映像のフレームレートが第一の映像のフレームレートの３倍なので、３つの第二の映像が生成される間に、１つの第一の映像が生成される。
本実施形態の撮像装置１００の構成は、第一の実施形態（図１Ａ）とで同じである。また、第二の実施形態でも図２のフローチャートおよび図４のグラフを使用する。以下の説明において、第一の実施形態と同じ構成や処理には同じ参照符号を付ける。
次に、図５を参照して、本発明の第二の実施形態を説明する。本実施形態では、第一の実施形態と異なるフレームレートで第一の映像を生成する。より具体的には、第一の実施形態では、第一の映像と第二の映像を同じフレームレートに設定したが、第二の実施形態では、第一の映像よりも第二の映像のほうが３倍速いフレームレートに設定される。第二の映像のフレームレートが第一の映像のフレームレートの３倍なので、３つの第二の映像が生成される間に、１つの第一の映像が生成される。
本実施形態の撮像装置１００の構成は、第一の実施形態（図１Ａ）とで同じである。また、第二の実施形態でも図２のフローチャートおよび図４のグラフを使用する。以下の説明において、第一の実施形態と同じ構成や処理には同じ参照符号を付ける。
まず、撮像装置１００の第二の映像生成部１０５が、第二の映像を生成する（Ｓ２０１）。
図５（ａ）の映像５０１は、Ｓ２０１で生成したｔ1（ｔ1＝１・２・・・T1・・）フレーム目における第二の映像である。映像５０１には、被写体Ａ（５０２）と被写体Ｂ（５０３）が映っている。図５（ｂ）の映像５０４は、Ｓ２０１で生成したｔ1＋１フレーム目における第二の映像である。映像５０４には、被写体Ａ（５０５）と被写体Ｂ（５０６）が映っている。図５（ｃ）の映像５０７は、Ｓ２０１で生成したｔ1＋２フレーム目における第二の映像である。映像５０７には、被写体Ａ（５０８）と被写体Ｂ（５０９）が映っている。
図５（ａ）の映像５０１は、Ｓ２０１で生成したｔ1（ｔ1＝１・２・・・T1・・）フレーム目における第二の映像である。映像５０１には、被写体Ａ（５０２）と被写体Ｂ（５０３）が映っている。図５（ｂ）の映像５０４は、Ｓ２０１で生成したｔ1＋１フレーム目における第二の映像である。映像５０４には、被写体Ａ（５０５）と被写体Ｂ（５０６）が映っている。図５（ｃ）の映像５０７は、Ｓ２０１で生成したｔ1＋２フレーム目における第二の映像である。映像５０７には、被写体Ａ（５０８）と被写体Ｂ（５０９）が映っている。
被写体Ａは移動速度が遅く、撮像素子部１０２から出力される輝度変化の情報の数（輝度変化の検出回数）が少ない。そのため、映像５０１、５０４および５０７では、被写体Ａは薄く映る。被写体Ａの移動速度がさらに遅いと、点滅して映ったり、消滅して映らなくなったりする。一方、被写体Ｂは移動速度が速く、撮像素子部１０２から出力される輝度変化の情報の数が多い。そのため映像５０１、５０４および５０７で、被写体Ｂは濃く映る。被写体Ｂの移動速度がさらに速いと、残像が現れやすくなる。
次に、Ｓ２０２において、移動量算出部１０６は、領域または画素毎に動きベクトルを算出する。図５（ｄ）は、Ｓ２０２で生成したｔ1フレーム目における動きベクトル５１１、５１２を示す図である。動きベクトル５１１は被写体Ａの動きベクトルであり、動きベクトル５１２は被写体Ｂの動きベクトルである。図５（ｅ）は、Ｓ２０２で生成したｔ1＋１フレーム目における動きベクトル５１４、５１５を示す図である。動きベクトル５１４は被写体Ａの動きベクトルであり、動きベクトル５１５は被写体Ｂの動きベクトルである。図５（ｆ）は、Ｓ２０２で生成したｔ1＋２フレーム目における動きベクトル５１７、５１８を示す図である。動きベクトル５１７は被写体Ａの動きベクトルであり、動きベクトル５１８は被写体Ｂの動きベクトルである。
動きベクトルは、速度の遅い被写体Ａでは小さく、速度の速い被写体Ｂでは大きくなる。動きベクトルの算出は、第二の映像に、ブロックマッチングや勾配法を適用して行う。
動きベクトルは、速度の遅い被写体Ａでは小さく、速度の速い被写体Ｂでは大きくなる。動きベクトルの算出は、第二の映像に、ブロックマッチングや勾配法を適用して行う。
次に、Ｓ２０３において、第一の映像生成部１０４は、移動量算出部１０６で算出された動きベクトルに基づいて、領域または画素毎に表示期間を決定する。表示期間は、Ｓ２０２で算出した移動量が第一の閾値より小さい場合には、第一の映像のフレームレートよりも長く設定し、第二の閾値より大きい場合には、第一の映像のフレームレートよりも短く設定する。また、動きベクトルが算出されない場合は、被写体の動きがない可能性があるため、移動量が小さいと判定し、表示期間を長く設定する。Ｓ２０３における表示期間の決定は図４のグラフに基づいて行う。本実施形態では、第一の映像生成部１０４は、被写体Ａの動きベクトル５１１、５１４、５１７の大きさ（長さ）が第一の閾値より小さいと判定する。また、第一の映像生成部１０４は、被写体Ｂの動きベクトル５１２、５１５、５１８の大きさ（長さ）が第一の閾値から第二の閾値の間にあると判定する。
次に、Ｓ２０４において、第一の映像生成部１０４は、Ｓ２０３で設定した表示期間に基づいて、第一の映像を生成する。
図５（ｇ）の映像５１９はｔ2（ｔ2＝１・２・・・T2・・）フレーム目における第一の映像である。映像５１９には、被写体Ａ（５２０）と被写体Ｂ（５２１）が映っている。映像５１９では、動きベクトルの小さい被写体Ａ（５２０）は、第二の映像の３フレーム分を加算して第一の映像に映す。つまり、被写体Ａの表示期間は３倍にされている。一方、動きベクトルの大きい被写体Ｂ（５２１）は、第二の映像の１フレーム分を第一の映像に映す。図５（ｇ）の映像５１９は図５（ｃ）の映像５０７に対応している。
図５（ｇ）の映像５１９はｔ2（ｔ2＝１・２・・・T2・・）フレーム目における第一の映像である。映像５１９には、被写体Ａ（５２０）と被写体Ｂ（５２１）が映っている。映像５１９では、動きベクトルの小さい被写体Ａ（５２０）は、第二の映像の３フレーム分を加算して第一の映像に映す。つまり、被写体Ａの表示期間は３倍にされている。一方、動きベクトルの大きい被写体Ｂ（５２１）は、第二の映像の１フレーム分を第一の映像に映す。図５（ｇ）の映像５１９は図５（ｃ）の映像５０７に対応している。
本実施形態によれば、被写体ＡおよびＢが十分に濃く映っている図５（ｇ）の映像を撮像装置１００から表示装置１１０に送信し、表示装置１１０に表示させる。よって、表示装置１１０を見るユーザは、正確に被写体Ａおよび被写体Ｂを認識・識別することができる。
また、本実施形態では、第二の映像を第一の映像より高いフレームレートに設定することで、移動速度の速い被写体Ｂについては、より残像が現れにくい第二の映像が生成される。そして、第二の映像に基づいて第一の映像を生成することにより、被写体Ｂについては、より残像が現れにくい第一の映像が生成される。
また、本実施形態では、第二の映像を第一の映像より高いフレームレートに設定することで、移動速度の速い被写体Ｂについては、より残像が現れにくい第二の映像が生成される。そして、第二の映像に基づいて第一の映像を生成することにより、被写体Ｂについては、より残像が現れにくい第一の映像が生成される。
第三の実施形態
次に、図６および図７を参照して、本発明の第三の実施形態を説明する。第三の実施形態で使用する撮像装置１００の構成は、第一の実施形態（図１Ａ）と同じである。第一の実施形態と比較すると、本実施形態の移動量算出部１０６は、輝度変化が発生した画素数（輝度変化画素数）により移動量（移動速度）を決定する点が異なる。より詳しくは、第一の実施形態の移動量算出部１０６は、動きベクトルを求めて移動量を算出していたが、第三の実施形態の移動量算出部１０６は、撮像素子部１０２で発生した輝度変化の数（画素数）に基づいて移動量を決定する。他の動作および処理は、第一の実施形態および第二の実施形態と同じである。
次に、図６および図７を参照して、本発明の第三の実施形態を説明する。第三の実施形態で使用する撮像装置１００の構成は、第一の実施形態（図１Ａ）と同じである。第一の実施形態と比較すると、本実施形態の移動量算出部１０６は、輝度変化が発生した画素数（輝度変化画素数）により移動量（移動速度）を決定する点が異なる。より詳しくは、第一の実施形態の移動量算出部１０６は、動きベクトルを求めて移動量を算出していたが、第三の実施形態の移動量算出部１０６は、撮像素子部１０２で発生した輝度変化の数（画素数）に基づいて移動量を決定する。他の動作および処理は、第一の実施形態および第二の実施形態と同じである。
まず、撮像装置１００の第二の映像生成部１０５が、第二の映像を生成する（Ｓ７０１）。
図６は、第二の映像生成部１０５で生成した第二の映像６０１を示す。映像６０１には、被写体Ａ（６０２）と被写体Ｂ（６０３）が映っている。被写体Ａは速度が遅く、撮像素子部１０２にて発生した輝度変化の数（映像素子部１０２から出力される輝度変化画素数）が少ないため、薄く映る。一方、被写体Ｂは移動速度が速く、撮像素子部１０２にて発生した輝度変化の数が多いため、濃く映る。
図６は、第二の映像生成部１０５で生成した第二の映像６０１を示す。映像６０１には、被写体Ａ（６０２）と被写体Ｂ（６０３）が映っている。被写体Ａは速度が遅く、撮像素子部１０２にて発生した輝度変化の数（映像素子部１０２から出力される輝度変化画素数）が少ないため、薄く映る。一方、被写体Ｂは移動速度が速く、撮像素子部１０２にて発生した輝度変化の数が多いため、濃く映る。
次に、移動量算出部１０６が、被写体ＡおよびＢの移動量を決定する（Ｓ７０２）。本実施形態では、被写体ＡおよびＢの移動量を決定する際に、動きベクトルを使用しない。より詳しくは、移動量算出部１０６は、領域毎に撮像素子部１０２から出力された輝度変化の情報（輝度変化画素）の数を求め、数に応じて移動量を決定する。図６の例では、輝度変化画素の数が少ない被写体Ａ６０２では移動量が第一の閾値より小さく、輝度変化画素の数が多い被写体Ｂ６０３では移動量が第一の閾値と第二の閾値の間にあるとする。
次に、Ｓ７０３において、第一の映像生成部１０４は、移動量算出部１０６で決定された移動量に基づいて、領域または画素毎に表示期間を決定する。表示期間は、Ｓ７０２で決定した移動量が小さいほど長く、大きいほど短く設定する。本実施形態では、第一の映像生成部１０４は、被写体Ａの移動量が第一の閾値より小さいと判定する。また、第一の映像生成部１０４は、被写体Ｂの移動量が第一の閾値から第二の閾値の間にあると判定する。なお、移動量が決定できない場合は、被写体の動きがない可能性があるため、移動量が第一の閾値より小さいと判定し、表示期間を長く設定する。Ｓ７０３における表示期間の決定は図４のグラフに基づいて行う。
次に、Ｓ７０４において、第一の映像生成部１０４は、Ｓ７０３で設定した表示期間に基づいて、第一の映像を生成する。生成された第一の画像は、例えば、図３（ｇ）のような映像になる。
このように、本実施形態では動きベクトルの算出をしない。よって、動きベクトルを算出して移動量を求める第一の実施形態と第二の実施形態に比べ、第三の実施形態では、移動量算出部１０６における演算量が小さくなる。また、本実施形態においても、被写体ＡおよびＢが十分に濃く映っている映像を表示装置１１０に送信し、表示させる。よって、表示装置１１０を見るユーザは、正確に被写体Ａおよび被写体Ｂを認識・識別することができる。
このように、本実施形態では動きベクトルの算出をしない。よって、動きベクトルを算出して移動量を求める第一の実施形態と第二の実施形態に比べ、第三の実施形態では、移動量算出部１０６における演算量が小さくなる。また、本実施形態においても、被写体ＡおよびＢが十分に濃く映っている映像を表示装置１１０に送信し、表示させる。よって、表示装置１１０を見るユーザは、正確に被写体Ａおよび被写体Ｂを認識・識別することができる。
以上、実施形態を詳述したが、本発明は例えば、システムとしての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してよい。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図示したフローチャートに対応したプログラムである。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図示したフローチャートに対応したプログラムである。
１００…撮像装置、１０１…光学部、１０２…撮像素子部、１０４…第一の映像生成部、１０５…第二の映像生成部、１０６…移動量算出部、１１０…表示装置、１２１…制御部
Claims (13)
- 被写体を撮像して、当該被写体の画素毎に輝度の変化を検出する撮像検出手段と、
前記輝度の変化に基づいて、前記被写体の移動速度を決定する決定手段と、
前記被写体の移動速度に基づいて、前記被写体の表示期間を設定する設定手段と、
設定された前記表示期間で前記被写体を表示する映像を生成する生成手段と、
を備えることを特徴とする撮像装置。 - 前記設定手段は、前記移動速度が第一の閾値より遅い場合、前記撮像検出手段の撮像により規定される表示期間より長い表示期間を設定し、前記移動速度が第二の閾値より速い場合、前記撮像検出手段の撮像により規定される表示期間より短い表示期間を設定することを特徴とする請求項１に記載の撮像装置。
- 前記設定手段は、前記撮像検出手段の撮像により規定される表示期間より長い表示期間を設定する場合、前記移動速度が遅いほど長い表示期間を設定し、
前記設定手段は、前記撮像検出手段の撮像により規定される表示期間より短い表示期間を設定する場合、前記移動速度が速いほど短い表示期間を設定することを特徴とする請求項２に記載の撮像装置。 - 前記撮像検出手段の撮像により規定される表示期間は、全ての画素で同じであり、
前記決定手段は、前記輝度の変化から前記移動速度を算出することにより、前記移動速度を決定することを特徴とする請求項１～３のいずれか１項に記載の撮像装置。 - 前記撮像検出手段の撮像のフレームレートは、前記生成手段の映像のフレームレートより高いことを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
- 前記決定手段は、前記被写体の領域または画素毎に動きベクトルを算出し、当該動きベクトルの大きさに基づいて前記移動速度を決定することを特徴とする請求項１～５のいずれか１項に記載の撮像装置。
- 前記決定手段が前記被写体の領域または画素毎に動きベクトルを算出できない場合、前記設定手段は、前記移動速度が前記第一の閾値より遅いと判定することを特徴とする請求項２に記載の撮像装置。
- 前記撮像検出手段は、撮像された前記被写体の領域毎の輝度の変化を検出し、
前記決定手段は、前記撮像検出手段の検出回数に基づいて、前記移動速度を決定することを特徴とする請求項１～５のいずれか１項に記載の撮像装置。 - 前記決定手段は、撮像された前記被写体の輝度の変化が発生した画素の数に基づいて、前記移動速度を決定することを特徴とする請求項１～５のいずれか１項に記載の撮像装置。
- 前記撮像検出手段は、ＤＶＳ（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）を含むことを特徴とする請求項１～９のいずれか１項に記載の撮像装置。
- 前記生成手段が生成した映像を、表示装置に送信する送信手段をさらに備えることを特徴とする請求項１～１０のいずれか１項に記載の撮像装置。
- 被写体を撮像して、当該被写体の画素毎に輝度の変化を検出するステップと、
前記輝度の変化に基づいて、前記被写体の移動速度を決定するステップと、
前記被写体の移動速度に基づいて、前記被写体の表示期間を設定するステップと、
設定された前記表示期間で前記被写体を表示する映像を生成するステップと、
を有することを特徴とする撮像方法。 - コンピュータを、請求項１から１１のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021175658A JP2023065075A (ja) | 2021-10-27 | 2021-10-27 | 撮像装置、撮像方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021175658A JP2023065075A (ja) | 2021-10-27 | 2021-10-27 | 撮像装置、撮像方法およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023065075A true JP2023065075A (ja) | 2023-05-12 |
Family
ID=86281903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021175658A Pending JP2023065075A (ja) | 2021-10-27 | 2021-10-27 | 撮像装置、撮像方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023065075A (ja) |
-
2021
- 2021-10-27 JP JP2021175658A patent/JP2023065075A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9019387B2 (en) | Imaging device and method of obtaining image | |
| US9185269B2 (en) | Imaging device, information processing device, information processing method, and method for synchronizing frame data output | |
| JP2016208307A (ja) | 画像処理装置、その制御方法及びプログラム | |
| CN109903324B (zh) | 一种深度图像获取方法及装置 | |
| CN108322650B (zh) | 视频拍摄方法和装置、电子设备、计算机可读存储介质 | |
| KR102229152B1 (ko) | 이미지 촬영 장치 | |
| JP2009100373A (ja) | ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器 | |
| US9225907B2 (en) | Image capturing apparatus and method for controlling the same | |
| JP2016195378A5 (ja) | 撮像システムおよび撮像方法 | |
| US20160381302A1 (en) | Image-processing apparatus and image-processing method | |
| JP2017216638A (ja) | 撮像装置 | |
| JP2014241569A (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
| EP3094079B1 (en) | Video signal processing device, video signal processing method, and camera device | |
| JP2020028096A (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
| CN106657758B (zh) | 拍照方法、装置以及终端设备 | |
| KR20150146424A (ko) | 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템 | |
| JP2023065075A (ja) | 撮像装置、撮像方法およびプログラム | |
| US20130033515A1 (en) | Image Display Apparatus and Image Display Method | |
| US11805334B2 (en) | Apparatus and method for information processing and storage medium | |
| WO2018198646A1 (ja) | 通信装置、通信システム、およびデータ通信方法、並びにプログラム | |
| JP2017163449A (ja) | 撮影装置 | |
| CN115937291A (zh) | 一种双目图像的生成方法、装置、电子设备及存储介质 | |
| JP2022188990A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN116368814A (zh) | 无fov损失的空间对准变换 | |
| KR101989868B1 (ko) | 전자 장치 및 제어 방법 |