JP2016063455A - 撮像装置、撮像システム、撮像制御プログラム、及び記録媒体 - Google Patents
撮像装置、撮像システム、撮像制御プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP2016063455A JP2016063455A JP2014190995A JP2014190995A JP2016063455A JP 2016063455 A JP2016063455 A JP 2016063455A JP 2014190995 A JP2014190995 A JP 2014190995A JP 2014190995 A JP2014190995 A JP 2014190995A JP 2016063455 A JP2016063455 A JP 2016063455A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- distance image
- image
- imaging device
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】撮像範囲を監視しながら、入退出のカウント精度を充分に確保できる撮像装置、撮像システム、撮像制御プログラム、及びその撮像制御プログラムを格納する記録媒体を提供する装置を提供する。【解決手段】撮像装置3A,3Cは、映像光学系33Aを介して撮像を行う撮像部30Aと、距離画像光学系33Aを介して撮像された画像を基に距離画像の生成を行う距離画像生成部30Bと、撮像部により撮像される映像の画角と前記距離画像の画角とを設定する制御部42と、を備える。【選択図】図3
Description
本発明は、撮像範囲の監視と入退出のカウントを行う撮像装置、撮像システム、撮像制御方法、撮像制御プログラム、及び記録媒体に関するものである。
近年、鉄道車両、バス、タクシー等の公共交通機関における防犯及び迷惑行為の事前察知等のために、それらの車内又は車外をカメラで監視するシステムが導入されている。このような監視システムの導入により、リアルタイムでの監視が可能となり、更にその撮像データのレコーダへの記録/蓄積と、レコーダに蓄積された撮像データの再生も可能となっている。
そして、特に鉄道車両のように多くの人数が乗車可能な車両において、特定の車両の混雑及びその混雑している車両への乗降時における混雑を緩和することを目的とする監視システムが開示されている(例えば特許文献1)。この監視システムは、車両内に設置された監視カメラにより撮像された映像データ又は画像データから人物を検出することにより、各車両の乗降人数又は混雑率を把握する。
しかしながら上記従来の監視システムにおいては、監視カメラにより撮像された映像又は画像に映る人物の検出精度が低く、したがって各車両の乗降人数又は混雑率の算出精度が低い、という課題があった。
本発明の目的は、撮像範囲を監視しながら、入退出のカウント精度を充分に確保できる撮像装置、撮像システム、撮像制御プログラム、及びその撮像制御プログラムを格納する記録媒体を提供することである。
本発明の撮像装置は、映像光学系を介して撮像を行う撮像部と、距離画像光学系を介して撮像された画像を基に距離画像(depth map)の生成を行う距離画像生成部と、前記撮像部により撮像される映像の画角と前記距離画像の画角とを設定する制御部と、を備える。
本発明の撮像システムは、前記映像に関する情報と前記距離画像に関する情報とを伝送する通信部を備える前記撮像装置と、前記映像に関する情報と前記距離画像に関する情報とを受信し連携させて情報処理を行う情報処理装置と、からなる。
本発明の撮像制御プログラムは、前記映像に関する情報と前記距離画像に関する情報とを伝送する通信部を備える前記撮像装置と通信可能な情報処理装置に記憶され、前記映像に関する情報と前記距離画像に関する情報とを受信し連携させて情報処理を行う。
本発明の記憶媒体は、撮像制御プログラムを格納する。
本発明によれば、撮像範囲を監視しながら、入退出のカウント精度を充分に確保できる。
以下、本発明の実施の形態の情報処理装置について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
(第1実施形態)
図1は、本第1実施形態の撮像システム1の構成図である。図2(A)は、車両2の天井2Aの側から見た場合において、本第1実施形態の撮像システム1を構成する撮像装置3Aの配置を示す透視図である。図2(B)は、車両2の側面2Bから見た場合において、本第1実施形態の撮像システム1を構成する撮像装置3Aの配置を示す透視図である。この撮像システム1において、例えば鉄道などの車両2は、車内に複数の撮像装置3Aを備える。撮像装置3Aは、車両2の内外の監視及び車両2を乗り降りする人などの対象物体5の計数を目的として、例えば車両2の車内において、扉4の上(天井2Aの側)に設置される。
図1は、本第1実施形態の撮像システム1の構成図である。図2(A)は、車両2の天井2Aの側から見た場合において、本第1実施形態の撮像システム1を構成する撮像装置3Aの配置を示す透視図である。図2(B)は、車両2の側面2Bから見た場合において、本第1実施形態の撮像システム1を構成する撮像装置3Aの配置を示す透視図である。この撮像システム1において、例えば鉄道などの車両2は、車内に複数の撮像装置3Aを備える。撮像装置3Aは、車両2の内外の監視及び車両2を乗り降りする人などの対象物体5の計数を目的として、例えば車両2の車内において、扉4の上(天井2Aの側)に設置される。
特に図1に示すように、撮像装置3Aは、車両2が駅6(又は停留所)に到着し停車している間、例えば駅のホーム6A(又は停留所)に設置されたアクセスポイントAPと通信可能である。駅6の構内には、アクセスポイントAP及び構内ネットワーク7を介して撮像装置3Aから受信した各種データを処理する構内情報処理装置8が設置される。撮像装置3Bは駅6の構内に設置され、構内ネットワーク7と接続されてもよい。そして駅6の構内には、アクセスポイントAP及び構内ネットワーク7を介して撮像装置3A,3Bから受信した各種データ、特に映像データ及び距離画像(depth map)データを記録し蓄積するレコーダ9が接続される。構内情報処理装置8は、構内ネットワーク7を介して、レコーダ9に蓄積されたデータにアクセスし、各種の処理(特に画像処理)、編集又は集計を行うことが可能である。
アクセスポイントAP、構内情報処理装置8、レコーダ9が接続される構内ネットワーク7は、GW10を介して外部ネットワーク11と接続される。外部ネットワークは、例えばインターネット、公衆電話回線網、専用電話回線、携帯電話回線網などのいずれかであってもよいし、それらのうち複数種類の網の組み合わせであってもよい。
さらに、例えば鉄道などの公共交通機関を運営する事業者の本社13には中央管理サーバ12が設置され、本社ネットワーク13A及びGW14を介して外部ネットワーク11と接続される。中央管理サーバ12は、GW10及び14、外部ネットワーク11を介して、構内ネットワーク7に接続される構内情報処理装置8及びレコーダ9との通信を行うことが可能である。すなわち中央管理サーバ12は、構内情報処理装置8又はレコーダ9に蓄積されたデータにアクセスし、各種の処理(特に画像処理)、編集、蓄積又は集計を行うことができる。逆に構内情報処理装置8は、自身が保有するデータ又はレコーダ9に蓄積されたデータを中央管理サーバ12にアップロードすることができる。さらに中央管理サーバ12は、GW10及び14、外部ネットワーク11と、構内ネットワーク7に接続されたアクセスポイントAPを介して、車両2の車内又は駅6の構内に設置された撮像装置3A,3Bとの通信を行い、撮像装置3A又は3Bの撮像画像又は距離画像を見ることも可能である。
構内情報処理装置8及び中央管理サーバ12は、例えば携帯電話回線網などの広域無線通信網を介して、車両2内に設置された撮像装置3Aにアクセスし、その撮像画像により車両2の内外の様子を監視してもよい。また、車両2の運転士又は車掌は、車両2内又は可搬型の情報処理装置(図示せず)を用いて、例えば携帯電話回線網などの広域無線通信網又は車両2の車内通信網(図示せず)を介して撮像装置3Aにアクセスし、その撮像画像により車両2の内外の様子を監視してもよい。
図3は、撮像装置3A,3Bのハードウェア構成の例を示すブロック図である。本第1実施形態の撮像装置3A,3Bは、車両2(図1参照)の車内を監視するための映像と、車両2を乗り降りする人及びその人が所持する荷物などの対象物体5(図1参照)を計数するための距離画像の両方を撮像することが可能である。距離画像は、TOF(Time Of Flight)方式で生成される。又は、撮像装置3A,3Bは、可視光により撮像を行う2つの光学系を備えたステレオタイプの撮像装置であってもよい。撮像装置3A,3Bは、発光素子部31と、発光/受光制御・駆動部32と、受光素子部33と、受光タイミング制御部34と、タイミング生成部35と、A/D変換部36と、を備えている。
発光素子部31は、距離画像の撮像範囲に向けて赤外光を発光する。赤外光の発光のタイミング及び期間は、タイミング生成部35が生成する発光駆動信号によって制御される。発光/受光制御・駆動部32は、タイミング生成部35からの発光駆動信号に従って発光素子部31を駆動する。
本第1実施形態の撮像装置3A,3Bに実装される受光素子部33は、撮像光学系33Aを介して可視光を受光する赤色光(R)、緑色光(G)、青色光(B)の各受光素子及び赤外光を受光するIR受光素子を、各画素に備える。IR受光素子は距離画像を生成するために設けられるもので、発光素子部31から発光され、例えば車両2を乗り降りする人などの対象物体5(図1参照)、荷物又は車両2の構造物によって反射された赤外光を受光する。
受光素子部33が受光した赤色光,緑色光,青色光,赤外光の各光は、受光タイミング制御部34が備える光電変換素子(例えばCCDなど)により、電気信号に変換され、出力される。それに加えて受光タイミング制御部34は、発光素子部31が出射した赤外光の反射体(例えば車両2を乗り降りする人などの対象物体5(図1参照))までの距離を算出する距離画像の生成を行うための電子シャッタ制御を行う。電子シャッタ、すなわち光電変換のタイミング及び期間は、タイミング生成部35が生成する電子シャッタウィンドウ信号によって制御される。発光/受光制御・駆動部32は、タイミング生成部35からの電子シャッタウィンドウ信号に従って、受光タイミング制御部34を駆動する。電子シャッタは、例えば、CCDのグローバルシャッタ、光学シャッタなどであり、これらに限定されない。
図4は、電子シャッタ制御を説明するタイミングチャートである。図4に示すように、発光駆動信号は、パルス波であり、一定の周期で駆動(HIGH:発光)と停止(LOW:消灯)を繰り返す。発光素子部31から発光される赤外光の実際の発光光量は、発光駆動信号の通りに立ち上がり、かつ立ち下がるものではなく、立ち上がり及び立ち下がりは滑らかになる。電子シャッタウィンドウ信号は、パルス波であり、発光駆動信号と同一の周期で駆動(HIGH)と停止(LOW)を繰り返す。発光駆動信号と電子シャッタウィンドウ信号とは位相が同じであってよく、位相が若干ずれていてもよい(電子シャッタウィンドウ信号が発光駆動信号に若干遅れていてもよい)。
このような発光駆動信号及び電子シャッタウィンドウ信号によって発光素子部31及び受光タイミング制御部34をそれぞれ駆動することにより、図4に示すような赤外光の受光光量が得られる。発光素子部31が赤外光を発光してから、その反射光が受光素子部33の各画素において受光されるまでの時間が長い場合、電子シャッタウィンドウ信号の立ち上がりの期間に受光できる反射光の光量は小さくなる。すなわち、その画素が捉えている被写体部分の距離が情報処理処置から遠い場合には、電子シャッタウィンドウ信号の立ち上がりの期間に受光できる反射光の光量は小さくなる。逆に、発光素子部31が赤外光を発光してから、その反射光が受光素子部33の各画素において受光されるまでの時間が短い場合、電子シャッタウィンドウ信号の立ち上がりの期間にCCDで受光できる反射光の光量は大きくなる。すなわち、その画素が捉えている被写体部分の距離が情報処理装置から近い場合には、電子シャッタウィンドウ信号の立ち上がりの期間にCCDで受光できる反射光の光量は大きくなる。
したがって各画素が捉えている被写体部分(例えば車両2を乗り降りする対象物体5(図1参照))のまでの距離は、各画素において受光シャッタウィンドウ信号が立ち上がっている間に受光した赤外光の光量の積分値(すなわち、各画素の輝度値)の大小によって計測される。光電変換素子では、この赤外光の光量積分値が電気信号に変換される。この電気信号は、各画素について、それらの画素が捉えている被写体部分(例えば車両2を乗り降りする人などの対象物体5(図1参照))までの距離を示す。すなわち、各画素の赤外光の輝度値は、それらの画素が捉えている被写体部分(例えば車両2を乗り降りする人などの対象物体5(図1参照))までの距離を示す距離情報と等価である。
図4に示すように、発光素子部31による赤外光の発光及び受光タイミング制御部34による赤外光の光電変換(受光光量の積分)は、1つの距離画像を生成するために複数回行われてよい。この場合には、複数回の発光及び受光によって得られた輝度値を平均化し、かつ/又は中間の値を採用することにより、距離画像を生成するための各画素の輝度値を求めてよい。
図3に戻って、A/D変換部36は、受光タイミング制御部34から出力された赤色光,緑色光,青色光,赤外光及び電子シャッタ制御によるその赤外光の積分値(輝度値)の各電気信号(アナログ信号)をデジタル信号に変換する。A/D変換部36によって変換された、それらのデジタル信号は、分離部37に出力される。分離部37は、それらのデジタル信号から電子シャッタ制御による赤外光の積分値(輝度値)を分離して、距離画像信号処理部38に出力する。残された赤色光,緑色光,青色光,赤外光の各デジタル信号は、可視・IR画像信号処理部39に出力される。
距離画像信号処理部38は、電子シャッタ制御による赤外光の積分値(輝度値)を全画素について算出し、それらの積分値を基に距離画像を生成する。この距離画像は、各画素が捉えている被写体部分(例えば車両2を乗り降りする人などの対象物体5(図1参照))までの距離が規定された情報である。距離画像を生成する際には、距離の演算の他に、各種のフィルタ処理及び信号処理と、距離又は傾きの補正などが行われる。
距離画像が表示される際には、例えば、距離が遠い画素ほど濃度が低い濃淡画像として表示される。逆に、距離が近い画素ほど濃度が低い濃淡画像として表示されるようにしてもよい。距離画像信号処理部38は、例えば身長、体格、所持する荷物の有無などからなる距離メタ情報を出力してもよい。
可視・IR画像信号処理部39は、赤色光,緑色光,青色光の各デジタル信号から監視用の可視画像を生成し、赤外光のデジタル信号から監視用の赤外画像(以下「IR画像」)を生成する。IR画像は、室内の照明が行き届かないために生ずる暗がり部分を監視するのにも有効である。
対応付け処理部40は、距離画像信号処理部38により生成された距離画像と、可視・IR画像信号処理部39により生成された可視画像及びIR画像と、の対応付けを、それぞれの撮像時刻、撮像位置、画角等の対応付け情報を用いて行う。本第1実施形態の撮像装置3A及び3Bは、対応付け処理部40を備えることにより、距離画像、可視画像、IR画像の画像処理を連携させ、同時刻に同一の撮像装置3Aによって撮像され生成された、これらの画像を同時に表示させることを可能とする。
本第1実施形態の撮像装置3A及び3Bにおける監視用の画像(例えば可視画像、赤外画像)及び距離画像は、一つの受光素子部33(センサ)によって生成されるが、異なる受光素子部によって、それぞれ生成されてもよい。すなわち、赤色光,緑色光,青色光の受光素子部と、赤外光の受光素子部とは異なっていてもよい。さらには、赤色光,緑色光,青色光の受光素子部と、赤外光の受光素子部に光を導入する光学系が、それぞれ独立に設けられてもよい。いずれにしても対応付け処理部40は、特徴の異なるこれらの画像/映像、距離画像、IR画像のいずれか又はそれらの中の複数を組み合わせて、各種の測定や対象物の検知及びトラッキングの精度を向上させることができる。
受光素子部33、受光タイミング制御部34、A/D変換部36、分離部37及び可視・IR画像信号処理部39により構成される一点鎖線部分は、映像撮像部30Aである。これに対して、発光素子部31、発光/受光制御・駆動部32、受光素子部33、受光タイミング制御部34、タイミング生成部35、A/D変換部36、分離部37及び距離画像信号処理部38により構成される点線部分は、距離画像生成部30Bである。そのうち発光素子部31及び受光素子部33を除く構成が距離画像センサに相当する。発光素子部31、発光/受光制御・駆動部32、受光素子部33、受光タイミング制御部34、タイミング生成部35、A/D変換部36及び分離部37は、映像撮像部30Aと距離画像生成部30Bの両方に用いられる。したがって本第1実施形態の撮像装置3A,3Bのハードウェア構成は、上記の共通化により簡素化される。
撮像部30Aは、映像光学系である撮像光学系33Aを介して撮像し、距離画像生成部30Bは、距離画像光学系である撮像光学系33Aを介して撮像し距離画像の生成を行う。すなわち、本第1実施形態の撮像装置3A,3Bの映像光学系と距離画像光学系は共通化されて、1つの撮像光学系33Aとなっている。
記憶部41は、距離画像信号処理部38により生成された距離画像、可視・IR画像信号処理部39により生成された可視画像及びIR画像を記憶し蓄積する。同時刻に同一の撮像装置3Aによって撮像され生成された距離画像、可視画像及びIR画像は、対応付け処理部40により生成される対応付け情報によって対応付けられた後、記憶部41に記憶され、蓄積される。その際、後述するCPU42によって生成される、例えば撮像された対象物体の身長又は大きさ、体格又は形状、所持する荷物の有無などからなる距離メタ情報が、対応付けられる距離画像、可視画像及びIR画像と併せて、記憶部41に記憶されてもよい。距離画像、可視画像及びIR画像が対象物体の距離メタ情報を備えることによって、本第1実施形態の撮像システム1(図1参照)が備える、駅6の構内情報処理装置又は本社13の中央管理サーバは、特定の人物又は荷物の検索が容易となる。
CPU42(中央演算装置)は、映像撮像部30A又は距離画像生成部30Bを構成する各ブロックと、距離画像信号処理部38、対応付け処理部40、記憶部41及び後述する通信部43の各ブロックの制御部である。CPU42が各ブロックを制御するためのソフトウェア・プログラムは、先の記憶部41に格納されてもよいし、図示しない別の記憶部に格納されてもよい。CPU42は、記憶部からソフトウェア・プログラムを読み出して、各ブロックの制御を行う。さらに、前述したように、CPU42は、例えば身長、体格、所持する荷物の有無などからなる距離メタ情報を生成してもよい。
通信部43は、図1において駅6に設置される構内情報処理装置8又は本社13(図1参照)等に設置される中央管理サーバ12との通信を可能とする。そのために図3における通信部43は、任意の通信路44、例えば図1において構内ネットワーク7に設置されるアクセスポイントAPとの無線LAN通信、或いは携帯電話回線網などの広域無線通信網又は車両2の車内通信網(図示せず)を用いる。
本第1実施形態の撮像装置3及びその撮像装置3を備える撮像システムの特徴点は、以下の通りである。図5(A)は、図1の車両2内における撮像装置3Aの設置状況についての説明図である。図5(B)は、撮像装置3Aにより撮像される監視用映像の画角及び距離画像の画角の例を示す図である。図6(A)は、撮像装置3Aにより撮像される監視用映像の画角及び距離画像の画角の別例を示す図である。図6(B)は、撮像装置3Aにより撮像される監視用映像の画角及び距離画像の画角の別例を示す図である。
図1でも述べたように、図5(A)に示す撮像装置3Aは、車両2の内外の監視及び車両2を乗り降りする人などの対象物体5の計数を目的として、例えば車両2の車内において、扉4の上(天井2Aの側)に設置される。扉4は通常、1つの車両2に複数設けられるので、その扉4の上に設置される撮像装置3Aも、1つの車両2に複数設置される。そして図3でも述べたように、撮像装置3Aは、車両2の内外を監視するための映像と、車両2を乗り降りする人、すなわち出入りする対象物体5(例えば5A)を計数するための距離画像の両方を撮像することが可能である。
撮像装置3Aは、車両2の扉4(出入口)の面(又は車両2の側面2B)及び床面2Dと平行をなす方向から見た撮像光学系33Aの光軸3Lが扉4における床面2Dの法線に対して車両2の車内側(室内側)に傾けられて配置される。典型的には、本第1実施形態の撮像装置3Aは、その光軸3Lと車両2の床面2Dとがなす角度、すなわち俯角が45度となるよう配置されているが、それ以外の角度に設定されてもよい。距離画像は、車両2を出入りする対象物体5(例えば5A)を計数するために用いられるので、その撮像は扉4が開いた状態の時に行われる。その際に、車両2内(室内)には、特に晴天時において車両2の車内よりも明るく強い光が、扉4の外から差し込む。撮像装置3Aの撮像光学系33Aの光軸3Lが車両2の車内側(室内側)に傾けられることによって、開いた扉4の外から差し込む光の影響が抑制され、出入りする対象物体5を距離画像から検出する精度及び計数の精度を確保することができる。
撮像装置3Aは、監視用映像と距離画像を用いて、撮像光学系33Aを構成するレンズの焦点距離f、受光素子部33のサイズ・解像度・画素ピッチ、撮像装置3Aの俯角及び床面2Dからの高さを基に、撮像装置3Aから検出対象の対象物体5までの距離を算出できる。又は撮像装置3Aは、監視用映像と距離画像を用いて、撮像光学系33Aを構成するレンズの焦点距離f、受光素子部33のサイズ・解像度・画素ピッチ、撮像装置3Aの俯角及び床面2Dからの高さを基に、検出対象の対象物体5の床面2Dからの高さを算出できる。
それに加えて、撮像装置3Aによる車両2の内外の監視についても、撮像装置3Aの撮像光学系33Aの光軸3Lが車両2の車内側(室内側)に傾けられることによって、撮像装置3Aの撮像範囲及び画角は、より有効に車両2内(室内)の監視が行われるよう設定される。したがって撮像装置3A及びそれを備える撮像システム1(図1参照)の操作者は、車両2の内外の監視と、車両2を出入りする対象物体5の計数を、1箇所につき1つの撮像装置3Aによって行うことができる。
上記のように撮像装置3Aは、車両2の内外を監視するための映像と、車両2を乗り降りする人などの対象物体5A及び5Bを計数するための距離画像の両方を、同時に撮像することができる。図5(A)のS11は、車両2の扉4(出入口)の面(又は車両2の側面2B)及び床面2Dと平行をなす方向から見て、撮像装置3Aが撮像可能な最大範囲である。撮像装置3Aの制御部は、車両2の扉4(出入口)の面(又は車両2の側面2B)及び床面2Dと平行をなす方向から見た画角(以下、「画角」と略す)として、監視用映像の画角と距離画像の画角とを設定してもよい。さらには、監視用映像の画角と距離画像の画角とは異なってもよい。さらに撮像装置3Aは、監視用映像の画角又は距離画像の画角を、調整可能としてもよい。撮像装置3A及びそれを備える撮像システム1(図1参照)の操作者は、車両2の内外の監視と、車両2を出入りする対象物体5の計数を、それぞれ、より適した条件及び撮像範囲で行うことができる。そして操作者は、出入りする対象物体5を距離画像から検出する精度及び計数の精度を確保することができる。
図3でも示したように、図5(A)の撮像装置3Aの受光素子部33は、可視光を受光する赤色光(R)、緑色光(G)、青色光(B)の各受光素子及び赤外光を受光するIR受光素子を、各画素に備える。すなわち、車両2の内外を監視するための映像と、車両2を乗り降りする人などの対象物体5を計数するための距離画像は、1つの受光素子部33によって同時に撮像される。それに加えて、図3に示す撮像部30Aは、映像光学系である撮像光学系33Aを介して撮像し、図3に示す距離画像生成部30Bは、距離画像光学系である撮像光学系33Aを介して撮像し距離画像の生成を行う。すなわち、図3及び図5に示すように、本第1実施形態の撮像装置3A,3Bの映像光学系と距離画像光学系は共通化されて、1つの撮像光学系33Aとなっている。したがって、監視用映像の撮像光学系の光軸と距離画像の撮像光学系の光軸は同一である。撮像光学系は簡素化され、監視用の映像と、対象物体5を計数するための距離画像との間において、車両2の扉4(出入口)の面(又は車両2の側面2B)及び床面2Dと平行をなす方向の撮像位置にズレは生じない。したがって撮像装置3A及びそれを備える撮像システム1(図1参照)の操作者は、出入りする対象物体5を距離画像から検出する精度及び計数の精度を確保することができる。さらに、対応付け処理部40(図3参照)による、監視用映像と距離画像との対応付け処理は簡素化される。
本第1実施形態とは別に、撮像装置3A,3Bの映像光学系と距離画像光学系とは、異なる撮像光学系であってもよい。さらには、車両2の内外を監視するための映像を撮像するための受光素子部と、車両2を乗り降りする人などの対象物体5を計数するための距離画像を撮像し生成するための受光素子部とは、異なっていてもよい。その場合の撮像装置3A,3Bは、映像光学系の光軸と距離画像光学系の光軸とが、車両2の扉4(出入口面)及び床面2Dと平行をなす方向から見て、互いに平行となるよう構成される。上記の構成によって、対応付け処理部40(図3参照)による、監視用映像と距離画像との対応付け処理は簡素化される。そして、撮像装置3A及びそれを備える撮像システム1(図1参照)の操作者は、出入りする対象物体5を距離画像から検出する精度及び計数の精度を確保することができる。
本第1実施形態の撮像装置3Aは、監視用映像の画角及び距離画像の画角を、例えば図5(B)、図6(A)及び図6(B)のように設定する。図5(B)、図6(A)及び図6(B)において、点線は撮像装置3Aが撮像可能な最大範囲(以下「最大撮像可能範囲」を示し、実線は監視用映像の画角を示し、二点鎖線は距離画像の画角を示す。
図5(B)は、監視用映像の画角S21(実線)と、距離画像の画角S31(二点鎖線)とが、撮像装置3Aの最大撮像可能範囲S11の中で完全に分離している状態を示す。すなわち、撮像装置3Aは、車両2(室内)の扉4(出入口)の面(又は車両2の側面2B)及び床面2Dと平行をなす方向から見た映像の画角S21と、同じ方向から見た距離画像の画角S31とを、異ならせて設定する。そして撮像装置3Aは、映像の画角S21の中心C21を、前記距離画像の画角S31の中心C31よりも車両2の車内側(室内の側)、すなわち扉4(出入口)とは反対側に傾けて設定する。
監視用映像の画角S21(実線)は、車両2の監視に適した方向に撮像範囲が設定され、距離画像の画角S31(二点鎖線)は、車両2を出入りする人などの対象物体5の計数に適した方向に撮像範囲が設定される。したがって、撮像装置3A及びそれを備える撮像システム1(図1参照)の操作者は、車両2の内外の監視と、車両2を出入りする対象物体5の計数を、それぞれ、より適した条件及び撮像範囲で行うことができる。そして操作者は、出入りする対象物体5を距離画像から検出する精度及び計数の精度を確保することができる。
撮像装置3Aは、距離画像の画角S31の中心C31を、車両2内(室内)の扉4(出入口)における床面2Dの法線方向2DVに、又はそれよりも車両2の車内側(扉4(出入口)とは反対側)に傾けて設定してよい。図5(A)の距離画像の画角S31の中心C31は、床面2Dの法線方向2DVとは略同一だが、それよりも車両2の車内側(扉4とは反対側)に若干傾けて設定されている。さらに撮像装置3Aは、距離画像の画角S31を、映像の画角S21よりも狭く設定する。
距離画像の画角S31の中心C31が床面2Dの法線方向2DVと略同一に設定され、距離画像の画角S31が狭く設定されることにより、開いた扉4の外から差し込む光の影響が抑制される。したがって、撮像装置3A及びそれを備える撮像システム1(図1参照)の操作者は、出入りする対象物体5を距離画像から検出する精度及び計数の精度を確保することができる。
図6(A)は、撮像装置3Aが、距離画像(二点鎖線)の画角S31を、監視用映像(実線)の画角S21の内側に設定し、監視用映像の画角S21(実線)を、撮像装置3Aの最大撮像可能範囲S11と同一に設定している状態を示す。撮像装置3A及びそれを備える撮像システム1(図1参照)の操作者は、図5(B)の状態より、さらに広い範囲を監視することが可能となり、それでいながら、出入りする対象物体5を距離画像から検出する精度及び計数の精度を確保することができる。
図6(A)では、車両2の扉4(出入口)の面(又は車両2の側面2B)及び床面2Dと平行をなす方向において、距離画像(二点鎖線)の幅が監視用映像(実線)の幅よりも小さく、かつ距離画像が監視用映像の内側に設定されている。撮像装置3Aは、車両2の扉4(出入口)の面(又は車両2の側面2B)及び床面2Dと平行をなす方向における、距離画像の幅と監視用映像の幅を同一にして、その幅方向の位置を一致させてもよい。
図5(B)及び図6(A)では、画像又は映像の幅方向(車両2の扉4(出入口)の面(又は車両2の側面2B)及び床面2Dと平行をなす方向、車両2の奥行方向)における、距離画像(二点鎖線)及び監視用映像(実線)の中心は、中心線Vと一致している。中心線Vは、車両2の幅方向、すなわち車両2の扉4(出入口)の面(又は車両2の側面2B)及び床面2Dと平行をなす方向に対して直交する方向である。本第1実施形態の撮像装置3A,3Bは、これに限らず、図6(B)に示すように、監視用映像の中心線V1と距離画像の中心線V2とを、画像又は映像の幅方向にずらして設定してもよい。さらには、撮像装置3A,3Bは、監視用映像の一部分と距離画像の一部分とが、互いに重なるように設定してもよい。それに加えて、撮像装置3A,3Bは、監視用映像の画角及び/又は距離画像の画角を、随時調整・変更してもよい。撮像装置3A及びそれを備える撮像システム1(図1参照)の操作者は、監視用映像及び/又は距離画像の最適な撮像範囲を、状況に応じてリアルタイムに設定することができる。それでいながら、出入りする対象物体5を距離画像から検出する精度及び計数の精度を確保することができる。
(第2実施形態)
図7(A)は、車両21の天井の側から見た場合において、本第2実施形態の撮像システム1を構成する撮像装置3Cの配置を示す透視図である。図7(B)は、車両21の側面から見た場合において、本第2実施形態の撮像システム1を構成する撮像装置3Cの配置を示す透視図である。図8(A)は、図1の車両21内における撮像装置3Cの設置状況についての説明図である。図8(B)は、撮像装置3Cにより撮像される監視用映像の画角及び距離画像の画角の例を示す図である。図8(C)は、撮像装置3Cにより撮像される監視用映像の画角及び距離画像の画角の別例を示す図である。
図7(A)は、車両21の天井の側から見た場合において、本第2実施形態の撮像システム1を構成する撮像装置3Cの配置を示す透視図である。図7(B)は、車両21の側面から見た場合において、本第2実施形態の撮像システム1を構成する撮像装置3Cの配置を示す透視図である。図8(A)は、図1の車両21内における撮像装置3Cの設置状況についての説明図である。図8(B)は、撮像装置3Cにより撮像される監視用映像の画角及び距離画像の画角の例を示す図である。図8(C)は、撮像装置3Cにより撮像される監視用映像の画角及び距離画像の画角の別例を示す図である。
図7(A)、図7(B)、図8(A)、図8(B)及び図8(C)(以下、「図7及び図8」と略す)において、撮像装置3C の構成は、図1〜図6における第1実施形態の撮像装置3Aとほぼ同一である。そして図7(A)及び図8(A)に示すように、撮像装置3Cは、例えば撮像装置3Aとともに(又は、撮像装置3Aと同様に)、図1に示す撮像システム1において用いられる。ただし、撮像装置3Aが車両21内の扉24の上(天井21Aの側)に設置されるに配置されるのに対して、図7及び図8に示す撮像装置3Cは、車両21と車両22との連結通路23の上(天井部23Aの側)に配置される。
本第2実施形態の撮像装置3A及び3Cが配置される車両21及び22は、扉24が設けられる出入口の数が少ない。左側の車両21は出入口を2つのみ備え、右側の車両22には出入口が図示されていない(又は、右側の車両22には出入口が無い場合もある)。右側の車両22のコンパートメント22Lに入る乗客は、例えば右側の車両22の出入口(図示せず)から乗車して、左側の車両21の扉24が設けられる出入口から降車することがある。或いは、右側の車両22のコンパートメント22Lに入る乗客は、上記と逆に乗降することがある。すなわち、右側の車両22のコンパートメント22Lに入る乗客が乗車に用いる出入口のある車両と降車に用いる出入口のある車両とは、異なることがある。左側の車両21のコンパートメント21Lのいずれかに入る乗客についても、右側の車両22のコンパートメント22Lに入る乗客と同様に、乗車に用いる車両の出入口と降車に用いる車両の出入口とは異なることがある。
乗車に用いる車両の出入口と降車に用いる車両の出入口とが異なる乗客は、必然的に連結通路(例えば車両21と車両22との連結通路23)を通って車両間を移動する。このような乗客の列車内での動きを、より正確に把握するために、撮像装置3Cは、車両間の連結通路(例えば車両21と車両22との連結通路23)の上(天井部23Aの側)に配置される。
撮像装置3Cは、全方位型カメラであることが望ましい。そして図8(B)又は図8(C)に示すように、撮像装置3Cは、距離画像(二点鎖線)の画角S32A及びS32Bの一部又は全部を、監視用映像(実線)の画角S22の内側に設定してもよい。さらには、撮像装置3Cは、監視用映像の画角又は距離画像の画角を、調整可能としてもよい。撮像装置3C及びそれを備える撮像システム1(図1参照)の操作者は、連結通路23と、その前後の車両21及び22内に跨る広い範囲を監視することが可能となる。それでいながら操作者は、出入りする対象物体5を距離画像から検出する精度及び計数の精度を確保することができる。すなわち操作者は、連結通路23と、その前後の車両21及び22内に跨る広い範囲の監視と、車両21及び22を出入りする対象物体5の計数を、それぞれ、より適した条件及び撮像範囲で行うことができる。
(第3実施形態)
本第3実施形態は、先の第1実施形態及び第2実施形態の双方に基づくものである。図1に示す撮像システム1の構内情報処理装置8又は中央管理サーバ12は、図1又は図7の各撮像装置3A及び図7の各撮像装置3Cにより撮像される距離画像を用いて、又は監視用映像及び距離画像を連携させて、画像処理を始めとする各種の処理を行う。その際、撮像装置3A及び3Cは、撮像装置3Aの床面2Dからの高さを距離画像から得て、画像処理を行う。又は、撮像装置3A及び3Cは、光軸3Lの俯角を距離画像から得て、画像処理を行う。
本第3実施形態は、先の第1実施形態及び第2実施形態の双方に基づくものである。図1に示す撮像システム1の構内情報処理装置8又は中央管理サーバ12は、図1又は図7の各撮像装置3A及び図7の各撮像装置3Cにより撮像される距離画像を用いて、又は監視用映像及び距離画像を連携させて、画像処理を始めとする各種の処理を行う。その際、撮像装置3A及び3Cは、撮像装置3Aの床面2Dからの高さを距離画像から得て、画像処理を行う。又は、撮像装置3A及び3Cは、光軸3Lの俯角を距離画像から得て、画像処理を行う。
そして撮像装置3A及び3Cは、撮像光学系33Aを構成するレンズの焦点距離、受光素子部33のサイズ・解像度・画素ピッチ、撮像装置3A及び3Cの俯角及び床面2Dからの高さを基に、撮像装置3A及び3Cから検出対象の対象物体5までの距離を算出できる。又は、撮像装置3A及び3Cは、撮像光学系33Aを構成するレンズの焦点距離f、受光素子部33のサイズ・解像度・画素ピッチ、撮像装置3A及び3Cの俯角及び床面2Dからの高さを基に、検出対象の対象物体5の床面2Dからの高さを算出できる。
或いは、撮像装置3A及び3Cが、それらの画像処理又は算出を行ってもよい。そして撮像装置3A及び3Cは、得られた算出結果(撮像装置3A及び3Cから検出対象の対象物体5までの距離、検出対象の対象物体5の床面2Dからの高さなど)を、撮像装置3A及び3C内の図示しない記憶部に一時的に記憶させながら順次伝送してもよい。又は、図1の構内情報処理装置8又は中央管理サーバ12は、撮像装置3A及び3Cによって得られた算出結果を、監視用映像又は距離画像或いはそれらの画像情報に付与して活用してもよい。図1に示す撮像システム1の操作者は、乗車に用いる出入口と降車に用いる出入口とが異なる乗客の列車内での動きを、より正確に把握することができる。又は、撮像システム1の操作者は、乗車に用いる車両と降車に用いる車両とが異なる乗客の列車内での動きを、より正確に把握することができる。
例えば、図1の構内情報処理装置8又は中央管理サーバ12は、図1、図7(A)、図8(A)の撮像装置3A、図7(A)、図8(A)の撮像装置3Cにより、それぞれ撮像され伝送される距離画像を用いて画像処理を行い、それらの特徴量から移動軌跡を得てもよい。又は、図1の構内情報処理装置8又は中央管理サーバ12は、それらの特徴量から、画像中に存在する人などの対象物体5を計数してもよい。
或いは、撮像装置3A及び3Cが距離画像の画像処理を行い、その特徴量から得られる移動軌跡又は画像中の対象物体5の数を、記憶部41に一時的に記憶させながら、通信部43を介して、図1の構内情報処理装置8又は中央管理サーバ12に順次伝送してもよい。そして、構内情報処理装置8又は中央管理サーバ12は、各撮像装置3A及び3Cが行った画像処理の結果を受信して、それら画像処理の各結果を連携させる処理を行ってもよい。そのような処理方法によって、各撮像装置3A及び3Cと、構内情報処理装置8又は中央管理サーバ12との間で送受信されるデータ量が削減され、図1に示す構内ネットワーク7及び外部ネットワーク11におけるトラフィックの負荷が軽減される。
図1の構内情報処理装置8又は中央管理サーバ12は、撮像装置3A及び3Cの距離画像の画角及び/又は映像の画角を、自身の表示モニタ(図示せず)に表示させて、操作者がその表示モニタを見ながらそれぞれの画角を調整可能としてもよい。例えば操作者は、撮像装置3A及び3Cの距離画像の画角の水平及び/又は垂直位置を調整可能としてもよい。そして撮像装置3A及び3Cは、距離画像から撮像装置3A及び3Cの直下方向(例えば図5(A)又は図8(A)におけるマイナスH方向)を抽出して、対象物体5の計数ラインを自動設定してもよい。又は、撮像装置3A及び3Cは、距離画像から扉4(図5(A)参照)の下端を検出して、対象物体5の計数ラインを自動設定してもよい。操作者は、車両2、21及び22内(室内)の監視と、車両2、21及び22を出入りする対象物体5の計数を、それぞれ、より適した条件及び撮像範囲で行うことができる。そして操作者は、出入りする対象物体5を距離画像から検出する精度及び対象物体5の計数の精度を確保することができる。車両2、21及び22を出入りする対象物体5の計数を、それぞれ、より適した条件及び撮像範囲で行うことができる。
(本発明の一態様の概要)
本発明の一態様の撮像装置は、映像光学系を介して撮像を行う撮像部と、距離画像光学系を介して撮像された画像を基に距離画像(depth map)の生成を行う距離画像生成部と、前記撮像部により撮像される映像の画角と前記距離画像の画角とを設定する制御部と、を備える。
本発明の一態様の撮像装置は、映像光学系を介して撮像を行う撮像部と、距離画像光学系を介して撮像された画像を基に距離画像(depth map)の生成を行う距離画像生成部と、前記撮像部により撮像される映像の画角と前記距離画像の画角とを設定する制御部と、を備える。
本発明の一態様の撮像装置の前記制御部は、前記映像の画角と前記距離画像の画角とを異ならせて設定してもよい。
本発明の一態様の撮像装置の前記制御部は、前記距離画像の画角を前記映像の画角の内側に設定してもよい。
本発明の一態様の撮像装置は、前記映像光学系の光軸と前記距離画像光学系の光軸とが同一であってもよい。
本発明の一態様の撮像装置は、前記映像光学系の光軸と前記距離画像光学系の光軸とが平行であってもよい。
これらの構成によれば、撮像範囲を監視しながら、入退出のカウント精度を充分に確保できる。
本発明の一態様の撮像装置は、前記映像と前記距離画像との対応付け処理部をさらに備えてもよい。
本発明の一態様の撮像装置の制御部は、前記映像及び前記距離画像から距離メタ情報を生成してもよい。
本発明の一態様の撮像装置は、前記制御部が生成した前記距離メタ情報と、前記映像及び前記距離画像とを対応付けて記憶させる記憶部をさらに備えてもよい。
これらの構成によれば、生成された距離メタ情報により、対応づけられる映像及び距離画像の検索が容易となる。
本発明の一態様の撮像装置は、撮像対象の室内の出入口近傍の上部に設けられ、前記室内の出入口面及び床面と平行をなす方向から見た前記映像光学系及び前記距離画像光学系の光軸が前記出入口における前記床面の法線方向に対して前記室内側に傾けられて配置されてもよい。
この構成によれば、光学部の光軸が、室内側に傾けて設定されることにより、外光が抑制されるので、室内を出入する対象物体の計数を行うための距離画像への影響が小さくなる。したがって操作者は、室内の監視と室内を出入する対象物体の計数を一つの撮像装置で行うことができる(⇒台数、配線数、設置のための工数削減)とともに、室内を出入する対象物体の検出精度及び計数精度が向上する。
本発明の一態様の撮像装置の前記制御部は、前記室内の出入口面及び床面と平行をなす方向から見た前記映像の画角と、前記室内の出入口面及び床面と平行をなす方向から見た前記距離画像の画角とを、異ならせて設定してもよい。
この構成によれば、室内の監視と、室内に出入する対象物体の計数とが、より有効かつ適切に行われるとともに、室内の監視が、より適切に行われる。
本発明の一態様の撮像装置の前記制御部は、前記映像の画角の中心を、前記距離画像の画角の中心よりも前記室内の側に傾けて設定してもよい。
この構成によれば、室内の監視と、室内に出入する対象物体の計数とが、より有効かつ適切に行われるとともに、室内の監視が、より適切に行われる。それに加えて、出入する対象物体が生体である場合は、室内から出ようとする対象物体の顔を撮影して、身長などの距離メタ情報と、顔画像との組み合わせメタ情報の作成が容易となる。
本発明の一態様の撮像装置の前記制御部は、前記映像の画角の中心を、前記距離画像の画角の中心よりも前記室内とは反対側に傾けて設定してもよい。
この構成によれば、室内外の監視と、室内に出入する対象物体の計数とが、有効かつ適切に行われる。それに加えて、出入する対象物体が生体である場合は、室内に入ろうとする対象物体の顔を撮影して、身長などの距離メタ情報と、顔画像との組み合わせメタ情報の作成が容易となる。
本発明の一態様の撮像装置の前記制御部は、前記距離画像の画角の中心を、前記室内の出入口における前記床面の法線方向に、又はそれよりも前記室内の側に傾けて設定してもよい。
これによって、室内に出入する対象物体の出精度及び計数精度がさらに向上する。
本発明の一態様の撮像装置の前記制御部は、前記距離画像の画角の中心を、前記室内の出入口における前記床面の法線方向に、又はそれよりも前記出入口とは反対側に傾けて設定してもよい。
これによって、室内に出入する対象物体の検出精度及び計数精度がさらに向上する。
本発明の一態様の撮像装置の前記制御部は、前記距離画像の画角を、前記映像の画角よりも狭く設定してもよい。
この構成によれば、室内に出入する対象物体の出精度及び計数精度がさらに向上するとともに、室内の監視が、より適切に行われる。
本発明の一態様の撮像装置の前記制御部は、前記距離画像の画角を前記映像の画角の内側に設定してもよい。
本発明の一態様の撮像装置は、前記距離画像を用いて画像処理を行ってもよい。
本発明の一態様の撮像装置は、前記映像及び前記距離画像を連携させて画像処理を行ってもよい。
本発明の一態様の撮像装置は、前記画像処理の結果を外部へ伝送する通信部をさらに備えてもよい。
本発明の一態様の撮像装置は、前記撮像装置の設置高さを距離画像から得て画像処理を行ってもよい。
本発明の一態様の撮像装置は、前記設置高さを外部へ伝送する通信部をさらに備えてもよい。
本発明の一態様の撮像装置は、前記撮像装置の光軸の俯角を距離画像から得て画像処理を行ってもよい。
本発明の一態様の撮像装置は、前記光軸の俯角を外部へ伝送する通信部をさらに備えてもよい。
本発明の一態様の撮像システムは、映像光学系を介して撮像を行う撮像部と、距離画像光学系を介して撮像された画像を基に距離画像(depth map)の生成を行う距離画像生成部と、前記撮像部により撮像される映像の画角と前記距離画像の画角とを設定する制御部と、前記映像に関する情報と前記距離画像に関する情報とを伝送する通信部と、を備える撮像装置と、前記映像に関する情報と前記距離画像に関する情報とを受信し連携させて情報処理を行う情報処理装置と、からなる。
本発明の一態様の撮像システムは、前記撮像装置又は前記情報処理装置は、前記映像及び前記距離画像から距離メタ情報を生成し、前記情報処理装置は、前記距離メタ情報を基に前記映像及び前記距離画像の検索を行ってもよい。
本発明の一態様の撮像システムは、映像光学系を介して撮像を行う撮像部と、距離画像光学系を介して撮像された画像を基に距離画像(depth map)の生成を行う距離画像生成部と、前記撮像部により撮像される映像の画角と前記距離画像の画角とを設定する制御部と、を備える撮像装置と、前記映像に関する情報と前記距離画像に関する情報とを連携させて情報処理を行う情報処理装置と、により構成され、
前記撮像装置又は前記情報処理装置は、前記映像及び前記距離画像から距離メタ情報を生成し、前記情報処理装置は、前記距離メタ情報を基に前記映像及び前記距離画像の検索を行ってもよい。
前記撮像装置又は前記情報処理装置は、前記映像及び前記距離画像から距離メタ情報を生成し、前記情報処理装置は、前記距離メタ情報を基に前記映像及び前記距離画像の検索を行ってもよい。
本発明の一態様の撮像制御プログラムは、映像光学系を介して撮像を行う撮像部と、距離画像光学系を介して撮像された画像を基に距離画像(depth map)の生成を行う距離画像生成部と、前記撮像部により撮像される映像の画角と前記距離画像の画角とを設定する制御部と、前記映像に関する情報と前記距離画像に関する情報とを伝送する通信部と、を備える撮像装置と通信可能な情報処理装置に記憶され、前記映像に関する情報と前記距離画像に関する情報とを受信し連携させて情報処理を行う。
本発明の一態様の撮像制御プログラムは、前記撮像装置又は前記情報処理装置によって前記映像及び前記距離画像から生成された距離メタ情報を基に、前記映像及び前記距離画像の検索を行ってもよい。
本発明の一態様の記憶媒体は、上記の撮像制御プログラムを格納する。
以上の構成により、本発明の撮像装置、撮像システム及びその撮像制御プログラムの操作者は、車両内(室内)の監視と、車両を出入りする対象物体の計数を、1箇所につき1つの撮像装置によって行うことができる。すなわち操作者は、車両内(室内)の広い範囲の監視と、車両を出入りする対象物体の計数を、それぞれ、より適した条件及び撮像範囲で行うことができる。さらに操作者は、出入りする対象物体を距離画像から検出する精度及び計数の精度を確保することができる。監視用映像と距離画像との対応付け処理は簡素化される。そしてさらに操作者は、監視用映像及び/又は距離画像の最適な撮像範囲を、状況に応じてリアルタイムに設定することができる。各撮像装置と、情報処理装置又は中央管理サーバとの間で送受信されるデータ量は削減され、構内ネットワーク及び外部ネットワークにおけるトラフィックの負荷は軽減される。したがって、特定の車両(室内)の混雑(及びその混雑している車両への乗降時における混雑)を緩和することができる。
本発明の撮像装置、撮像システム及びその撮像制御プログラムは例えば、車両又は室内を監視するとともに、撮像された映像データから人物を検出し、車両又は室内を出入する人数を計数する監視カメラ、それを備える監視システム又はその監視システムを構成する装置上で動作する撮像制御プログラムとして有用である。
1 撮像システム
2 車両
2,21,22 車両(室内)
2A,21A 天井
2B 側面
2D 床面
2DV 法線方向
3,3A,3B,3C 撮像装置
3L 光軸
4,24 扉
5,5A,5B 対象物体
6 駅
6A ホーム
7 構内ネットワーク
8 構内情報処理装置
9 レコーダ
10,14 GW(ゲートウェイ)
11 外部ネットワーク
12 中央管理サーバ
13 本社
13A 本社ネットワーク
21L,22L コンパートメント
23 連結通路
23A 天井部
30A 映像撮像部
30B 距離画像生成部
31 発光素子部
32 発光/受光制御・駆動部
33 受光素子部
33A 撮像光学系
34 受光タイミング制御部
35 タイミング生成部
36 A/D変換部
37 分離部
38 距離画像信号処理部
39 可視・IR画像信号処理部
40 対応付け処理部
41 記憶部
42 CPU(中央演算装置)
43 通信部
44 通信路
AP アクセスポイント
C21,C31 中心
S11 最大撮像可能範囲
S21,S22,S31,S32A,S32B 画角
V,V1,V2 中心線
2 車両
2,21,22 車両(室内)
2A,21A 天井
2B 側面
2D 床面
2DV 法線方向
3,3A,3B,3C 撮像装置
3L 光軸
4,24 扉
5,5A,5B 対象物体
6 駅
6A ホーム
7 構内ネットワーク
8 構内情報処理装置
9 レコーダ
10,14 GW(ゲートウェイ)
11 外部ネットワーク
12 中央管理サーバ
13 本社
13A 本社ネットワーク
21L,22L コンパートメント
23 連結通路
23A 天井部
30A 映像撮像部
30B 距離画像生成部
31 発光素子部
32 発光/受光制御・駆動部
33 受光素子部
33A 撮像光学系
34 受光タイミング制御部
35 タイミング生成部
36 A/D変換部
37 分離部
38 距離画像信号処理部
39 可視・IR画像信号処理部
40 対応付け処理部
41 記憶部
42 CPU(中央演算装置)
43 通信部
44 通信路
AP アクセスポイント
C21,C31 中心
S11 最大撮像可能範囲
S21,S22,S31,S32A,S32B 画角
V,V1,V2 中心線
Claims (29)
- 映像光学系を介して撮像を行う撮像部と、
距離画像光学系を介して撮像された画像を基に距離画像(depth map)の生成を行う距離画像生成部と、
前記撮像部により撮像される映像の画角と前記距離画像の画角とを設定する制御部と、
を備える、撮像装置。 - 前記制御部は、前記映像の画角と前記距離画像の画角とを異ならせて設定する、
請求項1に記載の撮像装置。 - 前記制御部は、前記距離画像の画角を前記映像の画角の内側に設定する、
請求項2に記載の撮像装置。 - 前記映像光学系の光軸と前記距離画像光学系の光軸とは同一である、
請求項1乃至請求項3のいずれかに記載の撮像装置。 - 前記映像光学系の光軸と前記距離画像光学系の光軸とは平行である、
請求項1乃至請求項3のいずれかに記載の撮像装置。 - 前記制御部は、前記映像と前記距離画像との対応付け処理部をさらに備える、
請求項1乃至請求項5のいずれかに記載の撮像装置。 - 前記制御部は、前記映像及び前記距離画像から距離メタ情報を生成する、
請求項1乃至請求項6のいずれかに記載の撮像装置。 - 前記制御部が生成した前記距離メタ情報と、前記映像及び前記距離画像とを対応付けて記憶させる記憶部をさらに備える、
請求項7に記載の撮像装置。 - 撮像対象の室内の出入口近傍の上部に設けられる請求項1乃至請求項6のいずれかに記載の撮像装置であって、
前記室内の出入口面及び床面と平行をなす方向から見た前記映像光学系及び前記距離画像光学系の光軸が前記室内の出入口における前記床面の法線方向に対して前記室内の側に傾けられて配置される、
撮像装置。 - 前記制御部は、前記室内の出入口面及び前記床面と平行をなす方向から見た前記映像の画角と、前記室内の出入口面及び前記床面と平行をなす方向から見た前記距離画像の画角とを、異ならせて設定する、
請求項9に記載の撮像装置。 - 前記制御部は、前記映像の画角の中心を、前記距離画像の画角の中心よりも前記室内の側に傾けて設定する、
請求項10に記載の撮像装置。 - 前記制御部は、前記映像の画角の中心を、前記距離画像の画角の中心よりも前記室内とは反対側に傾けて設定する、
請求項10に記載の撮像装置。 - 前記制御部は、前記距離画像の画角の中心を、前記室内の前記出入口における前記床面の法線方向に、又はそれよりも前記室内の側に傾けて設定する、
請求項11に記載の撮像装置。 - 前記制御部は、前記距離画像の画角の中心を、前記室内の前記出入口における前記床面の法線方向に、又はそれよりも前記出入口とは反対側に傾けて設定する、
請求項12に記載の撮像装置。 - 前記制御部は、前記距離画像の画角を、前記映像の画角よりも狭く設定する、
請求項11乃至請求項14のいずれかに記載の撮像装置。 - 前記制御部は、前記距離画像の画角を前記映像の画角の内側に設定する、
請求項10乃至請求項15のいずれかに記載の撮像装置。 - 請求項1乃至請求項16のいずれかに記載の撮像装置であって、
前記距離画像を用いて画像処理を行う、撮像装置。 - 請求項1乃至請求項16のいずれかに記載の撮像装置であって、
前記映像及び前記距離画像を連携させて画像処理を行う、撮像装置。 - 請求項17又は請求項18のいずれかに記載の撮像装置であって、
前記画像処理の結果を外部へ伝送する通信部をさらに備える、撮像装置。 - 請求項17又は請求項18のいずれかに記載の撮像装置であって、
前記撮像装置の設置高さを前記距離画像から得て画像処理を行う、撮像装置。 - 請求項20に記載の撮像装置であって、
前記設置高さを外部へ伝送する通信部をさらに備える、撮像装置。 - 請求項17又は請求項18のいずれかに記載の撮像装置であって、
前記撮像装置の光軸の俯角を前記距離画像から得て画像処理を行う、撮像装置。 - 請求項22に記載の撮像装置であって、
前記光軸の俯角を外部へ伝送する通信部をさらに備える、撮像装置。 - 前記映像に関する情報と前記距離画像に関する情報とを伝送する通信部をさらに備える請求項1に記載の撮像装置と、
前記映像に関する情報と前記距離画像に関する情報とを受信し連携させて情報処理を行う情報処理装置と、からなる撮像システム。 - 前記撮像装置又は前記情報処理装置は、前記映像及び前記距離画像から距離メタ情報を生成し、前記情報処理装置は、前記距離メタ情報を基に前記映像及び前記距離画像の検索を行う、
請求項24に記載の撮像システム。 - 請求項1に記載の撮像装置と、前記映像に関する情報と前記距離画像に関する情報とを連携させて情報処理を行う情報処理装置と、により構成され、
前記撮像装置又は前記情報処理装置は、前記映像及び前記距離画像から距離メタ情報を生成し、前記情報処理装置は、前記距離メタ情報を基に前記映像及び前記距離画像の検索を行う、
撮像システム。 - 前記映像に関する情報と前記距離画像に関する情報とを伝送する通信部を備える請求項1に記載の撮像装置と通信可能な情報処理装置に記憶され、
前記映像に関する情報と前記距離画像に関する情報とを受信し連携させて情報処理を行う撮像制御プログラム。 - 前記撮像装置又は前記情報処理装置によって前記映像及び前記距離画像から生成された距離メタ情報を基に、前記映像及び前記距離画像の検索を行う、
請求項27に記載の撮像制御プログラム。 - 請求項27又は請求項28に記載の撮像制御プログラムを格納する記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014190995A JP2016063455A (ja) | 2014-09-19 | 2014-09-19 | 撮像装置、撮像システム、撮像制御プログラム、及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014190995A JP2016063455A (ja) | 2014-09-19 | 2014-09-19 | 撮像装置、撮像システム、撮像制御プログラム、及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016063455A true JP2016063455A (ja) | 2016-04-25 |
Family
ID=55798418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014190995A Pending JP2016063455A (ja) | 2014-09-19 | 2014-09-19 | 撮像装置、撮像システム、撮像制御プログラム、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016063455A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020105618A1 (ja) * | 2018-11-20 | 2020-05-28 | 日本電気株式会社 | 乗客監視システムおよび乗客監視方法 |
WO2021148499A1 (en) * | 2020-01-24 | 2021-07-29 | Bombardier Transportation Gmbh | A fish eye camera based monitoring system of a rail vehicle, corresponding method for monitoring and a rail vehicle with such a system |
JP2021116030A (ja) * | 2020-01-29 | 2021-08-10 | コイト電工株式会社 | 計測装置 |
-
2014
- 2014-09-19 JP JP2014190995A patent/JP2016063455A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020105618A1 (ja) * | 2018-11-20 | 2020-05-28 | 日本電気株式会社 | 乗客監視システムおよび乗客監視方法 |
JPWO2020105618A1 (ja) * | 2018-11-20 | 2021-10-14 | 日本電気株式会社 | 乗客監視システムおよび乗客監視方法 |
US11947014B2 (en) | 2018-11-20 | 2024-04-02 | Nec Corporation | Passenger monitoring system and method |
WO2021148499A1 (en) * | 2020-01-24 | 2021-07-29 | Bombardier Transportation Gmbh | A fish eye camera based monitoring system of a rail vehicle, corresponding method for monitoring and a rail vehicle with such a system |
JP2021116030A (ja) * | 2020-01-29 | 2021-08-10 | コイト電工株式会社 | 計測装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6732902B2 (ja) | 撮像装置および撮像システム | |
KR100976441B1 (ko) | 전방위 카메라를 이용한 주차면 관리시스템 및 그 관리방법 | |
WO2020195966A1 (ja) | 撮像システム及び撮像システムの制御方法、並びに、物体認識システム | |
JP5306660B2 (ja) | 監視システム及びセキュリティ管理システム | |
KR100956400B1 (ko) | 다기능 영상처리 모듈이 탑재된 지능형 주차면 카메라 장치 및 이를 이용한 주차면 관리 시스템 | |
CN107079088A (zh) | 停车和交通分析 | |
KR102076113B1 (ko) | 쓰레기 무단 투기 영상 감시 장치 | |
KR102023072B1 (ko) | 차량의 실내 측위 시스템 | |
JP2019153987A (ja) | 撮像装置及び撮像装置の信号処理方法、並びに、電子機器 | |
KR101784132B1 (ko) | 차량의 실내 측위 시스템 | |
JP2016063455A (ja) | 撮像装置、撮像システム、撮像制御プログラム、及び記録媒体 | |
CN103914898B (zh) | 车辆进出入管制系统及管制方法 | |
WO2012137367A1 (ja) | 画像蓄積システム | |
KR101629803B1 (ko) | 주차관리시스템 | |
WO2020080383A1 (ja) | 撮像装置及び電子機器 | |
US20170264877A1 (en) | Pan/tilt/zoom camera based video playing method and apparatus | |
JP6140436B2 (ja) | 撮影システム | |
JP2020171057A (ja) | 撮像装置 | |
US9840258B1 (en) | System, method, and apparatus for detecting vehicle operator conduct | |
WO2019239746A1 (ja) | アナログ-デジタル変換器、アナログ-デジタル変換方法、及び、撮像装置 | |
KR20180099098A (ko) | 촬영 대상의 움직임 추적 기능을 가진 융합형 영상 감시 시스템 | |
US20050030392A1 (en) | Method for eliminating blooming streak of acquired image | |
JP2020120307A (ja) | デジタル−アナログ変換装置、撮像装置、及び、電子機器 | |
JP6807493B2 (ja) | 映像表示システム及び映像表示方法 | |
KR101332820B1 (ko) | 객체 추적 시스템 및 방법, 객체관리장치 및 그 장치의 구동방법, 촬영장치 및 그 장치의 구동방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160520 |