JP2015191641A - 監視装置、監視システム、監視方法、及びプログラム - Google Patents

Abstract

【課題】移動体において、所定の意思を示す人物を検知し、その人物を運転手に報知することができる監視装置を提供する。【解決手段】監視装置は、ジェスチャ判定部と、出力制御部と、を備える。前記ジェスチャ判定部は、移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出し、当該人物のジェスチャが所定のジェスチャを示すか否かを判定する。前記出力制御部は、抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御する。を備える。【選択図】図１

Description

本発明は、監視装置、監視システム、監視方法、及びプログラムに関する。

撮像装置を搭載し、走行状況を録画したり、撮像装置から得た画像に基づいてブレーキを掛けたりする自動車が増えている。
特許文献１には、関連する技術として、物体を検出しその物体が異常な動作をする場合に危険物体として運転手に通知する技術が記載されている。

特開２００７−７２６４１号公報

ところで、例えば、タクシーなどの移動体の運転手は、移動中の周囲の状況や周囲の人物が示す報知情報を見逃してしまうことにより、危険な状況や乗客を見逃すことによる損失を招く場合がある。そのため、移動体において、所定の意思を示す人物を検知し、その人物を運転手に報知する技術が求められていた。

そこでこの発明は、上記の課題を解決することのできる監視装置、監視システム、監視方法、及びプログラムを提供することを目的としている。

上記目的を達成するために、本発明は、移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出し、当該人物のジェスチャが所定のジェスチャを示すか否かを判定するジェスチャ判定部と、抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御する出力制御部と、を備える監視装置である。

上記目的を達成するために、本発明は、少なくとも前記の監視装置と、前記監視装置からの情報に基づいて、移動体の移動速度を制御する移動体制御装置と、を備える監視システムである。

また本発明は、移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出し、当該人物のジェスチャが所定のジェスチャを示すか否かを判定し、抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御する監視方法である。

また本発明は、監視装置のコンピュータを、移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出し、当該人物のジェスチャが所定のジェスチャを示すか否かを判定するジェスチャ判定手段と、抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御する出力制御手段として機能させるためのプログラムである。

本発明の監視装置の処理により、移動体において、所定の意思を示す人物を検知し、その人物を運転手に報知することができる。

本発明の監視装置１０の最小構成の一例を示す図である。 本発明の第一の実施形態による監視装置１０を備える監視システム１の構成の一例を示す図である。 本発明の第一の実施形態による監視装置１０を備える監視システム１をタクシーに適用した一例を示す図である。 本発明の第一の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。 本発明の第二の実施形態による監視装置１０を備える監視システム１の構成の一例を示す図である。 本発明の第二の実施形態による監視装置１０を備える監視システム１をタクシーに適用した一例を示す図である。 本発明の第二の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。 本発明の第三の実施形態による監視装置１０を備える監視システム１をタクシーに適用した一例を示す図である。 本発明の第三の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。 本発明の第四の実施形態による監視装置１０を備える監視システム１の構成の一例を示す図である。 本発明の第四の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。

図１は、本発明の監視装置１０の最小構成の一例を示す図である。
本発明の監視装置１０は、図１で示すように、少なくともジェスチャ判定部１０１と、出力制御部１０２と、を備える。
監視装置１０が備えるジェスチャ判定部１０１は、移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出する。ジェスチャ判定部１０１は、当該人物のジェスチャが所定のジェスチャを示すか否かを判定する。
出力制御部１０２は、抽出した人物のジェスチャが所定のジェスチャである場合、取得画像の表示時において人物の画像を強調表示するよう制御する。

＜第一の実施形態＞
図２は、本発明の第一の実施形態による監視装置１０を備える監視システム１の構成の一例を示す図である。
本発明の第一の実施形態による監視システム１は、図２で示すように、監視装置１０と、出力部２０と、撮像装置３０とを備える。

監視装置１０は、ジェスチャ判定部１０１と、出力制御部１０２と、記憶部１０３とを備える。
記憶部１０３は、監視装置１０が行う処理に必要な種々の情報を記憶する記憶部である
出力部２０は、表示部２０１を備える。表示部２０１は、意思を示す人物に係る情報を示す画像や文字などを表示する。例えば、表示部２０１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を備えるディスプレイなどである。
撮像装置３０は、画像を取得する。撮像装置３０は、タクシーなどの移動体に取り付けられる。

図３は、本発明の第一の実施形態による監視装置１０を備える監視システム１をタクシーに適用した一例を示す図である。
図３は、タクシーが撮像装置３０を取り付けて走行する様子を示している。また、図３は、タクシーの走行中に撮像装置３０が撮影する画像と、判定結果とを出力する出力部２０を示している。

例えば、図３で示すように、タクシーが左車線（走行帯の領域）を走行中に、複数の撮像装置３０は、前方、側面、及び後方を撮影する。監視システム１は、複数の撮像装置３０のそれぞれが撮影した画像を解析する。監視システム１は、路側帯（走行帯の領域を除く領域）に人物Ａ、Ｂ、Ｃ、及びＤを検出する。監視システム１は、画像解析を行い、人物Ａ、Ｂ、Ｃ、及びＤのそれぞれが所定のジェスチャを行っているか否かを判定する。例えば、監視システム１は、人物Ａ、Ｂ、Ｃ、及びＤのそれぞれの人物画像を複数のブロックに分割し、各ブロックにおけるＨＯＧ（Ｈｉｓｔoｇｒａｍs ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴と手を挙げている人物画像のＨＯＧ特徴とが所定の類似度を超えるか否かを判定する。監視システム１は、人物ＡとＤが手を挙げていると判定した場合、前方の路側帯に検出した人物Ａ、Ｂ、及びＣの画像を表示部２０１に表示し、手を挙げている人物Ａを表示部２０１に強調して表示する。また、監視システム１は、表示部２０１に表示する簡略化した地図上に、タクシーの位置と共に、手を挙げている人物Ａの位置と人物Ｄの位置とハイライトなどで表示する。
なお、それぞれの人物の位置は、例えば、画像上の人物位置に応じて予め設定したタクシーの位置を基準とした推定位置である。
また、監視システム１がＨＯＧ特徴を用いて人物を検出するのは一例であり、人物を適切に検出できれば、どのような検出であってもよい。

図４は、本発明の第一の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。
次に、図４を用いて、第一の実施形態による監視システム１の処理を説明する。
なお、ここでは、第一の実施形態による監視システム１をタクシーに適用した場合を例に監視システム１の処理を説明する。

タクシーが取り付けている撮像装置３０は、タクシーの進行方向の道路領域を除く前方、側面、及び後方の領域（走行帯の領域を除く領域）を撮影する（ステップＳ１；画像入力）。撮像装置３０は、撮影した撮影画像（取得した取得画像）を監視装置１０に出力する。

監視装置１０が備えるジェスチャ判定部１０１は、撮像装置３０から撮影画像を入力すると、入力した撮影画像から人物を抽出する（ステップＳ２）。
例えば、ジェスチャ判定部１０１は、予め記憶した人物の特徴を示す目や鼻や口などの特徴情報と、撮影画像が示す顔の特徴情報とを比較する。ジェスチャ判定部１０１は、比較した２つの情報の類似度が所定の類似度以下であると判定した場合、人物は撮影されていないと判定する（ステップＳ２、ＮＯ）。そして、撮像装置３０が前方、側面、及び後方を撮影するステップＳ１の処理に戻る。
また、ジェスチャ判定部１０１は、比較した２つの情報の類似度が所定の類似度以上であると判定した場合、撮影画像においてその類似を示す箇所に人物が撮影されていると判定する（ステップＳ２、ＹＥＳ）。

ジェスチャ判定部１０１は、人物が撮影されていると判定した場合、その人物が所定のジェスチャを行っているか否かを判定する（ステップＳ３）。
例えば、ジェスチャ判定部１０１は、予め記憶した人物が手を挙げるジェスチャを示すＨＯＧ特徴情報と、撮影されている人物の撮影画像が示すジェスチャのＨＯＧ特徴情報とを比較する。ジェスチャ判定部１０１は、比較した２つの情報の類似度が所定の類似度以下であると判定した場合、人物は手を挙げていない（所定のジェスチャを行っていない）と判定する（ステップＳ３、ＮＯ）。そして、撮像装置３０が前方、側面、及び後方を撮影するステップＳ１の処理に戻る。
また、ジェスチャ判定部１０１は、比較した２つの情報の類似度が所定の類似度以上であると判定した場合、人物が手を挙げている（所定のジェスチャを行っている）と判定する（ステップＳ３、ＹＥＳ）。
なお、撮像装置３０の撮影位置と所定のジェスチャを行う人物との相対的な位置関係は変化する。そのため、ジェスチャ判定部１０１は、その相対的な位置関係の変化の影響を受けないように画像を補正するものである。

ジェスチャ判定部１０１は、人物が所定のジェスチャを行っていると判定した場合、撮影画像において人物が映し出されている箇所に係る情報（以下、「人物画像情報」）を出力制御部１０２に出力する。
出力制御部１０２は、ジェスチャ判定部１０１から人物画像情報を入力すると、人物画像情報が示す撮影画像における人物を表示部２０１に強調表示させる（ステップＳ４）。例えば、出力制御部１０２は、人物画像情報が示す撮影画像における人物の周囲を四角形の赤色の枠や四角形の黄色の背景などタクシーの運転手が視認し易い色や形状などで表示する。また、例えば、ジェスチャ判定部１０１がタクシーの後方を撮影した撮影画像において所定のジェスチャを行う人物を検出した場合、図３で示したように、出力制御部１０２は、簡易化した地図上に、タクシーの位置と共に、所定のジェスチャを行った人物の位置を表示させても良い。例えば、人物の位置は、画像上の人物位置に応じて予め設定したタクシーの位置を基準とした推定位置である。なお、出力制御部１０２は、タクシーの後方を撮影した撮影画像において検出した人物を表示部２０１におけるポップアップ表示により運転手に報知するものであっても良い。例えば、出力制御部１０２は、タクシーの後方を撮影した撮影画像において所定のジェスチャを行う人物を検出した場合、「後方にお客様がいます」などの文字を表示部２０１にポップアップ表示するものであっても良い。

以上、第一の実施形態による監視システム１の処理について説明した。第一の実施形態による監視システム１が備える監視装置１０よれば、ジェスチャ判定部１０１は、タクシー（移動体）に取り付けられた撮像装置３０によって撮影された撮影画像から人物を抽出する。ジェスチャ判定部１０１は、人物のジェスチャが所定のジェスチャを示すか否かを判定する。出力制御部１０２は、抽出した人物のジェスチャが所定のジェスチャである場合、取得画像の表示時において抽出した人物の画像を強調表示するよう制御する。
このようにすることで、監視装置１０は、タクシーなどの移動体において、所定の意思を示す人物を検知し、その人物を運転手に報知することができる。

＜第二の実施形態＞
図５は、本発明の第二の実施形態による監視装置１０を備える監視システム１の構成の一例を示す図である。
本発明の第二の実施形態による監視システム１は、図５で示すように、第一の実施形態による監視システム１に加え、音解析部１０４と、スピーカ２０２と、振動部２０３と、集音装置４０と、を備える。

監視装置１０は、音解析部１０４を備える。音解析部１０４は、集音装置４０が検出した音が所定の音であるか否かを判定する。例えば、音解析部１０４は、集音装置４０が検出した音が示す情報（集音情報）と、予め記憶した音声や緊急車両のサイレン（警報音）などの所定の音が示す情報とを比較する。音解析部１０４は、比較した２つの情報の類似度が所定の類似度以上であると判定した場合、検出した音が所定の音であると特定する。
出力制御部１０２は、意思を示す人物の存在や所定の音の検出を示す音や音声をスピーカ２０２に出力させる。出力制御部１０２は、意思を示す人物の存在や所定の音の検出を示す振動を振動部２０３に出力させる。

出力部２０は、スピーカ２０２と、振動部２０３とを備える。
スピーカ２０２は、意思を示す人物の存在や所定の音の検出を運転手に音や音声で報知する。
振動部２０３は、意思を示す人物の存在や所定の音の検出を運転手に振動で報知する。
集音装置４０は、音や音声を取得する。集音装置４０は、移動体に取り付けられる。

図６は、本発明の第二の実施形態による監視装置１０を備える監視システム１をタクシーに適用した一例を示す図である。
図６は、タクシーが撮像装置３０と集音装置４０とを取り付けて走行する様子を示している。また、図６は、タクシーが走行中に撮像装置３０が撮影する画像と、判定結果とを出力する出力部２０とを示している。

例えば、図６で示すように、タクシーが左車線を走行中に、撮像装置３０は、前方、側面、後方を撮影する。監視システム１は、撮像装置３０が撮影した画像を解析する。監視システム１は、路側帯に人物Ａ、Ｂ、Ｃ、Ｄ、及びＥを検出する。監視システム１は、画像解析を行い、人物Ａ、Ｂ、Ｃ、Ｄ、及びＥのそれぞれが所定のジェスチャを行っているか否かを判定する。例えば、監視システム１は、人物Ａ、Ｂ、Ｃ、Ｄ、及びＥのそれぞれが手を挙げているか否かを判定する。図６で示す例の場合、監視システム１は、人物Ａ、Ｂ、Ｃ、及びＤが手を挙げていると判定する。監視システム１は、前方の路側帯に検出した人物Ａ、Ｂ、Ｃ、Ｄ、及びＥの画像を表示部２０１に表示する。このとき、監視システム１は、手を挙げている人物Ａ、Ｂ、Ｃ、及びＤを表示部２０１に強調して表示する。また、監視システム１は、人物Ａ、Ｂ、Ｃ、Ｄ、及びＥのそれぞれが所定のジェスチャを行っているか否かの判定を、複数の異なる類似度に応じて行う。例えば、監視システム１は、タクシーから離れた場所にいる人物Ａの画像が小さく、所定のジェスチャを示す情報と人物Ａの画像が示す情報との類似度が低いと判定した場合、人物Ａを青色の背景で強調して表示する。監視システム１は、人物Ｂの画像が示す情報と、所定のジェスチャを示す情報との類似度を中程度と判定した場合、人物Ｂを黄色の背景で強調して表示する。また、監視システム１は、人物Ｃの画像が示す情報と、所定のジェスチャを示す情報との類似度を高いと判定した場合、人物Ｃを赤色の背景で強調して表示する。

また、監視システム１は、集音装置４０が検出した音を解析する。監視システム１は、音や音声を検出する。監視システム１は、検出した音を解析し、人物が所定の音声を発生しているか否かを判定する。例えば、監視システム１は、検出した音の音声の周波数帯（およそ２０キロヘルツ以下）の音の情報と、「タクシー」という音声情報とを比較する。監視システム１は、比較した２つの情報の類似度が所定の類似度以上であると判定した場合、検出した音が「タクシー」という音声であると特定する。また、監視システム１は、検出した音を解析し、所定の音を含む音を検出するか否かを判定する。例えば、監視システム１は、検出した音の情報と、緊急車両が発するサイレンの音情報とを比較する。監視システム１は、比較した２つの情報の類似度が所定の類似度以上であると判定した場合、検出した音が緊急車両の発するサイレン音であると特定する。
監視システム１は、「タクシー」などの所定の音声や緊急車両の発するサイレン音などの所定の音を検出したことをタクシーの運転手に報知する。例えば、監視システム１は、スピーカ２０２から「タクシーという音声を検出しました」と合成音声で出力する。また、監視システム１は、「緊急車両が近づいています」という文字を表示部２０１に表示する。

図７は、本発明の第二の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。
次に、図７を用いて、第二の実施形態による監視システム１の処理を説明する。
ここでは、第二の実施形態による監視システム１をタクシーに適用した場合を例に監視システム１の処理を説明する。ただし、第一の実施形態による監視システム１と異なるステップＳ５〜Ｓ１０の処理フローについて説明する。

第一の実施形態による監視システム１のステップＳ１及びＳ２と同様の処理を行い、ジェスチャ判定部１０１がステップＳ２の処理により撮影画像においてその類似を示す箇所に人物が撮影されていると判定する。
第二の実施形態による監視システム１が備えるジェスチャ判定部１０１は、人物が撮影されていると判定した場合、その人物が所定のジェスチャを行っているか複数の類似度に応じて判定する（ステップＳ５）。

例えば、ジェスチャ判定部１０１は、予め記憶した人物が手を挙げるジェスチャを示すＨＯＧ特徴情報と、撮影されている人物の撮影画像が示すジェスチャのＨＯＧ特徴情報とを比較する。ジェスチャ判定部１０１は、比較した２つの情報の類似度が所定の４つの類似度のどの範囲に相当するかを特定する。ジェスチャ判定部１０１は、比較した２つの情報の類似度が最も低い範囲である場合、所定のジェスチャを行っていないと判定する（ステップＳ５、ＮＯ）。そして、撮像装置３０が前方、側面、及び後方を撮影するステップＳ１の処理に戻る。
また、ジェスチャ判定部１０１は、比較した２つの情報の類似度が最も低い範囲以外の場合に、所定のジェスチャを行っていると判定する（ステップＳ５、ＹＥＳ）。

ジェスチャ判定部１０１は、比較した２つの情報の類似度が１番目に高い範囲、２番目に高い範囲、３番目に高い範囲の何れの範囲であるかを特定する（ステップＳ６）。
ジェスチャ判定部１０１は、類似度を特定すると、特定した類似度と対応する人物画像情報とを出力制御部１０２に出力する。
出力制御部１０２は、ジェスチャ判定部１０１から類似度と対応する人物画像情報とを入力すると、人物画像情報が示す撮影画像における人物を表示部２０１に類似度に応じて強調表示させる（ステップＳ７）。例えば、出力制御部１０２は、類似度が１番目に高い範囲である場合、人物画像情報が示す撮影画像における人物の周囲を赤色の背景で強調して表示する。出力制御部１０２は、類似度が２番目に高い範囲である場合、人物画像情報が示す撮影画像における人物の周囲を黄色の背景で強調して表示する。出力制御部１０２は、類似度が３番目に高い範囲である場合、人物画像情報が示す撮影画像における人物の周囲を青色の背景で強調して表示する。

また、タクシーが取り付けている集音装置４０は、タクシーの周囲の音を検出する（ステップＳ８）。集音装置４０は、取得した音の情報（以下、「音情報」）を監視装置１０に出力する。
監視装置１０が備える音解析部１０４は、集音装置４０から音情報を入力すると、入力した音情報が所定の音や音声を含むか否かを判定する（ステップＳ９）。

例えば、音解析部１０４は、予め記憶した緊急車両が発するサイレンなどの所定の音のそれぞれが示す音情報と、集音装置４０が検出した音が示す音情報とを比較する。音解析部１０４は、比較したそれぞれの情報の類似度が所定の類似度以下であると判定した場合、集音装置４０は所定の音を検出していないと判定する（ステップＳ９、ＮＯ）。また、例えば、音解析部１０４は、予め記憶した「タクシー」などの所定の音声のそれぞれが示す音情報と、集音装置４０が検出した音声が示す音情報とを比較する。音解析部１０４は、比較したそれぞれの情報の類似度が所定の類似度以下であると判定した場合、集音装置４０は所定の音声を検出していないと判定する（ステップＳ９、ＮＯ）。そして、集音装置４０が音を検出するステップＳ８の処理に戻る。
また、音解析部１０４は、比較したそれぞれの情報の類似度が所定の類似度以上であると判定した場合、集音装置４０は所定の音を検出したと判定する（ステップＳ９、ＹＥＳ）。

音解析部１０４は、集音装置４０は所定の音声を検出したと判定した場合、検出した音に係る情報を出力部２０に出力させる音検出情報を出力制御部１０２に出力する。
出力制御部１０２は、音解析部１０４から音検出情報を入力すると、音検出情報に基づいて、検出した音に係る情報を出力部２０に出力させる（ステップＳ１０）。例えば、出力制御部１０２は、音検出情報が「タクシー」などの所定の音声の検出に係る情報を出力部２０に出力させる場合、「タクシーという音声を検出しました」と合成音声をスピーカ２０２に出力させる。また、例えば、出力制御部１０２は、音検出情報が緊急車両の発するサイレン音の検出に係る情報を出力部２０に出力させる場合、「緊急車両が近づいています」、「速度を落としてください」、「ＮＯＴＩＣＥ」などの文字を赤色や太字などを用いて強調して表示部２０１に表示させる。

以上、第二の実施形態による監視システム１の処理について説明した。第二の実施形態による監視システム１が備える監視装置１０よれば、音解析部１０４は、タクシーに取り付けられた集音装置４０によって音を検出する。音解析部１０４は、所定の音を検出したか否かを判定する。音解析部１０４は、検出した所定の音に応じた情報を出力部２０に出力させる音検出情報を出力制御部１０２に出力する。出力制御部１０２は、音検出情報に基づいて検出した音に係る情報を出力部２０に出力させる。
このようにすることで、監視装置１０は、タクシーなどの移動体において、所定の意思を示す人物をより高精度に検知し、その人物を運転手に報知することができる。また、監視装置１０は、タクシーなどの移動体において、緊急車両などの所定の車両の接近を報知することができる。

＜第三の実施形態＞
次に、本発明の第三の実施形態による監視装置１０を備える監視システム１を説明する。
本発明の第三の実施形態による監視装置１０を備える監視システム１の構成は、図５で示した第二の実施形態による監視システム１の構成と同様である。
ただし、出力制御部１０２は、ジェスチャ判定部１０１から類似度と対応する人物画像情報とを入力すると、人物画像情報が示す撮影画像における人物を表示部２０１に類似度に応じて拡大表示させる。

図８は、本発明の第三の実施形態による監視装置１０を備える監視システム１をタクシーに適用した一例を示す図である。
図８は、人物画像情報が示す撮影画像における人物を類似度に応じて出力制御部１０２が表示部２０１に拡大表示させた画像を示している。例えば、出力制御部１０２は、ジェスチャ判定部１０１が、比較した２つの情報の類似度が３番目に高い範囲であると特定した場合、人物を拡大表示させる。こうすることで、監視装置１０を備える監視システム１は、所定のジェスチャをする人物が存在するか否かを運転手が最終的に判断するためのより正確な情報を提供する。

なお、人物画像情報が示す撮影画像における人物を類似度に応じて出力制御部１０２が表示部２０１に拡大表示させるのは、人物が移動体から遠方に入る場合に限定するものではない。例えば、出力制御部１０２は、夜間や、雨天時などで人物およびジェスチャの類似度判定精度が低くなった場合に、拡大表示することで運転手自身による判断の機会を提供することができる。

図９は、本発明の第三の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。
次に、図９を用いて、第三の実施形態による監視システム１の処理を説明する。
ここでは、第三の実施形態による監視システム１をタクシーに適用した場合を例に監視システム１の処理を説明する。ただし、第二の実施形態による監視システム１のステップＳ７の代わりのステップＳ１１の処理について説明する。

第二の実施形態による監視システム１のステップＳ６の処理で、ジェスチャ判定部１０１は、比較した２つの情報の類似度が１番目に高い範囲、２番目に高い範囲、３番目に高い範囲の何れの範囲であるかを特定する。そして、ジェスチャ判定部１０１は、類似度を特定すると、特定した類似度と対応する人物画像情報とを出力制御部１０２に出力する。
出力制御部１０２は、ジェスチャ判定部１０１から類似度と対応する人物画像情報とを入力すると、人物画像情報が示す撮影画像における人物を表示部２０１に類似度に応じて拡大表示させる（ステップＳ１１）。例えば、出力制御部１０２は、類似度が３番目に高い範囲である場合、人物画像情報が示す撮影画像における人物を含む周囲を拡大して表示させる。

以上、第三の実施形態による監視システム１の処理について説明した。第三の実施形態による監視システム１が備える監視装置１０よれば、出力制御部１０２は、ジェスチャ判定部１０１から類似度と対応する人物画像情報とを入力すると、人物画像情報が示す撮影画像における人物を表示部２０１に類似度に応じて拡大表示させる。
このようにすることで、監視装置１０は、運転手に人物およびジェスチャの類似度判定精度が低くなった場合に、最終的に判断するためのより正確な情報を提供することができる。

＜第四の実施形態＞
図１０は、本発明の第四の実施形態による監視装置１０を備える監視システム１の構成の一例を示す図である。
図１０で示すように、本発明の第四の実施形態による監視システム１は、第三の実施形態による監視システム１に加え、移動体制御装置５０と、監視機能抑制装置６０とを備える。
移動体制御装置５０は、監視装置１０からの情報に基づいて、移動体の移動速度を制御する。
監視機能抑制装置６０は、所定の条件が成立した場合、監視システム１における処理を抑制する。例えば、移動体がタクシーである場合、監視機能抑制装置６０は、所定の条件としてタクシーの料金メータから料金メータの動作開始を示す動作開始信号を入力すると、動作開始信号に応じて撮像装置３０と集音装置４０とに動作停止信号を送信する。

図１１は、本発明の第四の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。
次に、図１１を用いて、第四の実施形態による監視システム１の処理を説明する。
ここでは、第四の実施形態による監視システム１をタクシーに適用した場合に、移動体制御装置５０と、監視機能抑制装置６０とが行うステップＳ１２〜Ｓ１４の処理を説明する。

第三の実施形態による監視システム１のステップＳ６の処理と同様に、第四の実施形態によるジェスチャ判定部１０１は、比較した２つの情報の類似度が４つの範囲のうちの１番目に高い範囲、２番目に高い範囲、３番目に高い範囲の何れの範囲であるかを特定する。ジェスチャ判定部１０１は、特定した類似度の情報（以下、「類似度情報」）を移動体制御装置５０に出力する。
移動体制御装置５０は、ジェスチャ判定部１０１から類似度情報を入力すると、類似度情報に応じて移動体の移動速度を制御する（ステップＳ１２）。例えば、移動体制御装置５０は、ジェスチャ判定部１０１から３番目に高い範囲の類似度の類似度情報を入力すると、より類似度判定の精度を向上させるために移動体の移動速度を低減する。

第三の実施形態による監視システム１のステップＳ９の処理と同様に、集音装置４０が所定の音を検出したと音解析部１０４が判定した場合、第四の実施形態による音解析部１０４は、所定の音の情報を移動体制御装置５０に出力する。
移動体制御装置５０は、音解析部１０４から所定の音の情報を入力すると、その音の情報に応じて移動体の移動速度を制御する（ステップＳ１３）。例えば、移動体制御装置５０は、音解析部１０４から所定の音の情報として緊急車両が発するサイレンの情報を入力すると、危険を回避するために移動体の移動速度を低減する。

監視機能抑制装置６０は、料金メータから動作開始信号を入力するか否かに基づいて、撮像装置３０と集音装置４０とに動作停止信号を送信するか否かを決定する(ステップＳ１４)。
監視機能抑制装置６０は、料金メータから動作開始信号を入力した場合、撮像装置３０と集音装置４０とに動作停止信号を出力する（ステップＳ１４、ＹＥＳ）。撮像装置３０と集音装置４０は、監視機能抑制装置６０から動作停止信号を入力すると、動作を停止する。そして、監視システム１の処理は終了する。
監視機能抑制装置６０は、料金メータから動作開始信号を入力していない場合、撮像装置３０と集音装置４０は動作を継続し、第三の実施形態による監視システム１のステップＳ１と同様のステップＳ１処理に戻る。

以上、第四の実施形態による監視システム１の処理について説明した。第四の実施形態による監視システム１の処理によれば、移動体制御装置５０は、ジェスチャ判定部１０１から類似度情報を入力すると、類似度情報に応じて移動体の移動速度を制御する。
このようにすることで、ジェスチャ判定部１０１は、類似度をより高精度に判定することができ、運転手により正確な情報を提供することができる。
また、移動体制御装置５０は、音解析部１０４から所定の音の情報を入力すると、その音の情報に応じて移動体の移動速度を制御する。
このようにすることで、運転手は、危険回避することができる。
また、監視機能抑制装置６０は、所定の条件が成立した場合、監視システム１における処理を抑制する。
このようにすることで、監視システム１における不要な処理を行わずに済む。

なお、本発明における記憶部やメモリは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部やメモリは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。

なお本発明の実施形態における処理フローは、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。実施形態における画像の処理と音の処理の順番は、上述のものに限定するものではなく、例えば、画像の処理と音の処理の順番が入れ替わってもよい。また、実施形態における画像の処理と音の処理は、並行に行われてもよい。

なお本発明の実施形態について説明したが、上述の監視装置１０、及び監視システム１は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記憶部１０３に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記憶部１０３とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定するものではない。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができるものである。

１・・・監視システム
１０・・・監視装置
２０・・・出力部
３０・・・撮像装置
４０・・・集音装置
５０・・・移動体制御装置
６０・・・監視機能抑制装置
１０１・・・ジェスチャ判定部
１０２・・・出力制御部
１０３・・・記憶部
１０４・・・音解析部
２０１・・・表示部
２０２・・・スピーカ
２０３・・・振動部

Claims (15)

1. 移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出し、当該人物のジェスチャが所定のジェスチャを示すか否かを判定するジェスチャ判定部と、
   抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御する出力制御部と、
   を備える監視装置。
2. 前記取得画像は、前記移動体の走行帯の領域を除く領域の画像である
   請求項１に記載の監視装置。
3. 前記取得画像は、前記移動体の移動速度に基づいて決定された領域の画像である
   請求項１または請求項２に記載の監視装置。
4. 前記出力制御部は、複数の前記撮像装置のうち所定のジェスチャを行った人物を報知するよう制御する
   請求項１から請求項３の何れか一項に記載の監視装置。
5. 前記出力制御部は、前記ジェスチャの類似度が低い場合、前記画像の表示を拡大するよう制御する
   請求項１から請求項４の何れか一項に記載の監視装置。
6. 前記出力制御部は、前記ジェスチャの類似度が低い場合、前記画像を類似度に応じた表示となるよう制御する
   請求項１から請求項５の何れか一項に記載の監視装置。
7. 前記ジェスチャ判定部は、前記ジェスチャの類似度が低い場合、前記移動体の速度を低減する
   請求項１から請求項６の何れか一項に記載の監視装置。
8. 前記出力制御部は、前記ジェスチャの類似度が低い場合、前記移動体の速度を低減するよう指示する
   請求項１から請求項７の何れか一項に記載の監視装置。
9. 前記ジェスチャの類似度が低く、集音情報が示す音が所定の音である場合に、請求項４から請求項８の何れか一項に記載の処理を行う監視装置。
10. 前記移動体が賃走状態である場合、画像の取得を停止する
    請求項１から請求項９の何れか一項に記載の監視装置。
11. 集音情報が示す音が所定の警報音である場合に、前記移動体の速度を低減する
    請求項１から請求項１０の何れか一項に記載の監視装置。
12. 請求項１から請求項１１の何れか一項に記載の監視装置と、
    前記監視装置からの情報に基づいて、移動体の移動速度を制御する移動体制御装置と、
    を備える監視システム。
13. 所定の条件が成立した場合に処理を抑制する監視機能抑制装置
    を備える請求項１２に記載の監視システム。
14. 移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出し、当該人物のジェスチャが所定のジェスチャを示すか否かを判定し、
    抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御する監視方法。
15. 監視装置のコンピュータを、
    移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出し、当該人物のジェスチャが所定のジェスチャを示すか否かを判定するジェスチャ判定手段と、
    抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御する出力制御手段
    として機能させるためのプログラム。

Images