JP2012205240A - 電子機器及び情報伝達システム - Google Patents

電子機器及び情報伝達システム Download PDF

Info

Publication number
JP2012205240A
JP2012205240A JP2011070327A JP2011070327A JP2012205240A JP 2012205240 A JP2012205240 A JP 2012205240A JP 2011070327 A JP2011070327 A JP 2011070327A JP 2011070327 A JP2011070327 A JP 2011070327A JP 2012205240 A JP2012205240 A JP 2012205240A
Authority
JP
Japan
Prior art keywords
subject
imaging
imaging device
image
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011070327A
Other languages
English (en)
Inventor
Masamitsu Yanagihara
政光 柳原
Tetsuya Yamamoto
哲也 山本
Masahiro Nei
正洋 根井
Satoru Hagiwara
哲 萩原
Isao Totsuka
功 戸塚
Masaichi Sekiguchi
政一 関口
Tomoyuki Matsuyama
知行 松山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011070327A priority Critical patent/JP2012205240A/ja
Priority to PCT/JP2012/057215 priority patent/WO2012133058A1/ja
Priority to CN201280015582XA priority patent/CN103460718A/zh
Priority to US13/985,751 priority patent/US20130321625A1/en
Publication of JP2012205240A publication Critical patent/JP2012205240A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

【課題】適切な音声装置の制御が可能な電子機器を提供する。
【解決手段】対象者を含む画像を撮像可能な撮像装置の撮像結果を取得する取得装置と、前記撮像装置による撮像結果から前記対象者の大きさ情報を検出する第1検出装置と、前記第1検出装置が検出した前記大きさ情報に基づいて、指向性を有する音声装置の位置及び/又は姿勢を調節する駆動制御装置と、を備えている。
【選択図】図1

Description

本発明は、電子機器及び情報伝達システムに関する。
ユーザに対して音声を用いて案内をする音声案内装置が提案されている(例えば、特許文献1参照)。
特開2007-45565号公報
しかしながら、従来の音声案内装置には、特定の場所からでないと音声を聞き取りにくいという課題があった。
本発明は上記の課題に鑑みてなされたものであり、適切な音声装置の制御が可能な電子機器及び情報伝達システムを提供することを目的とする。
本発明の電子機器は、対象者を含む画像を撮像可能な撮像装置(11)の撮像結果を取得する取得装置(25)と、前記撮像装置による撮像結果から前記対象者の大きさ情報を検出する第1検出装置(25)と、前記第1検出装置が検出した前記大きさ情報に基づいて、指向性を有する音声装置(12,13)の位置及び/又は姿勢を調節する駆動制御装置(25)と、を備える電子機器(20)である。
この場合において、前記第1検出装置が検出した大きさ情報に基づいて、前記対象者の耳の位置を検出する第2検出装置(25)を備えることができる。この場合、前記駆動制御装置は、前記第2検出装置が検出した耳の位置に基づいて、前記指向性を有する音声装置の位置及び/又は姿勢を調節することができる。
本発明の電子機器では、前記第1検出装置が検出した大きさ情報に基づいて、前記指向性を有する音声装置の出力を設定する設定装置(25)を備えることができる。また、前記対象者の位置に応じて、前記指向性を有する音声装置による音声案内を制御する制御装置(25)を備えることができる。
また、本発明の電子機器では、前記駆動制御装置は、前記対象者の移動に応じて、前記指向性を有する音声装置の位置及び/又は姿勢を調節することができる。また、前記指向性を有する音声装置は、前記撮像装置の近傍に設けられていることとしてもよい。また、前記対象者と前記撮像装置との位置関係に基づいて、前記第1検出装置が検出した前記対象者の大きさ情報を補正する補正装置(25)を備えることができる。
また、本発明の電子機器では、前記撮像装置の撮像結果を用いて前記対象者を追尾する追尾装置(25)を備え、前記追尾装置は、前記撮像装置を用いて前記対象者の特定部分の画像を取得して当該特定部分の画像をテンプレートとし、前記対象者を追尾する場合には、前記テンプレートを用いて前記対象者の特定部分を特定するとともに、当該特定された前記対象者の特定部分の新たな画像で、前記テンプレートを更新することとしてもよい。
この場合において、前記撮像装置は、第1の撮像装置と、当該第1の撮像装置の撮像範囲の一部と重複する撮像範囲を有する第2の撮像装置と、を含み、前記追尾装置は、前記第1の撮像装置と前記第2の撮像装置が前記対象者を同時に撮像できるときに、一方の撮像装置により撮像される前記対象者の特定部分の位置情報を取得するとともに、他方の撮像装置により撮像される画像のうち、前記特定部分の位置情報に対応する領域を特定し、当該特定された領域の画像を他方の撮像装置の前記テンプレートとすることとしてもよい。また、前記追尾装置は、前記特定部分の大きさ情報が所定量以上変動した場合に、前記対象者の異常を判定することとしてもよい。
本発明の情報伝達システムは、対象者を含む画像を撮像可能な少なくとも1つの撮像装置(11)と、指向性を有する音声装置(12,13)と、本発明の電子機器(20)と、を備える情報伝達システムである。
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
本発明の電子機器及び情報伝達システムは、適切な音声装置の制御ができるという効果を奏する。
一実施形態に係る案内システムの構成を示すブロック図である。 撮像装置の具体的な構成を示す図である。 音声ユニットを示す斜視図である。 本体部のハードウェア構成図である。 本体部の機能ブロック図である。 図6(a)は、広角レンズ系の前側焦点から撮像した人(対象者)の頭までの距離と、像(頭部分)の大きさとの関係を示すグラフであり、図6(b)は、図6(a)のグラフを床からの高さに変換したグラフである。 像の大きさの変化率を示すグラフである。 図8(a)、図8(b)は、対象者の姿勢に応じた頭の大きさの変化を模式的に示す図である。 対象者の位置に応じた、撮像素子に撮像される対象者の頭の像の大きさの変化を示す図である。 オフィス内の1つの区画と、当該区画内に設けられた撮像装置の撮像領域と、の関係を模式的に示す図である。 対象者の追跡処理を説明するための図(その1)である。 対象者の追跡処理を説明するための図(その2)である。 対象者の追跡処理を説明するための図(その3)である。 図14(a)、図14(b)は、図10の1つの区画内において4人の対象者(対象者A,B,C,D)が移動する場合の追跡処理について説明するための図(その1)である。 図15(a)〜図15(c)は、図10の1つの区画内において4人の対象者(対象者A,B,C,D)が移動する場合の追跡処理について説明するための図(その2)である。 案内部が通路(廊下)に沿って配置された場合の指向性スピーカの制御方法を説明するための図である。 案内システムにおける案内処理を示すフローチャートである。
以下、一実施形態に係る案内システムについて、図1〜図17に基づいて、詳細に説明する。図1には、案内システム100の構成がブロック図にて示されている。なお、案内システム100は、オフィス、商業施設、空港、駅、病院、美術館などに設置可能なものであるが、本実施形態では、案内システム100が、オフィスに設置される場合を例に採り説明する。
案内システム100は、図1に示すように、複数の案内部10a、10b…と、カードリーダ88と、本体部20と、を備える。なお、図1では2つの案内部10a、10bを図示しているが、その数は設置場所に応じて設定することができる。例えば、図16では、通路に4つの案内部10a〜10dが設置された状態を図示している。なお、各案内部10a,10b…は同一の構成を有しているものとする。また、以下において、案内部10a,10b…のうち任意の案内部を示す場合には、案内部10と表記するものとする。
案内部10は、撮像装置11と、指向性マイク12と、指向性スピーカ13と、駆動装置14と、を有する。
撮像装置11は、オフィスの天井に設けられ、主としてオフィス内にいる人の頭を撮像するものである。本実施の形態において、オフィスの天井の高さは2.6mとする。すなわち、撮像装置11は、2.6mの高さから人の頭などを撮像する。
撮像装置11は、図2に示すように、3群構成の広角レンズ系32と、ローパスフィルタ34と、CCD又はCMOSなどからなる撮像素子36と、撮像素子を駆動制御する回路基板38と、を有する。なお、図2では不図示であるが、広角レンズ系32とローパスフィルタ34との間には、不図示のメカシャッターが設けられているものとする。
広角レンズ系32は、2枚の負メニスカスレンズを有する第1群32aと、正レンズ、接合レンズ、及び赤外カットフィルタを有する第2群32bと、2枚の接合レンズを有する第3群32cと、を有しており、第2群32bと第3群32cとの間に絞り33が配置されている。本実施形態の広角レンズ系32は、系全体の焦点距離が6.188mm、最大画角が80°となっている。なお、広角レンズ系32は、3群構成に限定されるものでもない。すなわち、例えば、各群のレンズ枚数やレンズ構成、並びに焦点距離や画角は、適宜変更することが可能である。
撮像素子36は、一例として、23.7mm×15.9mmの大きさで、画素数が4000×3000(1200万画素)であるものとする。すなわち、1画素の大きさは、5.3μmである。ただし、撮像素子36としては、上記と異なるサイズ及び画素数の撮像素子を用いてもよい。
上記のように構成される撮像装置11では、広角レンズ系32に入射した光束はローパスフィルタ34を介して撮像素子36に入射し、回路基板38が撮像素子36の出力をデジタル信号に変換する。そして、ASIC(Application Specific Integrated Circuit)を含む画像処理制御部(不図示)が、デジタル信号に変換された画像信号に対してホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を施すとともに、JPEGなどの画像圧縮をする。また、画像処理制御部は、JPEG圧縮された静止画像を本体部20の制御部25(図5参照)に送信する。
なお、撮像装置11の撮像領域は、隣接する案内部10に含まれる撮像装置11の撮像領域と重複(オーバラップ)している(図10の撮像領域P1〜P4参照)。なお、この点については、後に詳述する。
指向性マイク12は、特定の方向(例えば前面方向)から入射する音声を高感度に集音するものであり、超指向性ダイナミック型マイクロホンや超指向性コンデンサ型マイクロホン等を用いることができる。
指向性スピーカ13は、超音波トランスデューサを備えており、限られた方向のみに音声を伝達するスピーカである。
駆動装置14は、指向性マイク12と指向性スピーカ13とを一体的に、又は別々に駆動する。
本実施形態では、図3に示すように、指向性マイク12、指向性スピーカ13、及び駆動装置14は、一体型の音声ユニット50に設けられるものとする。具体的には、音声ユニット50は、指向性マイク12及び指向性スピーカ13を保持するユニット本体16と、ユニット本体16を保持する保持部17と、を有する。保持部17は、水平方向(図3ではX軸方向)に延びる回転軸15bにて、ユニット本体16を回転自在に保持する。保持部17には、駆動装置14を構成するモータ14bが設けられており、ユニット本体16(すなわち、指向性マイク12及び指向性スピーカ13)は、モータ14bの回転力により、パン方向(水平方向の首振り)に駆動される。また、保持部17には、鉛直方向(Z軸方向)に延びる回転軸15aが設けられており、回転軸15aは、駆動装置14を構成するモータ14a(オフィスの天井部に固定される)により回転される。これにより、ユニット本体16(すなわち、指向性マイク12及び指向性スピーカ13)は、チルト方向(垂直方向(Z軸方向)の首振り)に駆動される。なお、モータ14a、14bとしては、DCモータ、ボイスコイルモータ、リニアモータなどを用いることができる。
なお、モータ14aは、指向性マイク12及び指向性スピーカ13が真下を向いた状態(−90°)から時計回り方向と反時計回り方向にそれぞれ60°〜80°程度の範囲内で、指向性マイク12及び指向性スピーカ13を駆動することができるものとする。駆動範囲をこのような範囲とするのは、音声ユニット50をオフィスの天井部に設けた場合、人の頭が音声ユニット50の真下に存在することはあっても、音声ユニット50の真横に存在することは想定されないためである。
なお、本実施形態では、音声ユニット50と図1の撮像装置11とを別体としているが、これに限らず、案内部10の全てをユニット化して天井部に設けるようにしてもよい。
図1に戻り、カードリーダ88は、例えばオフィス入り口に設けられ、オフィス内に入ることが許可されている人が保有するIDカードを読み取る装置である。
本体部20は、案内部10a,10b…やカードリーダ88から入力される情報(データ)を処理するとともに、案内部10a,10b…及びカードリーダ88を統括的に制御するものである。図4には、本体部20のハードウェア構成図が示されている。図4に示すように、本体部20は、CPU90、ROM92、RAM94、記憶部(ここではHDD(Hard Disk Drive)96aやフラッシュメモリ96b)、インタフェース部97等を備えている。本体部20の構成各部は、バス98に接続されている。インタフェース部97は、案内部10の撮像装置11や駆動装置14などと接続するためのインタフェースである。インタフェースとしては、無線/有線LAN、USB、HDMI、Bluetooth(登録商標)などの様々な接続規格を採用することができる。
本体部20では、ROM92あるいはHDD96aに格納されているプログラムをCPU90が実行することにより、図5の各部の機能が実現される。すなわち、本体部20では、CPU90がプログラムを実行することにより、図5に示す、音声認識部22、音声合成部23、制御部25としての機能が実現される。なお、図5では、図4のフラッシュメモリ96bにより実現される格納部24についても図示している。
音声認識部22は、指向性マイク12が集音した音声の特徴量に基づいて音声認識をするものである。音声認識部22は、音響モデルおよび辞書機能を有し、この音響モデルと辞書機能とを用いて音声認識を行う。音響モデルは、音声認識する音声言語の音素や音節などの音響的な特徴を記憶するものである。また、辞書機能は、認識対象の各単語について、その発音に関する音韻情報を記憶している。なお、音声認識部22は、市販の音声認識ソフト(プログラム)をCPU90が実行することで、実現してもよい。なお、音声認識技術については、例えば、日本特許第4587015号(特開2004−325560号公報)に記載されている。
音声合成部23は、指向性スピーカ13により発する(出力する)音声を合成するものである。音声合成は、音韻の音声素片を生成して、この音声素片を接続することにより行うことができる。音声合成の原理は、子音をC(Consonant)、母音をV(Vowel)で表すとCV、CVC,VCVなどの基本となる小さな単位の特徴パラメータや音声素片を記憶し、ピッチや継続時間長を制御して接続して音声を合成するというものである。なお、音声合成技術については、例えば、日本特許第3727885号(特開2003−223180号公報)に記載されている。
制御部25は、本体部20の制御に加えて、案内システム100全体を制御するものである。例えば、制御部25は、撮像装置11の画像処理制御部から送信されてきたJPEG圧縮された静止画像を格納部24に格納する。また、制御部25は、格納部24に格納された画像に基づいて、複数の指向性スピーカ13のうちどの指向性スピーカ13を用いてオフィス内の特定の人(対象者)への案内を行うかを制御する。
また、制御部25は、隣接する案内部10との距離に応じて、少なくとも隣接する案内部10と集音範囲、音声出力範囲がオーバラップするように指向性マイク12と指向性スピーカ13の駆動を制御する。また、制御部25は、撮像装置11の撮像範囲よりも広い範囲で音声案内ができるように指向性マイク12と指向性スピーカ13とを駆動するとともに、指向性マイク12の感度と、指向性スピーカ13の音量とを設定する。これは、対象者を撮像していない撮像装置を有する案内部10の指向性マイク12と指向性スピーカ13とを用いて対象者を音声案内する場合があるからである。
また、制御部25は、カードリーダ88で読み取られたIDカードのカード情報を取得し、格納部24に格納されている従業員情報等に基づいて、カードリーダ88にIDカードをかざした人物を特定する。
格納部24は、撮像装置11の光学系のディストーションの影響による検出誤差を補正する補正テーブル(後述)や、従業員情報、撮像装置11が撮像した画像などを記憶する。
次に、撮像装置11による対象者の頭部分の撮像について、詳細に説明する。図6(a)には、広角レンズ系32の前側焦点から撮像した人(対象者)の頭までの距離と、像(頭部分)の大きさとの関係がグラフにて示され、図6(b)には、図6(a)のグラフを床からの高さに変換したグラフが示されている。
ここで、前述のように広角レンズ系32の焦点距離が6.188mmであり、対象者の頭の直径が200mmであるとすると、広角レンズ系32の前側焦点から対象者の頭の位置までの距離が1000mmの場合(すなわち、身長1m60cmの人が直立している場合)には、撮像装置11の撮像素子36に結像する対象者の頭の直径は1.238mmである。これに対し、対象者の頭の位置が300mm下がって広角レンズ系32の前側焦点から対象者の頭の位置までの距離が1300mmになった場合には、撮像装置11の撮像素子に結像する対象者の頭の直径は0.952mmとなる。すなわち、この場合には、頭の高さが300mm変化することで、0.286mm(23.1%)だけ像の大きさ(直径)が変化する。
同様に、広角レンズ系32の前側焦点から対象者の頭の位置までの距離が2000mmの場合には(対象者が中腰の場合)、撮像装置11の撮像素子36に結像する対象者の頭の直径は0.619mmであり、そこから対象者の頭の位置が300mm下がった場合には、撮像装置11の撮像素子に結像する対象者の頭の像の大きさは0.538mmとなる。すなわち、この場合には、頭の高さが300mm変化することで、0.081mm(13.1%)だけ頭の像の大きさ(直径)が変化する。このように、本実施形態においては、広角レンズ系32の前側焦点から対象者の頭までの距離が離れるにつれて、頭の像の大きさの変化(変化率)が小さくなる。
一般的に、成人であれば身長の差は300mm程度であり、頭の大きさの差は身長の差よりも1桁小さいが、身長差と頭の大きさの差とは所定の関係を満足する傾向にある。このため、標準的な頭の大きさ(例えば直径200mm)と、撮像された対象者の頭の大きさとを比較することにより、対象者の身長を類推することができる。また、一般的に、耳の位置は、頭頂部から150mmから200mm程度下であるので、頭の大きさから対象者の耳の高さ位置も類推することができる。オフィスに入る際には立っている場合が多いので、受付付近に設けられた撮像装置11により頭の像を撮像して対象者の身長や耳の高さ位置を類推すれば、その後は、対象者の頭の像の大きさから広角レンズ系の前側焦点から対象者までの距離がわかるので、対象者の姿勢(立っている、中腰である、倒れている)および姿勢の変化を対象者のプライバシを保った状態で判別することができる。なお、対象者が倒れている場合、頭頂部から足先方向に向かって150〜200mm程度のところに耳の位置があると類推することができる。このように、撮像装置11により撮像される頭の位置・大きさを利用することで、例えば耳が髪により隠れていたとしても、耳の位置を類推することが可能となる。
図7は、頭の像の大きさの変化率を示すグラフである。図7では、対象者の頭の位置が、横軸に示す値から100mm変化した場合の、像の大きさの変化率を示している。この図7から分かるように、広角レンズ系32の前側焦点から対象者の頭の位置までの距離が1000mmから100mm遠ざかった場合、像の大きさの変化率が9.1%と大きいので、仮に頭の大きさが同一であっても、身長差が100mm程度あれば、複数の対象者を身長差に基づいて容易に識別することができる。これに対し、広角レンズ系32の前側焦点から対象者の頭の位置までの距離が2000mmから100mm遠ざかった場合、像の大きさの変化率は4.8%となっている。この場合、上述した広角レンズ系32の前側焦点から対象者の頭の位置までの距離が1000mmから100mm遠ざかった場合に比べれば、像の変化率は小さくなるものの、同一の対象者の姿勢の変化程度であれば、容易に識別することができる。
このように、本実施形態の撮像装置11の撮像結果を用いれば、対象者の頭の像の大きさから広角レンズ系32の前側焦点から対象者までの距離を検出することができるので、制御部25は、この検出結果を用いることで、対象者の姿勢(直立している、中腰である、倒れている)及び姿勢の変化を判別することができる。この点について、図8(a),図8(b)に基づいて、より詳細に説明する。
図8(a)、図8(b)は、対象者の姿勢に応じた頭の像の大きさの変化を模式的に示す図である。図8(b)に示すように、撮像装置11を天井部に設けて、対象者の頭を撮像すると、図8(b)の左側の対象者のように直立している場合には、図8(a)に示すように頭が大きく撮像され、図8(b)の右側の対象者のように倒れている場合には、図8(a)に示すように頭が小さく撮像される。また、図8(b)の中央の対象者のように、中腰の状態にある場合には、頭の像は、立っているときよりも小さく、倒れているときよりも大きい。したがって、本実施形態では、制御部25は、撮像装置11から送信されてくる画像に基づいて、対象者の頭の像の大きさを検出することで、対象者の状態を判定することができる。この場合、対象者の頭の像から、対象者の姿勢や姿勢の変化を判別しているので、対象者の顔や体全体などを用いた判別を行う場合と比べて、プライバシを保護することができる。
なお、図6(a)、図6(b)及び図7では、広角レンズ系32の画角の低い位置(広角レンズ系32の真下)に、対象者が存在している場合におけるグラフを示している。すなわち、対象者が広角レンズ系32の周辺画角位置に存在している場合には、対象者との見込み角に応じたディストーションの影響を受けるおそれがある。これについて、詳述する。
図9には、対象者の位置に応じた、撮像素子36に撮像される対象者の頭の像の大きさの変化が示されている。なお、撮像素子36の中心は、広角レンズ系32の光軸中心と一致しているものとする。この場合、対象者が直立している場合であっても、撮像装置11の直下に立っている場合と、撮像装置11から離れて立っている場合では、ディストーションの影響を受けて、撮像装置11に撮像される頭の像の大きさが変化する。ここで、図9の位置p1において、頭が撮像された場合、当該撮像結果からは、撮像素子36で撮像された像の大きさ、撮像素子36の中心からの距離L1、撮像素子36の中心からの角度θ1を取得することができる。また、図9の位置P2において、頭が撮像された場合、当該撮像結果からは、撮像素子36で撮像された像の大きさ、撮像素子36の中心からの距離L2、撮像素子36の中心からの角度θ2を取得することができる。なお、距離L1、L2は、広角レンズ系32の前側焦点と、対象者の頭との距離を表すパラメータである。また、撮像素子36の中心からの角度θ1、θ2は、対象者に対する広角レンズ系32の見込み角を表すパラメータである。このような場合において、制御部25では、撮像素子36の中心からの距離L1、L2、撮像素子36の中心からの角度θ1、θ2に基づいて、撮像した像の大きさを補正する。換言すれば、対象者が同じ姿勢のときに、撮像素子36の位置p1に撮像される像の大きさと、位置p2に撮像される像の大きさとが実質的に等しくなるように補正する。このようにすることで、本実施形態では、撮像装置11と対象者との位置関係(対象者までの距離や対象者との見込み角)にかかわらず、対象者の姿勢を精度よく検出することができる。なお、この補正に用いるパラメータ(補正テーブル)は、格納部24に記憶されているものとする。
ここで、撮像装置11による撮像間隔は、制御部25が設定するものとする。制御部25は、オフィスに多くの人がいる可能性が高い時間帯と、それ以外の時間帯で、撮影の頻度(フレームレート)を変更することができる。例えば、制御部25は、現在が、オフィスに多くの人がいる可能性が高い時間帯(例えば午前9時から午後6時まで)であると判断した場合には、1秒に1回静止画を撮像(3万2400枚/日)するようにし、それ以外の時間帯と判定した場合には、5秒に1回静止画を撮像(6480枚/日)するようにする、などの設定をすることができる。また、撮像された静止画は、格納部24(フラッシュメモリ96b)に一時的に保存したのち、例えば1日ごとの撮像データをHDD96aに保存し、その後に格納部24から消去するようにすればよい。
なお、静止画に代えて動画の撮影を行ってもよく、この場合、動画を連続して撮影しても、3〜5秒程度の短い動画を間欠的に撮影してもよい。
次に、撮像装置11の撮像領域について説明する。
図10は、一例として、オフィス内の1つの区画43と、当該区画43内に設けられた撮像装置11の撮像領域と、の関係を模式的に示す図である。なお、図10では、1つの区画43内に4つの撮像装置11(ただし撮像領域P1,P2,P3,P4のみが図示されている)が設けられているものとする。また、1つの区画が256m2(16m×16m)であるものとする。更に、撮像領域P1〜P4それぞれは円形領域であるものとし、X方向及びY方向において隣接する撮像領域と重複(オーバラップ)した状態となっている。なお、図10では、説明の便宜上、1つの区画を4分割した分割部分(撮像領域P1〜P4それぞれに対応)を分割部分A1〜A4として示している。この場合、広角レンズ系32の画角が80°、焦点距離6.188mmとし、天井の高さを2.6m、対象者の身長を1.6mとすると、広角レンズ系32の真下を中心に半径5.67mの円内(約100m2)が撮像領域となる。すなわち、分割部分A1〜A4は64m2となるので、各分割部分A1〜A4を、各撮像装置11の撮像領域P1〜P4に含めることができるとともに、各撮像装置11の撮像領域の一部を重複させることが可能となる。
図10は物体側から見た撮像領域P1〜P4の重複(オーバラップ)の概念を示したが、撮像領域P1〜P4は広角レンズ系32に光が入射する領域であり、この広角レンズ系32に入射した光の全てが矩形の撮像素子36に入射するものではない。このため、本実施形態においては、隣接する複数の撮像素子36の撮像領域P1〜P4が重複(オーバラップ)するように撮像装置11をオフィスに設置すればよい。具体的には、撮像装置11にその取り付けを調整するような調整部(例えば長穴や、大き目の調整穴、撮像位置を調整するシフト光学系)を設け、それぞれの撮像素子36が撮像した映像を目しで確認しながら重複(オーバラップ)を調整して、それぞれの撮像装置11の取り付け位置を決めるようにすればよい。なお、例えば、図10に示す分割部分A1と撮像素子36の撮像領域とが一致していた場合には、それぞれの撮像装置11にて撮像した画像が重複することなく、ぴったりと合うことになる。しかしながら、複数の撮像装置11をそれぞれ取り付ける際の自由度や、天井の梁などで取り付け高さが異なる場合を考えると、前述のように複数の撮像素子36の撮像領域P1〜P4を重複(オーバラップ)させるのが好ましい。
なお、重複量は、人の頭の大きさに基づいて設定することができる。この場合、例えば、頭の外周を60cmとすれば、重複する領域に直径約20cmの円形が含まれるようにすればよい。なお、頭の一部が重複する領域に含まれればよいという設定の下では、例えば、直径約10cmの円形が含まれるようにすればよい。重複する量をこの程度に設定すれば、撮像装置11を天井に取り付ける際の調整も楽になり、場合によっては調整なしでも複数の撮像装置11の撮像領域を重複させることも可能である。
次に、図11〜図13に基づいて、案内部10(撮像装置11)を用いた対象者の追跡処理について、説明する。図11には、対象者がオフィスに入るときの様子が模式的に示されている。
まず、図11を用いて、対象者がオフィスに入る際の処理について説明する。図11に示すように、対象者がオフィスに入る際には、対象者は、自己が保有するIDカード89をカードリーダ88にかざすものとする。カードリーダ88が取得したカード情報は、制御部25に送信される。制御部25は、取得したカード情報と、格納部24に記憶されている従業員情報とに基づいて、IDカード89をかざした対象者を特定する。なお、対象者が、従業員以外の場合、総合受付や守衛所等で渡されるゲストカードをかざすことになるため、当該対象者はゲストと特定されることになる。
上記のように対象者が特定された時点から、制御部25は、カードリーダ88の上方に設けられた案内部10の撮像装置11を用いた、対象者の頭の撮像を行う。そして、制御部25は、撮像装置11で撮像された画像の中から、頭と想定される画像部分を基準テンプレートとして切り出し、格納部24に登録する。
なお、撮像装置11で撮像された画像の中から、頭と想定される画像部分を抽出する方法としては、例えば、
(1)複数の対象者の頭の画像のテンプレートを予め登録しておき、これらの画像を用いたパターンマッチングにより頭部分を抽出する方法
(2)想定される大きさの円形状の部分を頭部分として抽出する方法
などがある。
なお、上記頭部分の抽出の前に、カードリーダの近傍に設置されたカメラを用いて対象者を正面から撮像し、撮像装置11の撮像領域のどの辺りで頭が撮像されるかを予測しておいてもよい。この場合、カメラの画像の顔認証結果から、対象者の頭の位置を予測してもよいし、カメラとして例えばステレオカメラを用いることで、対象者の頭の位置を予測してもよい。このようにすることで、頭部分の抽出を高精度に行うことができるようになる。
ここで、対象者の身長は予め格納部24に登録されているものとし、制御部25は、身長と、基準テンプレートとを関連付けるものとする。なお、対象者がゲストの場合には、前述した対象者を正面から撮像するカメラ等により、身長を計測し、当該身長と、基準テンプレートを関連付けるものとする。
また、制御部25は、基準テンプレートの倍率を変更したテンプレート(合成テンプレート)を作成して、格納部24に格納するものとする。この場合、制御部25は、合成テンプレートとして、頭の高さが例えば10cm単位で変化した場合に撮像装置11で撮像される頭の大きさのテンプレートを作成するものとする。この合成テンプレートの作成に際して、制御部25は、撮像装置11の光学特性と基準テンプレートを取得したときの撮像位置との関係を考慮するものとする。
次に、図12を用いて、オフィス内に入った直後の単一の撮像装置11による追跡処理について説明する。対象者がオフィス内に入った後は、制御部25は、図12に示すように、撮像装置11による画像の連続取得を開始する。そして、制御部25は、連続取得される画像と、基準テンプレート(又は合成テンプレート)とのパターンマッチングを行って、スコア値が所定の基準値よりも高い部分(頭部分)を抽出し、当該抽出された部分から、対象者の位置(高さ位置及び床面内の2次元位置)を求める。この場合、図12の画像αが取得された時点で、スコア値が所定の基準値よりも高くなったものとする。したがって、制御部25は、図12の画像αの位置を対象者の位置とするとともに、画像αを新たな基準テンプレートとし、かつ新たな基準テンプレートの合成テンプレートを作成する。
その後は、制御部25は、新たな基準テンプレート(又は合成テンプレート)を用いて、対象者の頭を追跡し、対象者の位置が変わるたびに、そのときに得られた画像(例えば、図12の画像β)を新たな基準テンプレートとするとともに、合成テンプレートを作成する(基準テンプレート及び合成テンプレートを更新する)。なお、上記のように追跡しているときに、頭の大きさが突然小さくなる場合がある。すなわち、パターンマッチングに用いる合成テンプレートの倍率が大きく変動する場合がある。このような場合には、制御部25は、対象者が倒れるなどの異常が発生したと判断することとしてもよい。
次に、図13に基づいて、2つの撮像装置11間のつなぎ処理(基準テンプレート及び合成テンプレートの変更処理)について説明する。
前提として、図13に示すように対象者が2つの撮像装置11の間(前述した撮像領域の重複部分)に位置している場合において、制御部25は、一方の(左側の)撮像装置11で、対象者の頭の位置を検出しているとする。このときの基準テンプレートが図13の画像βであるとする。この場合、制御部25は、当該対象者の頭の位置に基づいて、他方の(右側の)撮像装置11の撮像領域のどの位置で頭が撮像されるかを算出する。そして、制御部25は、他方の(右側の)撮像装置11の撮像領域のうち、頭が撮像されるべき位置の画像(図13の画像γ)を、新たな基準テンプレートとするとともに、合成テンプレートを生成する。そして、これ以降の右側の撮像装置11を用いた追跡処理では、基準テンプレート(画像γ)を更新しながら、図12のような追跡処理を行うこととする。
以上のような処理を行うことで、基準テンプレートを随時更新することによる、オフィス内における対象者の追跡処理を行うことが可能である。
次に、図10の1つの区画43内において4人の対象者(対象者A,B,C,Dとする)が移動する場合の追跡処理について、図14、図15に基づいて説明する。なお、追跡処理の間は、制御部25は、図12,図13のように基準テンプレートを随時更新する。
図14(a)には、時刻T1における状態が示されている。なお、図14(b)〜図15(c)には、時刻T1以降(時刻T2〜T5)における状態が示されている。
時刻T1においては、分割部分A1に対象者C、分割部分A3に対象者A,Bが存在している。この場合、撮像領域P1を有する撮像装置11が対象者Cの頭を撮像し、撮像領域P3を有する撮像装置11が対象者A,Bの頭を撮像している。
次いで、時刻T2においては、撮像領域P1を有する撮像装置11が対象者B,Cの頭を撮像し、撮像領域P3を有する撮像装置11が対象者A,Bの頭を撮像している。
この場合、制御部25は、時刻T1、T2における各撮像装置11の撮像結果から、対象者A、Cが、図14(b)の左右方向に移動し、対象者Bが図14(b)の上下方向に移動していることを認識する。なお、対象者Bが時刻T2において2つの撮像装置11に撮像されているのは、対象者Bが2つの撮像装置11の撮像領域が重複する部分に存在しているからである。この図14(b)の状態では、制御部25は、対象者Bについて、図13のつなぎ処理(基準テンプレート及び合成テンプレートの2つの撮像装置11間での変更処理)を行う。
次いで、時刻T3においては、撮像領域P1を有する撮像装置11が対象者B,Cの頭を撮像し、撮像領域P2を有する撮像装置11が対象者Cの頭を撮像し、撮像領域P3を有する撮像装置11が対象者Aの頭を撮像し、撮像領域P4を有する撮像装置11が対象者A,Dの頭を撮像している。
この場合、制御部25は、時刻T3(図15(a))において、対象者Aが分割部分A3と分割部分A4との境界にいる(分割部分A3から分割部分A4に移動中である)ことを認識し、対象者Bが分割部分A1にいることを認識し、対象者Cが分割部分A1と分割部分A2との境界にいる(分割部分A1からA2に移動中である)ことを認識し、対象者Dが分割部分A4にいることを認識する。この図15(a)の状態では、制御部25は、対象者AとCについて、図13のつなぎ処理(基準テンプレート及び合成テンプレートの2つの撮像装置11間での変更処理)を行う。
同様に、制御部25は、時刻T4(図15(b))において、対象者Aが分割部分A4、対象者Bが分割部分A1、対象者Cが分割部分A2、対象者Dが分割部分A2とA4の間にいることを認識する。この図15(b)の状態では、制御部25は、対象者Dについて、図13のつなぎ処理(基準テンプレート及び合成テンプレートの2つの撮像装置11間での変更処理)を行う。また、制御部25は、時刻T5(図15(c))において、対象者Aが分割部分A4、対象者Bが分割部分A1、対象者Cが分割部分A2、対象者Dが分割部分A2にいることを認識する。
本実施形態では、上述のように複数の撮像装置11の撮像領域の一部を重複させているので、制御部25は、対象者の位置および移動方向を認識することができる。このように、本実施形態では、制御部25は、オフィス内において各対象者を継続的に高精度に追跡することが可能となっている。
次に、図16に基づいて、制御部25による指向性スピーカ13の制御方法について説明する。なお、図16では、案内部10が通路(廊下)に沿って配置された場合について図示しており、一点鎖線で示す領域は、各案内部10が有する撮像装置11の撮像範囲を意味するものとする。なお、図16の場合にも隣接する撮像装置11の撮像範囲は重複しているものとする。
本実施形態では、図16に示すように対象者がポジションK1からポジションK4の方向(+X方向)に移動する場合、制御部25は、ポジションK1に対象者が位置していれば、案内部10aの指向性スピーカ13を用いて対象者に対する音声による案内を行う(案内部10aから延びる太実線矢印参照)。
一方、制御部25は、ポジションK2に対象者が位置している場合には、対象者を撮像している撮像装置11を有する案内部10aではなく(案内部10aから延びる太破線矢印参照)、対象者を撮像していない撮像装置11を有する案内部10bの指向性スピーカ13を用いて対象者に対する音声による案内を行う(案内部10bから延びる太実線矢印参照)。
このような指向性スピーカ13の制御を行うこととしているのは、対象者が+X方向に移動している場合に、制御部25が、案内部10aの指向性スピーカ13から音声案内を行うと対象者の耳の後ろ側から音声案内をすることになる一方、制御部25が、案内部10bの指向性スピーカ13の姿勢を制御して音声案内をすれば、対象者の耳の前側から音声案内を行うことができるからである。すなわち、対象者が+X方向に移動している場合は、対象者よりも+X方向に位置している指向性スピーカ13を選択することにより、対象者の顔の正面から音声案内をすることができる。なお、制御部25は、対象者の横から音声案内を行うように指向性スピーカ13を選択するようにしてもよい。すなわち、制御部25は、対象者の耳の後方からの音声案内を避けるように指向性スピーカ13を選択すればよい。
また、制御部25は、ポジションK4に対象者が位置している場合には案内部10dの指向性スピーカ13を用いて対象者に音声案内を行うこととする。このような指向性スピーカ13の制御を行うこととしているのは、ポジションK4において案内部10cの指向性スピーカ13を用いて対象者に音声案内をした場合(案内部10cから延びる太破線矢印参照)、対象者の近くにいる他人に音声案内を聞かれてしまうおそれがあるからである。
本実施形態では、制御部25は、上記のようにして、少なくとも1つの撮像装置11の撮像結果に基づいて他人に音声案内を聞かれる恐れのない指向性スピーカ13を選択する。なお、ポジションK4のように、他人が近くにいる場合であっても、対象者が指向性マイク12を介して問い合わせを行う場合も想定される。このような場合には、対象者を撮像している案内部10cの指向性マイク12(対象者に最も近い位置に存在する指向性マイク12)を用いて対象者が発する言葉を集音すればよい。ただし、これに限らず、制御部25は、対象者の口の前側に位置する指向性マイク12を用いて対象者が発する言葉を集音することとしてもよい。
なお、各案内部10は、必要に応じて駆動を開始(電源を投入)すればよい。例えば、案内部10aが外来者を撮像して、図16上で+X側に移動していることがわかった段階で、案内部10aに隣接する案内部10bを駆動するようにしてもよい。この場合、案内部10aの撮像装置11の撮像範囲と案内部10bの撮像装置11の撮像範囲との重複部分に外来者が来る前に、案内部10bが駆動を開始していればよい。また、案内部10aは、外来者を撮像できなくなった時点で電源を落としたり、あるいは、省エネルギーモード(スタンバイモード)に入るようにすればよい。
なお、図2に示す音声ユニット50において、ユニット本体16をX軸方向やY軸方向に駆動可能とする駆動機構を設けることとしてもよい。この場合、駆動機構を介して、対象者の前側(もしくは横側)から音声を出力できるように指向性スピーカ13の位置を変更したり、他人に音声を聞かれない位置に指向性スピーカ13の位置を変更したりすれば、指向性スピーカ13(音声ユニット50)の数を減らせることができる。
なお、図16では一軸方向(X軸方向)に沿って配置された案内部10を図示したが、これに加えて、Y軸方向に沿って案内部10を配置しても、同様の制御をすることができる。
次に、本実施形態の案内システム100の処理・動作について、図17に基づいて詳細に説明する。図17は、制御部25による対象者に対する案内処理を示すフローチャートである。本実施形態では、オフィスに外来者(対象者)が来た場合の案内処理を例に採り説明する。
図17の処理では、まず、ステップS10において、制御部25は、受付処理を行う。具体的には、制御部25は、外来者が受付(図11参照)に来た際に受付付近の天井に設けられた案内部10の撮像装置11により外来者の頭の像を撮像し、基準テンプレートと合成テンプレートを生成する。また、制御部25は、事前に登録された情報から外来者の入出が許可されているエリアを認識するとともに、受付付近の案内部10の指向性スピーカ13から、打合せの場所を通知する。この場合、制御部25は、例えば“担当の○○は第5応接室でお待ちしていますので、廊下をお進みください”というような音声案内を、音声合成部23で音声合成させ、当該音声を指向性スピーカ13から出力する。
次いで、ステップS12では、制御部25は、図12〜図15を用いて説明したように、複数の案内部10の撮像装置11を用いて外来者の頭を撮像することにより、外来者の追尾を行う。この場合、基準テンプレートは随時更新され、合成テンプレートも随時作成される。
次いで、ステップS14では、制御部25は、外来者が受付を出たか否かを判断する。ここでの判断が肯定された場合には、図17の全処理を終了するが、判断が否定された場合には、ステップS16に移行する。
次いで、ステップS16では、外来者に対する案内が必要かどうかを判断する。この場合、制御部25は、例えば、外来者が第5応接室に行く間に存在している分岐路(外来者が右に進む必要がある位置など)に近づいてきた場合に、外来者に対する案内が必要と判断する。また、制御部25は、例えば、外来者が案内部10の指向性マイク12に向けて“トイレはどこですか”などの質問をした場合に案内が必要と判断する。また、制御部25は、例えば、外来者が所定時間(例えば3秒から10秒程度)立ち止まってしまった場合にも案内が必要と判断する。
次いで、ステップS18では、制御部25は、案内が必要か否かを判断する。このステップS18での判断が否定された場合には、ステップS14に戻るが、ステップS18の判断が肯定された場合には、ステップS20に移行する。
ステップS20に移行すると、制御部25は、撮像装置11の撮像結果に基づいて外来者の進行方向を確認するとともに、耳の位置(顔の正面の位置)を類推する。耳の位置は、受付において特定された人物(対象者)に関連付けられている身長から類推することができる。また、対象者に対して身長が関連付けられていない場合には、受付で撮像された頭の大きさや、受付で正面から撮像された対象者の画像などから求められる身長に基づいて、耳の位置を類推してもよい。
次いで、ステップS22では、制御部25は、外来者の位置に基づいて、音声を出力する指向性スピーカ13を選択する。この場合、制御部25は、図16で説明したように、対象者の耳の前側又は横側、かつ対象者の近くにいる他人に音声案内を聞かれるおそれが無い方向に位置する指向性スピーカ13を選択する。
次いで、ステップS24では、制御部25は、駆動装置14により指向性マイク12および指向性スピーカ13の位置を調節するとともに、指向性スピーカ13の音量(出力)を設定する。この場合、制御部25は、案内部10aの撮像装置11の撮像結果に基づいて外来者と案内部10bの指向性スピーカ13との距離を検出し、検出された距離に基づいて指向性スピーカ13の音量を設定するものとする。また、制御部25は、撮像装置11の撮像結果に基づいて外来者が直進していると判断した場合には、モータ14a(図3参照)により指向性マイク12および指向性スピーカ13のチルト方向の位置調節を行う。更に、制御部25は、撮像装置11の撮像結果に基づいて外来者が廊下を曲がったと判断した場合には、モータ14b(図3参照)により指向性マイク12および指向性スピーカ13のパン方向の位置調節を行う。
次いで、ステップS26では、制御部25は、ステップS24の調節状態で、外来者に対して、案内又は警告を実施する。具体的には、例えば、外来者が右に曲がるべき分岐路に差し掛かった場合には、“右に曲がってください”などの音声案内を行う。また、例えば、外来者が“トイレはどこですか”などの音声を発していた場合には、制御部25は、音声認識部22に、指向性マイク12から入力した音声を認識させ、外来者が入出を許可されているエリアの中から最も近いトイレの位置を案内する音声を、音声合成部23に合成させる。そして、制御部25は、音声合成部23にて合成された音声を指向性スピーカ13から出力する。また、例えば、外来者の侵入が許可されていないエリア(セキュリティエリア)に外来者が入ってしまった場合(又は入りそうな場合)には、制御部25は、指向性スピーカ13により、“このエリアへの立ち入りはご遠慮下さい”などの音声案内(警告)を行う。本実施形態では、指向性スピーカ13を採用しているので、当該指向性スピーカ13を用いた音声案内を行うことにより、音声案内が必要な人だけに適切に音声案内を行うことができる。
上記のようにステップS26の処理が終了した後は、ステップS14に戻り、以降の処理は、外来者が受付を出るまで継続して行われることになる。これにより、オフィスに外来者が来た場合でも、人が案内する手間を省略することができるとともに、外来者がセキュリティエリア等へ入ってしまうことを防ぐことができる。また、外来者にセンサを持たせる必要がないため、外来者が煩わしさを感じることもない。
以上、詳細に説明したように、本実施形態によると、制御部25は、対象者を含む画像を撮像可能な少なくとも1つの撮像装置11から、撮像結果を取得し、取得した撮像結果に応じて、撮像装置11の撮像範囲外に設けられた指向性スピーカ13を制御する。これにより、撮像装置11の撮像範囲内に設けられている指向性スピーカ13から音声を出力すると、対象者の耳の後側から音声が発せられて対象者が聞き取りにくくなるような場合でも、撮像範囲外に設けられた指向性スピーカ13から音声を出力することで、対象者は指向性スピーカから発せられる音声を聞き取りやすくなる。また、対象者の近くに他人がいて、他人に音声を聞かれるおそれがあるような場合に、撮像範囲外に設けられた指向性スピーカ13から音声を出力することで、他人に音声を聞かれるのを抑制することができる。すなわち、指向性スピーカ13の適切な制御が可能となる。
また、本実施形態によると、制御部25は、少なくとも1つの撮像装置11の撮像結果に基づいて対象者の移動情報(位置など)を検出し、当該検出結果に基づいて、指向性スピーカ13を制御するので、対象者の移動情報(位置など)に応じた適切な指向性スピーカ13の制御が可能となる。
また、本実施形態によると、制御部25は、対象者の移動情報に基づいて前記対象者が所定領域外(セキュリティエリア外)に移動すると判断したとき、又は所定領域外(セキュリティエリア外)に移動したと判断したときに、指向性スピーカ13から対象者に対する警告を行うこととしている。これにより、人手を介さずに、セキュリティエリア外への対象者の侵入を防止することができる。
また、本実施形態によると、制御部25は、撮像装置11が対象者とは異なる人を撮像した際に、指向性スピーカ13を制御することとしているので、対象者とは異なる人(他人)により音声が聞かれないように、指向性スピーカを適切に制御することができる。
また、本実施形態によると、駆動装置14は、指向性スピーカ13の位置及び/又は姿勢を調節するので、指向性スピーカ13の音声出力方向を適切な向き(対象者が音声を聞き取りやすい向き)に調整することができる。
また、本実施形態によると、駆動装置14は、対象者の移動に応じて指向性スピーカ13の位置及び/又は姿勢を調節するので、対象者が移動しても、指向性スピーカ13の音声出力方向を適切な向きに調整することができる。
また、本実施形態によると、隣接する撮像装置11の撮像領域が重複するように、隣接する撮像装置11が配置されているので、隣接する撮像装置11の撮像領域を跨いで対象者が移動する場合でも、隣接する撮像装置11を用いて対象者の追跡を行うことが可能となる。
また、本実施形態によると、制御部25は、撮像装置11で撮像された頭部分の画像を基準テンプレートとし、対象者を追尾する場合には、基準テンプレートを用いて対象者の頭部分を特定するとともに、特定された頭部分の新たな画像で基準テンプレートを更新する。したがって、制御部25は、移動する対象者を基準テンプレートを更新することで、頭の画像が変化する場合でも適切に追尾することが可能である。
また、本実施形態によると、制御部25は、複数の撮像装置で対象者を同時に撮像できるときに、一の撮像装置により撮像される対象者の頭部分の位置情報を取得するとともに、他の撮像装置により撮像される画像のうち、頭部分が存在する領域の画像を他の撮像装置の基準テンプレートとする。したがって、一の撮像装置と他の撮像装置とで取得される頭部分の画像が異なる場合(例えば後頭部の画像βと前頭部の画像γの場合)でも、上記のように基準テンプレートを決定することで、複数の撮像装置を用いた対象者の追尾を適切に行うことが可能となる。
また、本実施形態によると、制御部25は、頭部分の大きさ情報が所定量以上変動した場合に、対象者の異常を判定するので、プライバシを保護した状態で、対象者の異常を発見することができる。
また、本実施形態によると、制御部25は、対象者を含む画像を撮像可能な撮像装置11の撮像結果を取得し、取得した撮像結果から対象者の大きさ情報(耳の位置や身長、撮像装置11からの距離など)を検出した結果に基づいて、指向性スピーカ13の位置及び/又は姿勢を調節するので、指向性スピーカ13の位置や姿勢を適切に調整することができる。これにより、指向性スピーカ13から対象者に対して出力される音声を聞き取りやすくすることができる。
また、本実施形態によると、制御部25は、対象者と撮像装置11との距離に基づいて、指向性スピーカの出力(音量)を設定するので、指向性スピーカ13から対象者に対して出力される音声を聞き取りやすくすることができる。
また、本実施形態によると、制御部25は、対象者の位置に応じて、指向性スピーカ13による音声案内を行うこととしているので、対象者の位置が分岐路である場合やセキュリティエリア内又は近傍である場合などにおいて、適切な音声案内(又は警告)を行うことが可能である。
また、本実施形態によると、制御部25は、対象者と撮像装置11との位置関係に基づいて、対象者の大きさ情報を補正するので、撮像装置11の光学系のディストーションの影響による検出誤差の発生を抑制することができる。
なお、上記実施形態では、撮像装置11により対象者の頭部分を撮像することとしたが、これに限らず、対象者の肩を撮像することとしてもよい。この場合、型の高さから、耳の位置を類推するようにしてもよい。
また、上記実施形態では、指向性マイク12と指向性スピーカ13とをユニット化する場合について説明したが、これに限らず、指向性マイク12と指向性スピーカ13を別々に設けるようにしてもよい。また、指向性マイク12に代えて、指向性のないマイク(例えばズーム型マイク)を採用してもよいし、指向性スピーカ13に代えて、指向性のないスピーカを採用してもよい。
また、上記実施形態では、オフィスに案内システム100を配備し、オフィスに外来者が来た場合に案内処理を行う場合について説明したが、これに限られるものではない。例えば、スーパーやデパートなどの売り場に案内システム100を配備し、当該案内システム100を売り場等への客の案内に用いることとしてもよい。同様に、病院などに案内システム100を配備してもよい。この場合、案内システム100を用いて患者を案内するようにしてもよい。例えば、人間ドックなどで複数の検査をする場合に、対象者を案内することができ、診断業務、精算業務等の効率化を図ることが可能となる。更に、美術館、映画館、コンサートホールなど、静寂さを要求される場所での案内にも、案内システム100を用いることが可能である。また、他人に音声案内を聞かれる恐れもないため、対象者の個人情報を保護することもできる。なお、案内システム100が配備される場所に係員が存在している場合には、案内が必要な対象者に対して音声案内を行うとともに、係員に案内が必要な対象者がいることを通知することとしてもよい。
なお、上記実施形態では、オフィスの受付にカードリーダ88を設け、これによりオフィス内に入ろうとしている人物を特定する場合について説明したが、これに限らず、指紋や音声などの生体認証装置や、暗証番号入力装置などで人物を特定することとしてもよい。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
11 撮像装置
12 指向性マイク
13 指向性スピーカ
20 本体部
25 制御部
100 案内システム

Claims (12)

  1. 対象者を含む画像を撮像可能な撮像装置の撮像結果を取得する取得装置と、
    前記撮像装置による撮像結果から前記対象者の大きさ情報を検出する第1検出装置と、
    前記第1検出装置が検出した前記大きさ情報に基づいて、指向性を有する音声装置の位置及び/又は姿勢を調節する駆動制御装置と、を備えたことを特徴とする電子機器。
  2. 前記第1検出装置が検出した大きさ情報に基づいて、前記対象者の耳の位置を検出する第2検出装置を備えたことを特徴とする請求項1記載の電子機器。
  3. 前記駆動制御装置は、前記第2検出装置が検出した耳の位置に基づいて、前記指向性を有する音声装置の位置及び/又は姿勢を調節することを特徴とする請求項2記載の電子機器。
  4. 前記第1検出装置が検出した大きさ情報に基づいて、前記指向性を有する音声装置の出力を設定する設定装置を備えたことを特徴とする請求項1から3のいずれか一項に記載の電子機器。
  5. 前記対象者の位置に応じて、前記指向性を有する音声装置による音声案内を制御する制御装置を備えたことを特徴とする請求項1から4のいずれか一項に記載の電子機器。
  6. 前記駆動制御装置は、前記対象者の移動に応じて、前記指向性を有する音声装置の位置及び/又は姿勢を調節することを特徴とする請求項1から5のいずれか一項に記載の電子機器。
  7. 前記指向性を有する音声装置は、前記撮像装置の近傍に設けられていることを特徴とする請求項1から6のいずれか一項に記載の電子機器。
  8. 前記対象者と前記撮像装置との位置関係に基づいて、前記第1検出装置が検出した前記対象者の大きさ情報を補正する補正装置を備えたことを特徴とする請求項1から7のいずれか一項に記載の電子機器。
  9. 前記撮像装置の撮像結果を用いて前記対象者を追尾する追尾装置を備え、
    前記追尾装置は、
    前記撮像装置を用いて前記対象者の特定部分の画像を取得して当該特定部分の画像をテンプレートとし、
    前記対象者を追尾する場合には、前記テンプレートを用いて前記対象者の特定部分を特定するとともに、当該特定された前記対象者の特定部分の新たな画像で、前記テンプレートを更新することを特徴とする請求項1から8のいずれか一項に記載の電子機器。
  10. 前記撮像装置は、第1の撮像装置と、当該第1の撮像装置の撮像範囲の一部と重複する撮像範囲を有する第2の撮像装置と、を含み、
    前記追尾装置は、
    前記第1の撮像装置と前記第2の撮像装置が前記対象者を同時に撮像できるときに、一方の撮像装置により撮像される前記対象者の特定部分の位置情報を取得するとともに、
    他方の撮像装置により撮像される画像のうち、前記特定部分の位置情報に対応する領域を特定し、当該特定された領域の画像を他方の撮像装置の前記テンプレートとすることを特徴とする請求項9記載の電子機器。
  11. 前記追尾装置は、前記特定部分の大きさ情報が所定量以上変動した場合に、前記対象者の異常を判定することを特徴とする請求項9又は10記載の電子機器。
  12. 対象者を含む画像を撮像可能な少なくとも1つの撮像装置と、
    指向性を有する音声装置と、
    請求項1から11のいずれか一項に記載の電子機器と、を備える情報伝達システム。
JP2011070327A 2011-03-28 2011-03-28 電子機器及び情報伝達システム Pending JP2012205240A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011070327A JP2012205240A (ja) 2011-03-28 2011-03-28 電子機器及び情報伝達システム
PCT/JP2012/057215 WO2012133058A1 (ja) 2011-03-28 2012-03-21 電子機器及び情報伝達システム
CN201280015582XA CN103460718A (zh) 2011-03-28 2012-03-21 电子设备以及信息传递系统
US13/985,751 US20130321625A1 (en) 2011-03-28 2012-03-21 Electronic device and information transmission system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011070327A JP2012205240A (ja) 2011-03-28 2011-03-28 電子機器及び情報伝達システム

Publications (1)

Publication Number Publication Date
JP2012205240A true JP2012205240A (ja) 2012-10-22

Family

ID=47185704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011070327A Pending JP2012205240A (ja) 2011-03-28 2011-03-28 電子機器及び情報伝達システム

Country Status (1)

Country Link
JP (1) JP2012205240A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017038342A (ja) * 2015-08-14 2017-02-16 東貝光電科技股▲ふん▼有限公司Unity Opto Technology Co.,Ltd. 自動制御可能な指向性スピーカー及びled照明灯具
KR20180129953A (ko) * 2016-04-29 2018-12-05 부르메스터 아우디오시스테메 게엠베하 라우드 스피커
WO2019038871A1 (ja) * 2017-08-24 2019-02-28 三菱電機株式会社 位置推定装置、位置推定方法及び位置推定プログラム
JP2020061617A (ja) * 2018-10-05 2020-04-16 株式会社京三製作所 情報案内システム
JP6773990B1 (ja) * 2019-12-26 2020-10-21 富士通クライアントコンピューティング株式会社 情報処理システム、及び情報処理装置
JP2020201816A (ja) * 2019-06-12 2020-12-17 富士通株式会社 防犯装置、防犯方法および防犯プログラム
JP6839373B1 (ja) * 2020-06-15 2021-03-10 富士通クライアントコンピューティング株式会社 情報処理システム
JP2021069079A (ja) * 2019-10-28 2021-04-30 富士通クライアントコンピューティング株式会社 情報処理システム、情報処理装置およびプログラム
JP2022534958A (ja) * 2019-05-29 2022-08-04 旭化成株式会社 複数の指向性スピーカを有する音声再生装置、および音声再生方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221081A (ja) * 1994-12-16 1996-08-30 Takenaka Komuten Co Ltd 音伝達装置
JP2001025084A (ja) * 1999-07-07 2001-01-26 Matsushita Electric Ind Co Ltd スピーカー装置
JP2001285997A (ja) * 2000-04-04 2001-10-12 Hitachi Electronics Service Co Ltd 館内案内システム
JP2005080227A (ja) * 2003-09-03 2005-03-24 Seiko Epson Corp 音声情報提供方法及び指向型音声情報提供装置
JP2005159446A (ja) * 2003-11-20 2005-06-16 Mitsubishi Electric Engineering Co Ltd 指向性音響システム
JP2005167711A (ja) * 2003-12-03 2005-06-23 Mitsubishi Electric Engineering Co Ltd 音響システム
WO2006057131A1 (ja) * 2004-11-26 2006-06-01 Pioneer Corporation 音響再生装置、音響再生システム
JP2006186767A (ja) * 2004-12-28 2006-07-13 Yamaha Corp 音声呼出装置
JP2007266919A (ja) * 2006-03-28 2007-10-11 Seiko Epson Corp 聴者誘導装置、および聴者誘導方法
JP2008052626A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 浴室異常検知システム
JP2008052631A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 異常検知システム
JP2008304782A (ja) * 2007-06-08 2008-12-18 Yamaha Corp コンテンツ出力装置及びコンテンツデータ配信システム
JP2010049296A (ja) * 2008-08-19 2010-03-04 Secom Co Ltd 移動物体追跡装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221081A (ja) * 1994-12-16 1996-08-30 Takenaka Komuten Co Ltd 音伝達装置
JP2001025084A (ja) * 1999-07-07 2001-01-26 Matsushita Electric Ind Co Ltd スピーカー装置
JP2001285997A (ja) * 2000-04-04 2001-10-12 Hitachi Electronics Service Co Ltd 館内案内システム
JP2005080227A (ja) * 2003-09-03 2005-03-24 Seiko Epson Corp 音声情報提供方法及び指向型音声情報提供装置
JP2005159446A (ja) * 2003-11-20 2005-06-16 Mitsubishi Electric Engineering Co Ltd 指向性音響システム
JP2005167711A (ja) * 2003-12-03 2005-06-23 Mitsubishi Electric Engineering Co Ltd 音響システム
WO2006057131A1 (ja) * 2004-11-26 2006-06-01 Pioneer Corporation 音響再生装置、音響再生システム
JP2006186767A (ja) * 2004-12-28 2006-07-13 Yamaha Corp 音声呼出装置
JP2007266919A (ja) * 2006-03-28 2007-10-11 Seiko Epson Corp 聴者誘導装置、および聴者誘導方法
JP2008052626A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 浴室異常検知システム
JP2008052631A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 異常検知システム
JP2008304782A (ja) * 2007-06-08 2008-12-18 Yamaha Corp コンテンツ出力装置及びコンテンツデータ配信システム
JP2010049296A (ja) * 2008-08-19 2010-03-04 Secom Co Ltd 移動物体追跡装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017038342A (ja) * 2015-08-14 2017-02-16 東貝光電科技股▲ふん▼有限公司Unity Opto Technology Co.,Ltd. 自動制御可能な指向性スピーカー及びled照明灯具
US10735850B2 (en) 2016-04-29 2020-08-04 Burmester Audiosysteme Gmbh Loudspeaker
JP2019515613A (ja) * 2016-04-29 2019-06-06 ブルメスター オーディオシステム ゲーエムベーハー スピーカ
KR102166407B1 (ko) * 2016-04-29 2020-10-15 부르메스터 아우디오시스테메 게엠베하 라우드 스피커
KR20180129953A (ko) * 2016-04-29 2018-12-05 부르메스터 아우디오시스테메 게엠베하 라우드 스피커
WO2019038871A1 (ja) * 2017-08-24 2019-02-28 三菱電機株式会社 位置推定装置、位置推定方法及び位置推定プログラム
JPWO2019038871A1 (ja) * 2017-08-24 2019-11-07 三菱電機株式会社 位置推定装置、位置推定方法及び位置推定プログラム
JP2020061617A (ja) * 2018-10-05 2020-04-16 株式会社京三製作所 情報案内システム
JP2022534958A (ja) * 2019-05-29 2022-08-04 旭化成株式会社 複数の指向性スピーカを有する音声再生装置、および音声再生方法
JP7425090B2 (ja) 2019-05-29 2024-01-30 旭化成株式会社 複数の指向性スピーカを有する音声再生装置、および音声再生方法
JP2020201816A (ja) * 2019-06-12 2020-12-17 富士通株式会社 防犯装置、防犯方法および防犯プログラム
JP7363113B2 (ja) 2019-06-12 2023-10-18 富士通株式会社 制御装置、制御方法および制御プログラム
JP2021069079A (ja) * 2019-10-28 2021-04-30 富士通クライアントコンピューティング株式会社 情報処理システム、情報処理装置およびプログラム
JP6773990B1 (ja) * 2019-12-26 2020-10-21 富士通クライアントコンピューティング株式会社 情報処理システム、及び情報処理装置
JP2021105883A (ja) * 2019-12-26 2021-07-26 富士通クライアントコンピューティング株式会社 情報処理システム、及び情報処理装置
JP2021196903A (ja) * 2020-06-15 2021-12-27 富士通クライアントコンピューティング株式会社 情報処理システム
JP6839373B1 (ja) * 2020-06-15 2021-03-10 富士通クライアントコンピューティング株式会社 情報処理システム

Similar Documents

Publication Publication Date Title
WO2012133058A1 (ja) 電子機器及び情報伝達システム
JP2012205240A (ja) 電子機器及び情報伝達システム
JP4286860B2 (ja) 動作内容判定装置
JP2014153663A (ja) 音声認識装置、および音声認識方法、並びにプログラム
US20160027441A1 (en) Speech recognition system, speech recognizing device and method for speech recognition
JP2012205242A (ja) 電子機器及び情報伝達システム
JP7045797B2 (ja) 指導支援システム、指導支援方法及びプログラム
JP2012220959A (ja) 入力された発話の関連性を判定するための装置および方法
JP2008087140A (ja) 音声認識ロボットおよび音声認識ロボットの制御方法
JP2007164379A (ja) インターフェース装置およびそれを備えた移動ロボット
JP2000356674A (ja) 音源同定装置及びその同定方法
JP2007221300A (ja) ロボット及びロボットの制御方法
JP2015175983A (ja) 音声認識装置、音声認識方法及びプログラム
KR101508092B1 (ko) 화상 회의를 지원하는 방법 및 시스템
JP2009141555A (ja) 音声入力機能付き撮像装置及びその音声記録方法
JP2010154259A (ja) 画像音声処理装置
US20210034898A1 (en) Entering of human face information into database
JP7533472B2 (ja) 情報処理装置、及びコマンド処理方法
JP2013167986A (ja) 画像認識システム、画像認識方法
JP2010154260A (ja) 音声識別装置
JP2002312796A (ja) 主被写体推定装置、撮像装置、撮像システム、主被写体推定方法、撮像装置の制御方法、及び制御プログラムを提供する媒体
JP3838159B2 (ja) 音声認識対話装置およびプログラム
JP2009177480A (ja) 撮影装置
JP2001067098A (ja) 人物検出方法と人物検出機能搭載装置
CN113676622A (zh) 视频处理方法、摄像装置、视频会议系统及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150608

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160308