JP2012205242A - Electronic device and information transfer system - Google Patents
Electronic device and information transfer system Download PDFInfo
- Publication number
- JP2012205242A JP2012205242A JP2011070358A JP2011070358A JP2012205242A JP 2012205242 A JP2012205242 A JP 2012205242A JP 2011070358 A JP2011070358 A JP 2011070358A JP 2011070358 A JP2011070358 A JP 2011070358A JP 2012205242 A JP2012205242 A JP 2012205242A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- subject
- imaging device
- image
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Alarm Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、電子機器及び情報伝達システムに関する。 The present invention relates to an electronic device and an information transmission system.
ユーザに対して音声を用いて案内をする音声案内装置が提案されている(例えば、特許文献1参照)。 A voice guidance device that provides guidance to a user using voice has been proposed (see, for example, Patent Document 1).
しかしながら、従来の音声案内装置には、特定の場所からでないと音声を聞き取りにくいという課題があった。 However, the conventional voice guidance device has a problem that it is difficult to hear the voice unless it is from a specific place.
本発明は上記の課題に鑑みてなされたものであり、適切な音声装置の制御が可能な電子機器及び情報伝達システムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide an electronic device and an information transmission system capable of controlling an appropriate audio device.
本発明の電子機器は、対象者を含む画像を撮像可能な少なくとも1つの撮像装置(11)から、撮像結果を取得する取得装置(25)と、前記撮像装置の撮像結果に応じて、前記撮像装置の撮像範囲外に設けられた音声装置(12,13)を制御する制御装置(25)と、を備えた電子機器である。 The electronic apparatus according to the present invention includes an acquisition device (25) that acquires an imaging result from at least one imaging device (11) that can capture an image including the subject, and the imaging according to the imaging result of the imaging device. And a control device (25) that controls the sound device (12, 13) provided outside the imaging range of the device.
この場合において、前記少なくとも1つの撮像装置の撮像結果に基づいて前記対象者の移動情報を検出する検出装置(25)を備え、前記制御装置は、前記検出装置の検出結果に基づいて前記音声装置を制御することができる。また、この場合、前記制御装置は、前記検出装置が検出した前記移動情報に基づいて前記対象者が所定領域外に移動すると判断したとき、又は所定領域外に移動したと判断したときに、前記音声装置を制御して前記対象者に対する警告を行うことができる。 In this case, a detection device (25) that detects movement information of the subject based on an imaging result of the at least one imaging device is provided, and the control device is configured to detect the audio device based on the detection result of the detection device. Can be controlled. In this case, when the control device determines that the subject moves outside the predetermined region based on the movement information detected by the detection device, or when the control device determines that the subject has moved outside the predetermined region, The voice device can be controlled to give a warning to the subject.
本発明の電子機器では、前記制御装置は、前記少なくとも1つの撮像装置が前記対象者とは異なる人を撮像した際に、前記音声装置を制御することができる。また、前記音声装置は、指向性スピーカを有することができる。また、前記音声装置の位置及び/又は姿勢を調節する駆動制御装置(25)を備えることができる。この場合、前記駆動制御装置は、前記対象者の移動に応じて前記音声装置の位置及び/又は姿勢を調節することとしてもよい。 In the electronic apparatus according to the aspect of the invention, the control device can control the audio device when the at least one imaging device images a person different from the subject. The audio device may have a directional speaker. Moreover, the drive control apparatus (25) which adjusts the position and / or attitude | position of the said audio | voice apparatus can be provided. In this case, the drive control device may adjust the position and / or posture of the audio device according to the movement of the subject.
本発明の電子機器では、前記少なくとも1つの撮像装置は、第1の撮像装置と第2の撮像装置とを含み、前記第1の撮像装置の撮像範囲の一部と、前記第2の撮像装置の撮像範囲の一部とが重複するように前記第1、第2撮像装置が配置されていることとしてもよい。 In the electronic apparatus according to the aspect of the invention, the at least one imaging device includes a first imaging device and a second imaging device, a part of an imaging range of the first imaging device, and the second imaging device. The first and second imaging devices may be arranged so as to overlap a part of the imaging range.
また、前記音声装置は、前記第1の撮像装置の撮像範囲に設けられた第1音声装置と、前記第2の撮像装置の撮像範囲に設けられた第2音声装置と、を含み、前記制御装置は、前記第1音声装置が前記対象者の後ろ側に位置した場合に、前記第2音声装置を制御することとしてもよい。この場合、前記音声装置は、前記第1の撮像装置の撮像範囲に設けられた第1マイクと第1スピーカとを有する第1音声装置と、前記第2の撮像装置の撮像範囲に設けられた第2スピーカを備えた第2音声装置と、を含み、前記制御装置は、前記第1の撮像装置が前記対象者と、当該対象者とは異なる人を撮像した際に、前記第2スピーカを制御することとしてもよい。また、前記制御装置は、前記第1の撮像装置が前記対象者を撮像した際に、前記第1マイクを制御して前記対象者の音声を集音することとしてもよい。 The audio device includes a first audio device provided in an imaging range of the first imaging device and a second audio device provided in an imaging range of the second imaging device, and the control The device may control the second audio device when the first audio device is located behind the subject. In this case, the audio device is provided in a first audio device having a first microphone and a first speaker provided in an imaging range of the first imaging device, and in an imaging range of the second imaging device. A second audio device including a second speaker, wherein the control device controls the second speaker when the first imaging device images the target person and a person different from the target person. It is good also as controlling. The control device may control the first microphone to collect the subject's voice when the first imaging device images the subject.
本発明の電子機器では、前記撮像装置の撮像結果を用いて前記対象者を追尾する追尾装置(25)を備え、前記追尾装置は、前記撮像装置を用いて前記対象者の特定部分の画像を取得して当該特定部分の画像をテンプレートとし、前記対象者を追尾する場合には、前記テンプレートを用いて前記対象者の特定部分を特定するとともに、当該特定された前記対象者の特定部分の新たな画像で、前記テンプレートを更新することができる。 The electronic apparatus of the present invention includes a tracking device (25) that tracks the target person using the imaging result of the imaging device, and the tracking device uses the imaging device to capture an image of a specific portion of the target person. When acquiring and tracking the target person using the image of the specific part as a template, the specific part of the target person is specified using the template, and a new specific part of the specified target person is specified. The template can be updated with a simple image.
この場合において、前記撮像装置は、第1の撮像装置と、当該第1の撮像装置の撮像範囲の一部と重複する撮像範囲を有する第2の撮像装置と、を含み、前記追尾装置は、前記第1の撮像装置と前記第2の撮像装置が前記対象者を同時に撮像できるときに、一方の撮像装置により撮像される前記対象者の特定部分の位置情報を取得するとともに、他方の撮像装置により撮像される画像のうち、前記特定部分の位置情報に対応する領域を特定し、当該特定された領域の画像を他方の撮像装置の前記テンプレートとすることとしてもよい。また、前記追尾装置は、前記特定部分の大きさ情報が所定量以上変動した場合に、前記対象者の異常を判定することとしてもよい。 In this case, the imaging device includes a first imaging device and a second imaging device having an imaging range that overlaps a part of the imaging range of the first imaging device, and the tracking device includes: When the first imaging device and the second imaging device can simultaneously image the subject, the position information of the specific portion of the subject imaged by one imaging device is acquired and the other imaging device It is also possible to identify an area corresponding to the position information of the specific part from the image captured by, and use the image of the identified area as the template of the other imaging apparatus. Further, the tracking device may determine the abnormality of the target person when the size information of the specific portion fluctuates by a predetermined amount or more.
本発明の情報伝達システムは、対象者を含む画像を撮像可能な少なくとも1つの撮像装置(11)と、前記撮像装置の撮像範囲外に設けられた音声装置(12,13)と、本発明の電子機器(20)と、を備える情報伝達システム(100)である。 The information transmission system of the present invention includes at least one imaging device (11) capable of capturing an image including a subject, an audio device (12, 13) provided outside the imaging range of the imaging device, An information transmission system (100) comprising an electronic device (20).
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。 In addition, in order to explain the present invention in an easy-to-understand manner, the above description has been made in association with the reference numerals of the drawings representing one embodiment. However, the present invention is not limited to this, and the configuration of an embodiment described later is provided. May be modified as appropriate, or at least a part thereof may be replaced with another component. Further, the configuration requirements that are not particularly limited with respect to the arrangement are not limited to the arrangement disclosed in the embodiment, and can be arranged at a position where the function can be achieved.
本発明の電子機器及び情報伝達システムは、適切な音声装置の制御ができるという効果を奏する。 The electronic device and the information transmission system of the present invention have an effect that an appropriate audio device can be controlled.
以下、一実施形態に係る案内システムについて、図1〜図17に基づいて、詳細に説明する。図1には、案内システム100の構成がブロック図にて示されている。なお、案内システム100は、オフィス、商業施設、空港、駅、病院、美術館などに設置可能なものであるが、本実施形態では、案内システム100が、オフィスに設置される場合を例に採り説明する。
Hereinafter, a guidance system according to an embodiment will be described in detail with reference to FIGS. FIG. 1 is a block diagram showing the configuration of the
案内システム100は、図1に示すように、複数の案内部10a、10b…と、カードリーダ88と、本体部20と、を備える。なお、図1では2つの案内部10a、10bを図示しているが、その数は設置場所に応じて設定することができる。例えば、図16では、通路に4つの案内部10a〜10dが設置された状態を図示している。なお、各案内部10a,10b…は同一の構成を有しているものとする。また、以下において、案内部10a,10b…のうち任意の案内部を示す場合には、案内部10と表記するものとする。
As shown in FIG. 1, the
案内部10は、撮像装置11と、指向性マイク12と、指向性スピーカ13と、駆動装置14と、を有する。
The
撮像装置11は、オフィスの天井に設けられ、主としてオフィス内にいる人の頭を撮像するものである。本実施の形態において、オフィスの天井の高さは2.6mとする。すなわち、撮像装置11は、2.6mの高さから人の頭などを撮像する。
The
撮像装置11は、図2に示すように、3群構成の広角レンズ系32と、ローパスフィルタ34と、CCD又はCMOSなどからなる撮像素子36と、撮像素子を駆動制御する回路基板38と、を有する。なお、図2では不図示であるが、広角レンズ系32とローパスフィルタ34との間には、不図示のメカシャッターが設けられているものとする。
As shown in FIG. 2, the
広角レンズ系32は、2枚の負メニスカスレンズを有する第1群32aと、正レンズ、接合レンズ、及び赤外カットフィルタを有する第2群32bと、2枚の接合レンズを有する第3群32cと、を有しており、第2群32bと第3群32cとの間に絞り33が配置されている。本実施形態の広角レンズ系32は、系全体の焦点距離が6.188mm、最大画角が80°となっている。なお、広角レンズ系32は、3群構成に限定されるものでもない。すなわち、例えば、各群のレンズ枚数やレンズ構成、並びに焦点距離や画角は、適宜変更することが可能である。
The wide-
撮像素子36は、一例として、23.7mm×15.9mmの大きさで、画素数が4000×3000(1200万画素)であるものとする。すなわち、1画素の大きさは、5.3μmである。ただし、撮像素子36としては、上記と異なるサイズ及び画素数の撮像素子を用いてもよい。
As an example, the
上記のように構成される撮像装置11では、広角レンズ系32に入射した光束はローパスフィルタ34を介して撮像素子36に入射し、回路基板38が撮像素子36の出力をデジタル信号に変換する。そして、ASIC(Application Specific Integrated Circuit)を含む画像処理制御部(不図示)が、デジタル信号に変換された画像信号に対してホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を施すとともに、JPEGなどの画像圧縮をする。また、画像処理制御部は、JPEG圧縮された静止画像を本体部20の制御部25(図5参照)に送信する。
In the
なお、撮像装置11の撮像領域は、隣接する案内部10に含まれる撮像装置11の撮像領域と重複(オーバラップ)している(図10の撮像領域P1〜P4参照)。なお、この点については、後に詳述する。
Note that the imaging region of the
指向性マイク12は、特定の方向(例えば前面方向)から入射する音声を高感度に集音するものであり、超指向性ダイナミック型マイクロホンや超指向性コンデンサ型マイクロホン等を用いることができる。
The
指向性スピーカ13は、超音波トランスデューサを備えており、限られた方向のみに音声を伝達するスピーカである。
The
駆動装置14は、指向性マイク12と指向性スピーカ13とを一体的に、又は別々に駆動する。
The driving
本実施形態では、図3に示すように、指向性マイク12、指向性スピーカ13、及び駆動装置14は、一体型の音声ユニット50に設けられるものとする。具体的には、音声ユニット50は、指向性マイク12及び指向性スピーカ13を保持するユニット本体16と、ユニット本体16を保持する保持部17と、を有する。保持部17は、水平方向(図3ではX軸方向)に延びる回転軸15bにて、ユニット本体16を回転自在に保持する。保持部17には、駆動装置14を構成するモータ14bが設けられており、ユニット本体16(すなわち、指向性マイク12及び指向性スピーカ13)は、モータ14bの回転力により、パン方向(水平方向の首振り)に駆動される。また、保持部17には、鉛直方向(Z軸方向)に延びる回転軸15aが設けられており、回転軸15aは、駆動装置14を構成するモータ14a(オフィスの天井部に固定される)により回転される。これにより、ユニット本体16(すなわち、指向性マイク12及び指向性スピーカ13)は、チルト方向(垂直方向(Z軸方向)の首振り)に駆動される。なお、モータ14a、14bとしては、DCモータ、ボイスコイルモータ、リニアモータなどを用いることができる。
In the present embodiment, as shown in FIG. 3, the
なお、モータ14aは、指向性マイク12及び指向性スピーカ13が真下を向いた状態(−90°)から時計回り方向と反時計回り方向にそれぞれ60°〜80°程度の範囲内で、指向性マイク12及び指向性スピーカ13を駆動することができるものとする。駆動範囲をこのような範囲とするのは、音声ユニット50をオフィスの天井部に設けた場合、人の頭が音声ユニット50の真下に存在することはあっても、音声ユニット50の真横に存在することは想定されないためである。
The motor 14a has a directivity within a range of about 60 ° to 80 ° in the clockwise direction and the counterclockwise direction from the state where the
なお、本実施形態では、音声ユニット50と図1の撮像装置11とを別体としているが、これに限らず、案内部10の全てをユニット化して天井部に設けるようにしてもよい。
In the present embodiment, the
図1に戻り、カードリーダ88は、例えばオフィス入り口に設けられ、オフィス内に入ることが許可されている人が保有するIDカードを読み取る装置である。
Returning to FIG. 1, the
本体部20は、案内部10a,10b…やカードリーダ88から入力される情報(データ)を処理するとともに、案内部10a,10b…及びカードリーダ88を統括的に制御するものである。図4には、本体部20のハードウェア構成図が示されている。図4に示すように、本体部20は、CPU90、ROM92、RAM94、記憶部(ここではHDD(Hard Disk Drive)96aやフラッシュメモリ96b)、インタフェース部97等を備えている。本体部20の構成各部は、バス98に接続されている。インタフェース部97は、案内部10の撮像装置11や駆動装置14などと接続するためのインタフェースである。インタフェースとしては、無線/有線LAN、USB、HDMI、Bluetooth(登録商標)などの様々な接続規格を採用することができる。
The
本体部20では、ROM92あるいはHDD96aに格納されているプログラムをCPU90が実行することにより、図5の各部の機能が実現される。すなわち、本体部20では、CPU90がプログラムを実行することにより、図5に示す、音声認識部22、音声合成部23、制御部25としての機能が実現される。なお、図5では、図4のフラッシュメモリ96bにより実現される格納部24についても図示している。
In the
音声認識部22は、指向性マイク12が集音した音声の特徴量に基づいて音声認識をするものである。音声認識部22は、音響モデルおよび辞書機能を有し、この音響モデルと辞書機能とを用いて音声認識を行う。音響モデルは、音声認識する音声言語の音素や音節などの音響的な特徴を記憶するものである。また、辞書機能は、認識対象の各単語について、その発音に関する音韻情報を記憶している。なお、音声認識部22は、市販の音声認識ソフト(プログラム)をCPU90が実行することで、実現してもよい。なお、音声認識技術については、例えば、日本特許第4587015号(特開2004−325560号公報)に記載されている。
The
音声合成部23は、指向性スピーカ13により発する(出力する)音声を合成するものである。音声合成は、音韻の音声素片を生成して、この音声素片を接続することにより行うことができる。音声合成の原理は、子音をC(Consonant)、母音をV(Vowel)で表すとCV、CVC,VCVなどの基本となる小さな単位の特徴パラメータや音声素片を記憶し、ピッチや継続時間長を制御して接続して音声を合成するというものである。なお、音声合成技術については、例えば、日本特許第3727885号(特開2003−223180号公報)に記載されている。
The
制御部25は、本体部20の制御に加えて、案内システム100全体を制御するものである。例えば、制御部25は、撮像装置11の画像処理制御部から送信されてきたJPEG圧縮された静止画像を格納部24に格納する。また、制御部25は、格納部24に格納された画像に基づいて、複数の指向性スピーカ13のうちどの指向性スピーカ13を用いてオフィス内の特定の人(対象者)への案内を行うかを制御する。
The
また、制御部25は、隣接する案内部10との距離に応じて、少なくとも隣接する案内部10と集音範囲、音声出力範囲がオーバラップするように指向性マイク12と指向性スピーカ13の駆動を制御する。また、制御部25は、撮像装置11の撮像範囲よりも広い範囲で音声案内ができるように指向性マイク12と指向性スピーカ13とを駆動するとともに、指向性マイク12の感度と、指向性スピーカ13の音量とを設定する。これは、対象者を撮像していない撮像装置を有する案内部10の指向性マイク12と指向性スピーカ13とを用いて対象者を音声案内する場合があるからである。
Further, the
また、制御部25は、カードリーダ88で読み取られたIDカードのカード情報を取得し、格納部24に格納されている従業員情報等に基づいて、カードリーダ88にIDカードをかざした人物を特定する。
In addition, the
格納部24は、撮像装置11の光学系のディストーションの影響による検出誤差を補正する補正テーブル(後述)や、従業員情報、撮像装置11が撮像した画像などを記憶する。
The
次に、撮像装置11による対象者の頭部分の撮像について、詳細に説明する。図6(a)には、広角レンズ系32の前側焦点から撮像した人(対象者)の頭までの距離と、像(頭部分)の大きさとの関係がグラフにて示され、図6(b)には、図6(a)のグラフを床からの高さに変換したグラフが示されている。
Next, imaging of the head portion of the subject by the
ここで、前述のように広角レンズ系32の焦点距離が6.188mmであり、対象者の頭の直径が200mmであるとすると、広角レンズ系32の前側焦点から対象者の頭の位置までの距離が1000mmの場合(すなわち、身長1m60cmの人が直立している場合)には、撮像装置11の撮像素子36に結像する対象者の頭の直径は1.238mmである。これに対し、対象者の頭の位置が300mm下がって広角レンズ系32の前側焦点から対象者の頭の位置までの距離が1300mmになった場合には、撮像装置11の撮像素子に結像する対象者の頭の直径は0.952mmとなる。すなわち、この場合には、頭の高さが300mm変化することで、0.286mm(23.1%)だけ像の大きさ(直径)が変化する。
Here, as described above, when the focal length of the wide-
同様に、広角レンズ系32の前側焦点から対象者の頭の位置までの距離が2000mmの場合には(対象者が中腰の場合)、撮像装置11の撮像素子36に結像する対象者の頭の直径は0.619mmであり、そこから対象者の頭の位置が300mm下がった場合には、撮像装置11の撮像素子に結像する対象者の頭の像の大きさは0.538mmとなる。すなわち、この場合には、頭の高さが300mm変化することで、0.081mm(13.1%)だけ頭の像の大きさ(直径)が変化する。このように、本実施形態においては、広角レンズ系32の前側焦点から対象者の頭までの距離が離れるにつれて、頭の像の大きさの変化(変化率)が小さくなる。
Similarly, when the distance from the front focal point of the wide-
一般的に、成人であれば身長の差は300mm程度であり、頭の大きさの差は身長の差よりも1桁小さいが、身長差と頭の大きさの差とは所定の関係を満足する傾向にある。このため、標準的な頭の大きさ(例えば直径200mm)と、撮像された対象者の頭の大きさとを比較することにより、対象者の身長を類推することができる。また、一般的に、耳の位置は、頭頂部から150mmから200mm程度下であるので、頭の大きさから対象者の耳の高さ位置も類推することができる。オフィスに入る際には立っている場合が多いので、受付付近に設けられた撮像装置11により頭の像を撮像して対象者の身長や耳の高さ位置を類推すれば、その後は、対象者の頭の像の大きさから広角レンズ系の前側焦点から対象者までの距離がわかるので、対象者の姿勢(立っている、中腰である、倒れている)および姿勢の変化を対象者のプライバシを保った状態で判別することができる。なお、対象者が倒れている場合、頭頂部から足先方向に向かって150〜200mm程度のところに耳の位置があると類推することができる。このように、撮像装置11により撮像される頭の位置・大きさを利用することで、例えば耳が髪により隠れていたとしても、耳の位置を類推することが可能となる。
In general, for adults, the difference in height is about 300 mm, and the difference in head size is an order of magnitude smaller than the difference in height, but the difference in height and head size satisfies a predetermined relationship. Tend to. Therefore, the height of the subject can be inferred by comparing the standard head size (for example, 200 mm in diameter) with the size of the head of the subject imaged. In general, since the position of the ear is about 150 mm to 200 mm below the top of the head, the height position of the subject's ear can also be estimated from the size of the head. Since it is often standing when entering the office, if the image of the head is imaged by the
図7は、頭の像の大きさの変化率を示すグラフである。図7では、対象者の頭の位置が、横軸に示す値から100mm変化した場合の、像の大きさの変化率を示している。この図7から分かるように、広角レンズ系32の前側焦点から対象者の頭の位置までの距離が1000mmから100mm遠ざかった場合、像の大きさの変化率が9.1%と大きいので、仮に頭の大きさが同一であっても、身長差が100mm程度あれば、複数の対象者を身長差に基づいて容易に識別することができる。これに対し、広角レンズ系32の前側焦点から対象者の頭の位置までの距離が2000mmから100mm遠ざかった場合、像の大きさの変化率は4.8%となっている。この場合、上述した広角レンズ系32の前側焦点から対象者の頭の位置までの距離が1000mmから100mm遠ざかった場合に比べれば、像の変化率は小さくなるものの、同一の対象者の姿勢の変化程度であれば、容易に識別することができる。
FIG. 7 is a graph showing the change rate of the size of the head image. FIG. 7 shows the rate of change in image size when the position of the subject's head changes 100 mm from the value shown on the horizontal axis. As can be seen from FIG. 7, when the distance from the front focal point of the wide-
このように、本実施形態の撮像装置11の撮像結果を用いれば、対象者の頭の像の大きさから広角レンズ系32の前側焦点から対象者までの距離を検出することができるので、制御部25は、この検出結果を用いることで、対象者の姿勢(直立している、中腰である、倒れている)及び姿勢の変化を判別することができる。この点について、図8(a),図8(b)に基づいて、より詳細に説明する。
Thus, if the imaging result of the
図8(a)、図8(b)は、対象者の姿勢に応じた頭の像の大きさの変化を模式的に示す図である。図8(b)に示すように、撮像装置11を天井部に設けて、対象者の頭を撮像すると、図8(b)の左側の対象者のように直立している場合には、図8(a)に示すように頭が大きく撮像され、図8(b)の右側の対象者のように倒れている場合には、図8(a)に示すように頭が小さく撮像される。また、図8(b)の中央の対象者のように、中腰の状態にある場合には、頭の像は、立っているときよりも小さく、倒れているときよりも大きい。したがって、本実施形態では、制御部25は、撮像装置11から送信されてくる画像に基づいて、対象者の頭の像の大きさを検出することで、対象者の状態を判定することができる。この場合、対象者の頭の像から、対象者の姿勢や姿勢の変化を判別しているので、対象者の顔や体全体などを用いた判別を行う場合と比べて、プライバシを保護することができる。
FIGS. 8A and 8B are diagrams schematically showing changes in the size of the head image in accordance with the posture of the subject. As shown in FIG. 8B, when the
なお、図6(a)、図6(b)及び図7では、広角レンズ系32の画角の低い位置(広角レンズ系32の真下)に、対象者が存在している場合におけるグラフを示している。すなわち、対象者が広角レンズ系32の周辺画角位置に存在している場合には、対象者との見込み角に応じたディストーションの影響を受けるおそれがある。これについて、詳述する。
6A, 6B, and 7 show graphs in the case where the subject is present at a position where the angle of view of the wide-
図9には、対象者の位置に応じた、撮像素子36に撮像される対象者の頭の像の大きさの変化が示されている。なお、撮像素子36の中心は、広角レンズ系32の光軸中心と一致しているものとする。この場合、対象者が直立している場合であっても、撮像装置11の直下に立っている場合と、撮像装置11から離れて立っている場合では、ディストーションの影響を受けて、撮像装置11に撮像される頭の像の大きさが変化する。ここで、図9の位置p1において、頭が撮像された場合、当該撮像結果からは、撮像素子36で撮像された像の大きさ、撮像素子36の中心からの距離L1、撮像素子36の中心からの角度θ1を取得することができる。また、図9の位置P2において、頭が撮像された場合、当該撮像結果からは、撮像素子36で撮像された像の大きさ、撮像素子36の中心からの距離L2、撮像素子36の中心からの角度θ2を取得することができる。なお、距離L1、L2は、広角レンズ系32の前側焦点と、対象者の頭との距離を表すパラメータである。また、撮像素子36の中心からの角度θ1、θ2は、対象者に対する広角レンズ系32の見込み角を表すパラメータである。このような場合において、制御部25では、撮像素子36の中心からの距離L1、L2、撮像素子36の中心からの角度θ1、θ2に基づいて、撮像した像の大きさを補正する。換言すれば、対象者が同じ姿勢のときに、撮像素子36の位置p1に撮像される像の大きさと、位置p2に撮像される像の大きさとが実質的に等しくなるように補正する。このようにすることで、本実施形態では、撮像装置11と対象者との位置関係(対象者までの距離や対象者との見込み角)にかかわらず、対象者の姿勢を精度よく検出することができる。なお、この補正に用いるパラメータ(補正テーブル)は、格納部24に記憶されているものとする。
FIG. 9 shows a change in the size of the image of the head of the subject imaged by the
ここで、撮像装置11による撮像間隔は、制御部25が設定するものとする。制御部25は、オフィスに多くの人がいる可能性が高い時間帯と、それ以外の時間帯で、撮影の頻度(フレームレート)を変更することができる。例えば、制御部25は、現在が、オフィスに多くの人がいる可能性が高い時間帯(例えば午前9時から午後6時まで)であると判断した場合には、1秒に1回静止画を撮像(3万2400枚/日)するようにし、それ以外の時間帯と判定した場合には、5秒に1回静止画を撮像(6480枚/日)するようにする、などの設定をすることができる。また、撮像された静止画は、格納部24(フラッシュメモリ96b)に一時的に保存したのち、例えば1日ごとの撮像データをHDD96aに保存し、その後に格納部24から消去するようにすればよい。
Here, the imaging interval by the
なお、静止画に代えて動画の撮影を行ってもよく、この場合、動画を連続して撮影しても、3〜5秒程度の短い動画を間欠的に撮影してもよい。 Note that a moving image may be taken instead of a still image. In this case, the moving image may be taken continuously, or a short moving image of about 3 to 5 seconds may be taken intermittently.
次に、撮像装置11の撮像領域について説明する。
Next, the imaging area of the
図10は、一例として、オフィス内の1つの区画43と、当該区画43内に設けられた撮像装置11の撮像領域と、の関係を模式的に示す図である。なお、図10では、1つの区画43内に4つの撮像装置11(ただし撮像領域P1,P2,P3,P4のみが図示されている)が設けられているものとする。また、1つの区画が256m2(16m×16m)であるものとする。更に、撮像領域P1〜P4それぞれは円形領域であるものとし、X方向及びY方向において隣接する撮像領域と重複(オーバラップ)した状態となっている。なお、図10では、説明の便宜上、1つの区画を4分割した分割部分(撮像領域P1〜P4それぞれに対応)を分割部分A1〜A4として示している。この場合、広角レンズ系32の画角が80°、焦点距離6.188mmとし、天井の高さを2.6m、対象者の身長を1.6mとすると、広角レンズ系32の真下を中心に半径5.67mの円内(約100m2)が撮像領域となる。すなわち、分割部分A1〜A4は64m2となるので、各分割部分A1〜A4を、各撮像装置11の撮像領域P1〜P4に含めることができるとともに、各撮像装置11の撮像領域の一部を重複させることが可能となる。
FIG. 10 is a diagram schematically illustrating, as an example, the relationship between one
図10は物体側から見た撮像領域P1〜P4の重複(オーバラップ)の概念を示したが、撮像領域P1〜P4は広角レンズ系32に光が入射する領域であり、この広角レンズ系32に入射した光の全てが矩形の撮像素子36に入射するものではない。このため、本実施形態においては、隣接する複数の撮像素子36の撮像領域P1〜P4が重複(オーバラップ)するように撮像装置11をオフィスに設置すればよい。具体的には、撮像装置11にその取り付けを調整するような調整部(例えば長穴や、大き目の調整穴、撮像位置を調整するシフト光学系)を設け、それぞれの撮像素子36が撮像した映像を目しで確認しながら重複(オーバラップ)を調整して、それぞれの撮像装置11の取り付け位置を決めるようにすればよい。なお、例えば、図10に示す分割部分A1と撮像素子36の撮像領域とが一致していた場合には、それぞれの撮像装置11にて撮像した画像が重複することなく、ぴったりと合うことになる。しかしながら、複数の撮像装置11をそれぞれ取り付ける際の自由度や、天井の梁などで取り付け高さが異なる場合を考えると、前述のように複数の撮像素子36の撮像領域P1〜P4を重複(オーバラップ)させるのが好ましい。
FIG. 10 shows the concept of overlapping (overlap) of the imaging regions P1 to P4 as viewed from the object side. The imaging regions P1 to P4 are regions where light is incident on the wide-
なお、重複量は、人の頭の大きさに基づいて設定することができる。この場合、例えば、頭の外周を60cmとすれば、重複する領域に直径約20cmの円形が含まれるようにすればよい。なお、頭の一部が重複する領域に含まれればよいという設定の下では、例えば、直径約10cmの円形が含まれるようにすればよい。重複する量をこの程度に設定すれば、撮像装置11を天井に取り付ける際の調整も楽になり、場合によっては調整なしでも複数の撮像装置11の撮像領域を重複させることも可能である。
The overlap amount can be set based on the size of the person's head. In this case, for example, if the outer periphery of the head is 60 cm, a circle having a diameter of about 20 cm may be included in the overlapping region. In addition, under the setting that only a part of the head needs to be included in the overlapping region, for example, a circle having a diameter of about 10 cm may be included. If the overlapping amount is set to this level, the adjustment when the
次に、図11〜図13に基づいて、案内部10(撮像装置11)を用いた対象者の追跡処理について、説明する。図11には、対象者がオフィスに入るときの様子が模式的に示されている。 Next, based on FIGS. 11-13, the tracking process of the subject using the guidance part 10 (imaging device 11) is demonstrated. FIG. 11 schematically shows a state when the subject enters the office.
まず、図11を用いて、対象者がオフィスに入る際の処理について説明する。図11に示すように、対象者がオフィスに入る際には、対象者は、自己が保有するIDカード89をカードリーダ88にかざすものとする。カードリーダ88が取得したカード情報は、制御部25に送信される。制御部25は、取得したカード情報と、格納部24に記憶されている従業員情報とに基づいて、IDカード89をかざした対象者を特定する。なお、対象者が、従業員以外の場合、総合受付や守衛所等で渡されるゲストカードをかざすことになるため、当該対象者はゲストと特定されることになる。
First, the processing when the subject enters the office will be described with reference to FIG. As shown in FIG. 11, when the subject enters the office, the subject holds the
上記のように対象者が特定された時点から、制御部25は、カードリーダ88の上方に設けられた案内部10の撮像装置11を用いた、対象者の頭の撮像を行う。そして、制御部25は、撮像装置11で撮像された画像の中から、頭と想定される画像部分を基準テンプレートとして切り出し、格納部24に登録する。
From the point in time when the target person is specified as described above, the
なお、撮像装置11で撮像された画像の中から、頭と想定される画像部分を抽出する方法としては、例えば、
(1)複数の対象者の頭の画像のテンプレートを予め登録しておき、これらの画像を用いたパターンマッチングにより頭部分を抽出する方法
(2)想定される大きさの円形状の部分を頭部分として抽出する方法
などがある。
In addition, as a method of extracting the image part assumed to be a head from the image imaged with the
(1) A method of previously registering a template of a head image of a plurality of subjects and extracting a head portion by pattern matching using these images. (2) A circular portion having an assumed size is headed. There is a method of extracting as a part.
なお、上記頭部分の抽出の前に、カードリーダの近傍に設置されたカメラを用いて対象者を正面から撮像し、撮像装置11の撮像領域のどの辺りで頭が撮像されるかを予測しておいてもよい。この場合、カメラの画像の顔認証結果から、対象者の頭の位置を予測してもよいし、カメラとして例えばステレオカメラを用いることで、対象者の頭の位置を予測してもよい。このようにすることで、頭部分の抽出を高精度に行うことができるようになる。
Prior to the extraction of the head part, the subject is imaged from the front using a camera installed in the vicinity of the card reader, and it is predicted where the head is imaged in the imaging area of the
ここで、対象者の身長は予め格納部24に登録されているものとし、制御部25は、身長と、基準テンプレートとを関連付けるものとする。なお、対象者がゲストの場合には、前述した対象者を正面から撮像するカメラ等により、身長を計測し、当該身長と、基準テンプレートを関連付けるものとする。
Here, it is assumed that the height of the subject is registered in the
また、制御部25は、基準テンプレートの倍率を変更したテンプレート(合成テンプレート)を作成して、格納部24に格納するものとする。この場合、制御部25は、合成テンプレートとして、頭の高さが例えば10cm単位で変化した場合に撮像装置11で撮像される頭の大きさのテンプレートを作成するものとする。この合成テンプレートの作成に際して、制御部25は、撮像装置11の光学特性と基準テンプレートを取得したときの撮像位置との関係を考慮するものとする。
Further, the
次に、図12を用いて、オフィス内に入った直後の単一の撮像装置11による追跡処理について説明する。対象者がオフィス内に入った後は、制御部25は、図12に示すように、撮像装置11による画像の連続取得を開始する。そして、制御部25は、連続取得される画像と、基準テンプレート(又は合成テンプレート)とのパターンマッチングを行って、スコア値が所定の基準値よりも高い部分(頭部分)を抽出し、当該抽出された部分から、対象者の位置(高さ位置及び床面内の2次元位置)を求める。この場合、図12の画像αが取得された時点で、スコア値が所定の基準値よりも高くなったものとする。したがって、制御部25は、図12の画像αの位置を対象者の位置とするとともに、画像αを新たな基準テンプレートとし、かつ新たな基準テンプレートの合成テンプレートを作成する。
Next, the tracking process by the
その後は、制御部25は、新たな基準テンプレート(又は合成テンプレート)を用いて、対象者の頭を追跡し、対象者の位置が変わるたびに、そのときに得られた画像(例えば、図12の画像β)を新たな基準テンプレートとするとともに、合成テンプレートを作成する(基準テンプレート及び合成テンプレートを更新する)。なお、上記のように追跡しているときに、頭の大きさが突然小さくなる場合がある。すなわち、パターンマッチングに用いる合成テンプレートの倍率が大きく変動する場合がある。このような場合には、制御部25は、対象者が倒れるなどの異常が発生したと判断することとしてもよい。
Thereafter, the
次に、図13に基づいて、2つの撮像装置11間のつなぎ処理(基準テンプレート及び合成テンプレートの変更処理)について説明する。 Next, based on FIG. 13, a connection process between the two imaging devices 11 (a process for changing the reference template and the combined template) will be described.
前提として、図13に示すように対象者が2つの撮像装置11の間(前述した撮像領域の重複部分)に位置している場合において、制御部25は、一方の(左側の)撮像装置11で、対象者の頭の位置を検出しているとする。このときの基準テンプレートが図13の画像βであるとする。この場合、制御部25は、当該対象者の頭の位置に基づいて、他方の(右側の)撮像装置11の撮像領域のどの位置で頭が撮像されるかを算出する。そして、制御部25は、他方の(右側の)撮像装置11の撮像領域のうち、頭が撮像されるべき位置の画像(図13の画像γ)を、新たな基準テンプレートとするとともに、合成テンプレートを生成する。そして、これ以降の右側の撮像装置11を用いた追跡処理では、基準テンプレート(画像γ)を更新しながら、図12のような追跡処理を行うこととする。
As a premise, when the subject is located between the two imaging devices 11 (overlapping portions of the imaging regions described above) as shown in FIG. 13, the
以上のような処理を行うことで、基準テンプレートを随時更新することによる、オフィス内における対象者の追跡処理を行うことが可能である。 By performing the processing as described above, it is possible to perform tracking processing of the target person in the office by updating the reference template as needed.
次に、図10の1つの区画43内において4人の対象者(対象者A,B,C,Dとする)が移動する場合の追跡処理について、図14、図15に基づいて説明する。なお、追跡処理の間は、制御部25は、図12,図13のように基準テンプレートを随時更新する。
Next, a tracking process when four subjects (subjects A, B, C, and D) move within one
図14(a)には、時刻T1における状態が示されている。なお、図14(b)〜図15(c)には、時刻T1以降(時刻T2〜T5)における状態が示されている。 FIG. 14A shows the state at time T1. 14B to 15C show states after time T1 (time T2 to T5).
時刻T1においては、分割部分A1に対象者C、分割部分A3に対象者A,Bが存在している。この場合、撮像領域P1を有する撮像装置11が対象者Cの頭を撮像し、撮像領域P3を有する撮像装置11が対象者A,Bの頭を撮像している。
At time T1, the subject person C exists in the divided portion A1, and the subjects A and B exist in the divided portion A3. In this case, the
次いで、時刻T2においては、撮像領域P1を有する撮像装置11が対象者B,Cの頭を撮像し、撮像領域P3を有する撮像装置11が対象者A,Bの頭を撮像している。
Next, at time T2, the
この場合、制御部25は、時刻T1、T2における各撮像装置11の撮像結果から、対象者A、Cが、図14(b)の左右方向に移動し、対象者Bが図14(b)の上下方向に移動していることを認識する。なお、対象者Bが時刻T2において2つの撮像装置11に撮像されているのは、対象者Bが2つの撮像装置11の撮像領域が重複する部分に存在しているからである。この図14(b)の状態では、制御部25は、対象者Bについて、図13のつなぎ処理(基準テンプレート及び合成テンプレートの2つの撮像装置11間での変更処理)を行う。
In this case, the
次いで、時刻T3においては、撮像領域P1を有する撮像装置11が対象者B,Cの頭を撮像し、撮像領域P2を有する撮像装置11が対象者Cの頭を撮像し、撮像領域P3を有する撮像装置11が対象者Aの頭を撮像し、撮像領域P4を有する撮像装置11が対象者A,Dの頭を撮像している。
Next, at time T3, the
この場合、制御部25は、時刻T3(図15(a))において、対象者Aが分割部分A3と分割部分A4との境界にいる(分割部分A3から分割部分A4に移動中である)ことを認識し、対象者Bが分割部分A1にいることを認識し、対象者Cが分割部分A1と分割部分A2との境界にいる(分割部分A1からA2に移動中である)ことを認識し、対象者Dが分割部分A4にいることを認識する。この図15(a)の状態では、制御部25は、対象者AとCについて、図13のつなぎ処理(基準テンプレート及び合成テンプレートの2つの撮像装置11間での変更処理)を行う。
In this case, the
同様に、制御部25は、時刻T4(図15(b))において、対象者Aが分割部分A4、対象者Bが分割部分A1、対象者Cが分割部分A2、対象者Dが分割部分A2とA4の間にいることを認識する。この図15(b)の状態では、制御部25は、対象者Dについて、図13のつなぎ処理(基準テンプレート及び合成テンプレートの2つの撮像装置11間での変更処理)を行う。また、制御部25は、時刻T5(図15(c))において、対象者Aが分割部分A4、対象者Bが分割部分A1、対象者Cが分割部分A2、対象者Dが分割部分A2にいることを認識する。
Similarly, at time T4 (FIG. 15B), the
本実施形態では、上述のように複数の撮像装置11の撮像領域の一部を重複させているので、制御部25は、対象者の位置および移動方向を認識することができる。このように、本実施形態では、制御部25は、オフィス内において各対象者を継続的に高精度に追跡することが可能となっている。
In the present embodiment, as described above, since a part of the imaging regions of the plurality of
次に、図16に基づいて、制御部25による指向性スピーカ13の制御方法について説明する。なお、図16では、案内部10が通路(廊下)に沿って配置された場合について図示しており、一点鎖線で示す領域は、各案内部10が有する撮像装置11の撮像範囲を意味するものとする。なお、図16の場合にも隣接する撮像装置11の撮像範囲は重複しているものとする。
Next, a method for controlling the
本実施形態では、図16に示すように対象者がポジションK1からポジションK4の方向(+X方向)に移動する場合、制御部25は、ポジションK1に対象者が位置していれば、案内部10aの指向性スピーカ13を用いて対象者に対する音声による案内を行う(案内部10aから延びる太実線矢印参照)。
In the present embodiment, when the subject moves in the direction from the position K1 to the position K4 (+ X direction) as shown in FIG. 16, the
一方、制御部25は、ポジションK2に対象者が位置している場合には、対象者を撮像している撮像装置11を有する案内部10aではなく(案内部10aから延びる太破線矢印参照)、対象者を撮像していない撮像装置11を有する案内部10bの指向性スピーカ13を用いて対象者に対する音声による案内を行う(案内部10bから延びる太実線矢印参照)。
On the other hand, when the subject is located at the position K2, the
このような指向性スピーカ13の制御を行うこととしているのは、対象者が+X方向に移動している場合に、制御部25が、案内部10aの指向性スピーカ13から音声案内を行うと対象者の耳の後ろ側から音声案内をすることになる一方、制御部25が、案内部10bの指向性スピーカ13の姿勢を制御して音声案内をすれば、対象者の耳の前側から音声案内を行うことができるからである。すなわち、対象者が+X方向に移動している場合は、対象者よりも+X方向に位置している指向性スピーカ13を選択することにより、対象者の顔の正面から音声案内をすることができる。なお、制御部25は、対象者の横から音声案内を行うように指向性スピーカ13を選択するようにしてもよい。すなわち、制御部25は、対象者の耳の後方からの音声案内を避けるように指向性スピーカ13を選択すればよい。
The control of the
また、制御部25は、ポジションK4に対象者が位置している場合には案内部10dの指向性スピーカ13を用いて対象者に音声案内を行うこととする。このような指向性スピーカ13の制御を行うこととしているのは、ポジションK4において案内部10cの指向性スピーカ13を用いて対象者に音声案内をした場合(案内部10cから延びる太破線矢印参照)、対象者の近くにいる他人に音声案内を聞かれてしまうおそれがあるからである。
Further, when the subject is located at position K4, the
本実施形態では、制御部25は、上記のようにして、少なくとも1つの撮像装置11の撮像結果に基づいて他人に音声案内を聞かれる恐れのない指向性スピーカ13を選択する。なお、ポジションK4のように、他人が近くにいる場合であっても、対象者が指向性マイク12を介して問い合わせを行う場合も想定される。このような場合には、対象者を撮像している案内部10cの指向性マイク12(対象者に最も近い位置に存在する指向性マイク12)を用いて対象者が発する言葉を集音すればよい。ただし、これに限らず、制御部25は、対象者の口の前側に位置する指向性マイク12を用いて対象者が発する言葉を集音することとしてもよい。
In the present embodiment, as described above, the
なお、各案内部10は、必要に応じて駆動を開始(電源を投入)すればよい。例えば、案内部10aが外来者を撮像して、図16上で+X側に移動していることがわかった段階で、案内部10aに隣接する案内部10bを駆動するようにしてもよい。この場合、案内部10aの撮像装置11の撮像範囲と案内部10bの撮像装置11の撮像範囲との重複部分に外来者が来る前に、案内部10bが駆動を開始していればよい。また、案内部10aは、外来者を撮像できなくなった時点で電源を落としたり、あるいは、省エネルギーモード(スタンバイモード)に入るようにすればよい。
In addition, what is necessary is just to start a drive (turning on a power supply) each
なお、図2に示す音声ユニット50において、ユニット本体16をX軸方向やY軸方向に駆動可能とする駆動機構を設けることとしてもよい。この場合、駆動機構を介して、対象者の前側(もしくは横側)から音声を出力できるように指向性スピーカ13の位置を変更したり、他人に音声を聞かれない位置に指向性スピーカ13の位置を変更したりすれば、指向性スピーカ13(音声ユニット50)の数を減らせることができる。
In the
なお、図16では一軸方向(X軸方向)に沿って配置された案内部10を図示したが、これに加えて、Y軸方向に沿って案内部10を配置しても、同様の制御をすることができる。
In addition, although the
次に、本実施形態の案内システム100の処理・動作について、図17に基づいて詳細に説明する。図17は、制御部25による対象者に対する案内処理を示すフローチャートである。本実施形態では、オフィスに外来者(対象者)が来た場合の案内処理を例に採り説明する。
Next, processing and operation of the
図17の処理では、まず、ステップS10において、制御部25は、受付処理を行う。具体的には、制御部25は、外来者が受付(図11参照)に来た際に受付付近の天井に設けられた案内部10の撮像装置11により外来者の頭の像を撮像し、基準テンプレートと合成テンプレートを生成する。また、制御部25は、事前に登録された情報から外来者の入出が許可されているエリアを認識するとともに、受付付近の案内部10の指向性スピーカ13から、打合せの場所を通知する。この場合、制御部25は、例えば“担当の○○は第5応接室でお待ちしていますので、廊下をお進みください”というような音声案内を、音声合成部23で音声合成させ、当該音声を指向性スピーカ13から出力する。
In the process of FIG. 17, first, in step S10, the
次いで、ステップS12では、制御部25は、図12〜図15を用いて説明したように、複数の案内部10の撮像装置11を用いて外来者の頭を撮像することにより、外来者の追尾を行う。この場合、基準テンプレートは随時更新され、合成テンプレートも随時作成される。
Next, in step S12, as described with reference to FIGS. 12 to 15, the
次いで、ステップS14では、制御部25は、外来者が受付を出たか否かを判断する。ここでの判断が肯定された場合には、図17の全処理を終了するが、判断が否定された場合には、ステップS16に移行する。
Next, in step S14, the
次いで、ステップS16では、外来者に対する案内が必要かどうかを判断する。この場合、制御部25は、例えば、外来者が第5応接室に行く間に存在している分岐路(外来者が右に進む必要がある位置など)に近づいてきた場合に、外来者に対する案内が必要と判断する。また、制御部25は、例えば、外来者が案内部10の指向性マイク12に向けて“トイレはどこですか”などの質問をした場合に案内が必要と判断する。また、制御部25は、例えば、外来者が所定時間(例えば3秒から10秒程度)立ち止まってしまった場合にも案内が必要と判断する。
Next, in step S16, it is determined whether or not guidance for an outpatient is necessary. In this case, for example, when the visitor approaches a branching path (such as a position where the visitor needs to go to the right) existing while the visitor goes to the fifth reception room, Judge that guidance is necessary. For example, the
次いで、ステップS18では、制御部25は、案内が必要か否かを判断する。このステップS18での判断が否定された場合には、ステップS14に戻るが、ステップS18の判断が肯定された場合には、ステップS20に移行する。
Next, in step S18, the
ステップS20に移行すると、制御部25は、撮像装置11の撮像結果に基づいて外来者の進行方向を確認するとともに、耳の位置(顔の正面の位置)を類推する。耳の位置は、受付において特定された人物(対象者)に関連付けられている身長から類推することができる。また、対象者に対して身長が関連付けられていない場合には、受付で撮像された頭の大きさや、受付で正面から撮像された対象者の画像などから求められる身長に基づいて、耳の位置を類推してもよい。
If transfering it to step S20, the
次いで、ステップS22では、制御部25は、外来者の位置に基づいて、音声を出力する指向性スピーカ13を選択する。この場合、制御部25は、図16で説明したように、対象者の耳の前側又は横側、かつ対象者の近くにいる他人に音声案内を聞かれるおそれが無い方向に位置する指向性スピーカ13を選択する。
Next, in step S22, the
次いで、ステップS24では、制御部25は、駆動装置14により指向性マイク12および指向性スピーカ13の位置を調節するとともに、指向性スピーカ13の音量(出力)を設定する。この場合、制御部25は、案内部10aの撮像装置11の撮像結果に基づいて外来者と案内部10bの指向性スピーカ13との距離を検出し、検出された距離に基づいて指向性スピーカ13の音量を設定するものとする。また、制御部25は、撮像装置11の撮像結果に基づいて外来者が直進していると判断した場合には、モータ14a(図3参照)により指向性マイク12および指向性スピーカ13のチルト方向の位置調節を行う。更に、制御部25は、撮像装置11の撮像結果に基づいて外来者が廊下を曲がったと判断した場合には、モータ14b(図3参照)により指向性マイク12および指向性スピーカ13のパン方向の位置調節を行う。
Next, in step S <b> 24, the
次いで、ステップS26では、制御部25は、ステップS24の調節状態で、外来者に対して、案内又は警告を実施する。具体的には、例えば、外来者が右に曲がるべき分岐路に差し掛かった場合には、“右に曲がってください”などの音声案内を行う。また、例えば、外来者が“トイレはどこですか”などの音声を発していた場合には、制御部25は、音声認識部22に、指向性マイク12から入力した音声を認識させ、外来者が入出を許可されているエリアの中から最も近いトイレの位置を案内する音声を、音声合成部23に合成させる。そして、制御部25は、音声合成部23にて合成された音声を指向性スピーカ13から出力する。また、例えば、外来者の侵入が許可されていないエリア(セキュリティエリア)に外来者が入ってしまった場合(又は入りそうな場合)には、制御部25は、指向性スピーカ13により、“このエリアへの立ち入りはご遠慮下さい”などの音声案内(警告)を行う。本実施形態では、指向性スピーカ13を採用しているので、当該指向性スピーカ13を用いた音声案内を行うことにより、音声案内が必要な人だけに適切に音声案内を行うことができる。
Next, in step S26, the
上記のようにステップS26の処理が終了した後は、ステップS14に戻り、以降の処理は、外来者が受付を出るまで継続して行われることになる。これにより、オフィスに外来者が来た場合でも、人が案内する手間を省略することができるとともに、外来者がセキュリティエリア等へ入ってしまうことを防ぐことができる。また、外来者にセンサを持たせる必要がないため、外来者が煩わしさを感じることもない。 After the process of step S26 is completed as described above, the process returns to step S14, and the subsequent processes are continuously performed until the visitor leaves the reception. Thereby, even when a visitor comes to the office, it is possible to omit the time and effort required for the person to guide, and to prevent the visitor from entering the security area or the like. Further, since it is not necessary for the visitor to have a sensor, the visitor does not feel annoyed.
以上、詳細に説明したように、本実施形態によると、制御部25は、対象者を含む画像を撮像可能な少なくとも1つの撮像装置11から、撮像結果を取得し、取得した撮像結果に応じて、撮像装置11の撮像範囲外に設けられた指向性スピーカ13を制御する。これにより、撮像装置11の撮像範囲内に設けられている指向性スピーカ13から音声を出力すると、対象者の耳の後側から音声が発せられて対象者が聞き取りにくくなるような場合でも、撮像範囲外に設けられた指向性スピーカ13から音声を出力することで、対象者は指向性スピーカから発せられる音声を聞き取りやすくなる。また、対象者の近くに他人がいて、他人に音声を聞かれるおそれがあるような場合に、撮像範囲外に設けられた指向性スピーカ13から音声を出力することで、他人に音声を聞かれるのを抑制することができる。すなわち、指向性スピーカ13の適切な制御が可能となる。
As described above in detail, according to the present embodiment, the
また、本実施形態によると、制御部25は、少なくとも1つの撮像装置11の撮像結果に基づいて対象者の移動情報(位置など)を検出し、当該検出結果に基づいて、指向性スピーカ13を制御するので、対象者の移動情報(位置など)に応じた適切な指向性スピーカ13の制御が可能となる。
Further, according to the present embodiment, the
また、本実施形態によると、制御部25は、対象者の移動情報に基づいて前記対象者が所定領域外(セキュリティエリア外)に移動すると判断したとき、又は所定領域外(セキュリティエリア外)に移動したと判断したときに、指向性スピーカ13から対象者に対する警告を行うこととしている。これにより、人手を介さずに、セキュリティエリア外への対象者の侵入を防止することができる。
Further, according to the present embodiment, the
また、本実施形態によると、制御部25は、撮像装置11が対象者とは異なる人を撮像した際に、指向性スピーカ13を制御することとしているので、対象者とは異なる人(他人)により音声が聞かれないように、指向性スピーカを適切に制御することができる。
In addition, according to the present embodiment, the
また、本実施形態によると、駆動装置14は、指向性スピーカ13の位置及び/又は姿勢を調節するので、指向性スピーカ13の音声出力方向を適切な向き(対象者が音声を聞き取りやすい向き)に調整することができる。
Moreover, according to this embodiment, since the
また、本実施形態によると、駆動装置14は、対象者の移動に応じて指向性スピーカ13の位置及び/又は姿勢を調節するので、対象者が移動しても、指向性スピーカ13の音声出力方向を適切な向きに調整することができる。
In addition, according to the present embodiment, the driving
また、本実施形態によると、隣接する撮像装置11の撮像領域が重複するように、隣接する撮像装置11が配置されているので、隣接する撮像装置11の撮像領域を跨いで対象者が移動する場合でも、隣接する撮像装置11を用いて対象者の追跡を行うことが可能となる。
Moreover, according to this embodiment, since the
また、本実施形態によると、制御部25は、撮像装置11で撮像された頭部分の画像を基準テンプレートとし、対象者を追尾する場合には、基準テンプレートを用いて対象者の頭部分を特定するとともに、特定された頭部分の新たな画像で基準テンプレートを更新する。したがって、制御部25は、移動する対象者を基準テンプレートを更新することで、頭の画像が変化する場合でも適切に追尾することが可能である。
Further, according to the present embodiment, the
また、本実施形態によると、制御部25は、複数の撮像装置で対象者を同時に撮像できるときに、一の撮像装置により撮像される対象者の頭部分の位置情報を取得するとともに、他の撮像装置により撮像される画像のうち、頭部分が存在する領域の画像を他の撮像装置の基準テンプレートとする。したがって、一の撮像装置と他の撮像装置とで取得される頭部分の画像が異なる場合(例えば後頭部の画像βと前頭部の画像γの場合)でも、上記のように基準テンプレートを決定することで、複数の撮像装置を用いた対象者の追尾を適切に行うことが可能となる。
In addition, according to the present embodiment, the
また、本実施形態によると、制御部25は、頭部分の大きさ情報が所定量以上変動した場合に、対象者の異常を判定するので、プライバシを保護した状態で、対象者の異常を発見することができる。
In addition, according to the present embodiment, the
また、本実施形態によると、制御部25は、対象者を含む画像を撮像可能な撮像装置11の撮像結果を取得し、取得した撮像結果から対象者の大きさ情報(耳の位置や身長、撮像装置11からの距離など)を検出した結果に基づいて、指向性スピーカ13の位置及び/又は姿勢を調節するので、指向性スピーカ13の位置や姿勢を適切に調整することができる。これにより、指向性スピーカ13から対象者に対して出力される音声を聞き取りやすくすることができる。
In addition, according to the present embodiment, the
また、本実施形態によると、制御部25は、対象者と撮像装置11との距離に基づいて、指向性スピーカの出力(音量)を設定するので、指向性スピーカ13から対象者に対して出力される音声を聞き取りやすくすることができる。
Further, according to the present embodiment, the
また、本実施形態によると、制御部25は、対象者の位置に応じて、指向性スピーカ13による音声案内を行うこととしているので、対象者の位置が分岐路である場合やセキュリティエリア内又は近傍である場合などにおいて、適切な音声案内(又は警告)を行うことが可能である。
In addition, according to the present embodiment, the
また、本実施形態によると、制御部25は、対象者と撮像装置11との位置関係に基づいて、対象者の大きさ情報を補正するので、撮像装置11の光学系のディストーションの影響による検出誤差の発生を抑制することができる。
Further, according to the present embodiment, the
なお、上記実施形態では、撮像装置11により対象者の頭部分を撮像することとしたが、これに限らず、対象者の肩を撮像することとしてもよい。この場合、型の高さから、耳の位置を類推するようにしてもよい。
In the above-described embodiment, the
また、上記実施形態では、指向性マイク12と指向性スピーカ13とをユニット化する場合について説明したが、これに限らず、指向性マイク12と指向性スピーカ13を別々に設けるようにしてもよい。また、指向性マイク12に代えて、指向性のないマイク(例えばズーム型マイク)を採用してもよいし、指向性スピーカ13に代えて、指向性のないスピーカを採用してもよい。
In the above embodiment, the case where the
また、上記実施形態では、オフィスに案内システム100を配備し、オフィスに外来者が来た場合に案内処理を行う場合について説明したが、これに限られるものではない。例えば、スーパーやデパートなどの売り場に案内システム100を配備し、当該案内システム100を売り場等への客の案内に用いることとしてもよい。同様に、病院などに案内システム100を配備してもよい。この場合、案内システム100を用いて患者を案内するようにしてもよい。例えば、人間ドックなどで複数の検査をする場合に、対象者を案内することができ、診断業務、精算業務等の効率化を図ることが可能となる。更に、美術館、映画館、コンサートホールなど、静寂さを要求される場所での案内にも、案内システム100を用いることが可能である。また、他人に音声案内を聞かれる恐れもないため、対象者の個人情報を保護することもできる。なお、案内システム100が配備される場所に係員が存在している場合には、案内が必要な対象者に対して音声案内を行うとともに、係員に案内が必要な対象者がいることを通知することとしてもよい。
In the above-described embodiment, the case where the
なお、上記実施形態では、オフィスの受付にカードリーダ88を設け、これによりオフィス内に入ろうとしている人物を特定する場合について説明したが、これに限らず、指紋や音声などの生体認証装置や、暗証番号入力装置などで人物を特定することとしてもよい。
In the above embodiment, a case has been described in which the
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。 The above-described embodiment is an example of a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.
11 撮像装置
12 指向性マイク
13 指向性スピーカ
20 本体部
25 制御部
100 案内システム
DESCRIPTION OF
Claims (15)
前記撮像装置の撮像結果に応じて、前記撮像装置の撮像範囲外に設けられた音声装置を制御する制御装置と、を備えたことを特徴とする電子機器。 An acquisition device for acquiring an imaging result from at least one imaging device capable of imaging an image including the subject;
An electronic apparatus comprising: a control device that controls an audio device provided outside an imaging range of the imaging device according to an imaging result of the imaging device.
前記制御装置は、前記検出装置の検出結果に基づいて前記音声装置を制御することを特徴とする請求項1記載の電子機器。 A detection device that detects movement information of the subject based on an imaging result of the at least one imaging device;
The electronic device according to claim 1, wherein the control device controls the audio device based on a detection result of the detection device.
前記第1の撮像装置の撮像範囲の一部と、前記第2の撮像装置の撮像範囲の一部とが重複するように前記第1、第2撮像装置が配置されていることを特徴とする請求項1から7のいずれか一項に記載の電子機器。 The at least one imaging device includes a first imaging device and a second imaging device,
The first and second imaging devices are arranged such that a part of the imaging range of the first imaging device and a part of the imaging range of the second imaging device overlap. The electronic device as described in any one of Claim 1 to 7.
前記制御装置は、前記第1音声装置が前記対象者の後ろ側に位置した場合に、前記第2音声装置を制御することを特徴とする請求項8記載の電子機器。 The audio device includes a first audio device provided in an imaging range of the first imaging device, and a second audio device provided in an imaging range of the second imaging device,
9. The electronic apparatus according to claim 8, wherein the control device controls the second audio device when the first audio device is located behind the subject.
前記制御装置は、前記第1の撮像装置が前記対象者と、当該対象者とは異なる人を撮像した際に、前記第2スピーカを制御することを特徴とする請求項8記載の電子機器。 The audio device includes a first audio device having a first microphone and a first speaker provided in an imaging range of the first imaging device, and a second speaker provided in an imaging range of the second imaging device. A second audio device comprising:
The electronic device according to claim 8, wherein the control device controls the second speaker when the first imaging device images the target person and a person different from the target person.
前記追尾装置は、前記撮像装置を用いて前記対象者の特定部分の画像を取得して当該特定部分の画像をテンプレートとし、前記対象者を追尾する場合には、前記テンプレートを用いて前記対象者の特定部分を特定するとともに、当該特定された前記対象者の特定部分の新たな画像で、前記テンプレートを更新することを特徴とする請求項1から11のいずれか一項に記載の電子機器。 A tracking device that tracks the target person using the imaging result of the imaging device,
The tracking device acquires an image of a specific portion of the target person using the imaging device, uses the image of the specific portion as a template, and uses the template to track the target person when tracking the target person. The electronic device according to claim 1, wherein the specific part is specified, and the template is updated with a new image of the specified specific part of the target person.
前記追尾装置は、
前記第1の撮像装置と前記第2の撮像装置が前記対象者を同時に撮像できるときに、一方の撮像装置により撮像される前記対象者の特定部分の位置情報を取得するとともに、
他方の撮像装置により撮像される画像のうち、前記特定部分の位置情報に対応する領域を特定し、当該特定された領域の画像を他方の撮像装置の前記テンプレートとすることを特徴とする請求項12記載の電子機器。 The imaging device includes a first imaging device and a second imaging device having an imaging range that overlaps a part of the imaging range of the first imaging device,
The tracking device is
When the first imaging device and the second imaging device can simultaneously image the subject, the position information of the specific portion of the subject imaged by one imaging device is acquired,
The image corresponding to the position information of the specific part is specified among images picked up by the other image pickup device, and the image of the specified region is used as the template of the other image pickup device. 12. The electronic device according to 12.
前記撮像装置の撮像範囲外に設けられた音声装置と、
請求項1から14のいずれか一項に記載の電子機器と、を備える情報伝達システム。 At least one imaging device capable of capturing an image including the subject;
An audio device provided outside the imaging range of the imaging device;
An information transmission system comprising: the electronic device according to claim 1.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011070358A JP2012205242A (en) | 2011-03-28 | 2011-03-28 | Electronic device and information transfer system |
US13/985,751 US20130321625A1 (en) | 2011-03-28 | 2012-03-21 | Electronic device and information transmission system |
CN201280015582XA CN103460718A (en) | 2011-03-28 | 2012-03-21 | Electronic device and information transmission system |
PCT/JP2012/057215 WO2012133058A1 (en) | 2011-03-28 | 2012-03-21 | Electronic device and information transmission system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011070358A JP2012205242A (en) | 2011-03-28 | 2011-03-28 | Electronic device and information transfer system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012205242A true JP2012205242A (en) | 2012-10-22 |
Family
ID=47185706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011070358A Pending JP2012205242A (en) | 2011-03-28 | 2011-03-28 | Electronic device and information transfer system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012205242A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014233007A (en) * | 2013-05-29 | 2014-12-11 | カシオ計算機株式会社 | Image processing apparatus, image processing system, image processing method, and program |
WO2016039221A1 (en) * | 2014-09-12 | 2016-03-17 | 株式会社東芝 | Person position detection device, person position detection method, and computer program |
JP2017010157A (en) * | 2015-06-18 | 2017-01-12 | 東芝三菱電機産業システム株式会社 | Directivity voice alarm device |
JP2018189636A (en) * | 2017-04-28 | 2018-11-29 | パナソニックIpマネジメント株式会社 | Imaging device, image processing method and program |
JP7423904B2 (en) | 2019-05-14 | 2024-01-30 | 富士通株式会社 | Information output device, method, and program |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08221081A (en) * | 1994-12-16 | 1996-08-30 | Takenaka Komuten Co Ltd | Sound transmission device |
JP2001025084A (en) * | 1999-07-07 | 2001-01-26 | Matsushita Electric Ind Co Ltd | Speaker system |
JP2001285997A (en) * | 2000-04-04 | 2001-10-12 | Hitachi Electronics Service Co Ltd | Intra-building guidance system |
JP2005080227A (en) * | 2003-09-03 | 2005-03-24 | Seiko Epson Corp | Method for providing sound information, and directional sound information providing device |
JP2005159446A (en) * | 2003-11-20 | 2005-06-16 | Mitsubishi Electric Engineering Co Ltd | Directional acoustic system |
JP2005167711A (en) * | 2003-12-03 | 2005-06-23 | Mitsubishi Electric Engineering Co Ltd | Acoustic system |
WO2006057131A1 (en) * | 2004-11-26 | 2006-06-01 | Pioneer Corporation | Sound reproducing device and sound reproduction system |
JP2006186767A (en) * | 2004-12-28 | 2006-07-13 | Yamaha Corp | Voice paging unit |
JP2007266919A (en) * | 2006-03-28 | 2007-10-11 | Seiko Epson Corp | Listener guide device and its method |
JP2008052626A (en) * | 2006-08-28 | 2008-03-06 | Matsushita Electric Works Ltd | Bathroom abnormality detection system |
JP2008052631A (en) * | 2006-08-28 | 2008-03-06 | Matsushita Electric Works Ltd | Abnormality detection system |
JP2008304782A (en) * | 2007-06-08 | 2008-12-18 | Yamaha Corp | Content output device and content data distribution system |
JP2010049296A (en) * | 2008-08-19 | 2010-03-04 | Secom Co Ltd | Moving object tracking device |
-
2011
- 2011-03-28 JP JP2011070358A patent/JP2012205242A/en active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08221081A (en) * | 1994-12-16 | 1996-08-30 | Takenaka Komuten Co Ltd | Sound transmission device |
JP2001025084A (en) * | 1999-07-07 | 2001-01-26 | Matsushita Electric Ind Co Ltd | Speaker system |
JP2001285997A (en) * | 2000-04-04 | 2001-10-12 | Hitachi Electronics Service Co Ltd | Intra-building guidance system |
JP2005080227A (en) * | 2003-09-03 | 2005-03-24 | Seiko Epson Corp | Method for providing sound information, and directional sound information providing device |
JP2005159446A (en) * | 2003-11-20 | 2005-06-16 | Mitsubishi Electric Engineering Co Ltd | Directional acoustic system |
JP2005167711A (en) * | 2003-12-03 | 2005-06-23 | Mitsubishi Electric Engineering Co Ltd | Acoustic system |
WO2006057131A1 (en) * | 2004-11-26 | 2006-06-01 | Pioneer Corporation | Sound reproducing device and sound reproduction system |
JP2006186767A (en) * | 2004-12-28 | 2006-07-13 | Yamaha Corp | Voice paging unit |
JP2007266919A (en) * | 2006-03-28 | 2007-10-11 | Seiko Epson Corp | Listener guide device and its method |
JP2008052626A (en) * | 2006-08-28 | 2008-03-06 | Matsushita Electric Works Ltd | Bathroom abnormality detection system |
JP2008052631A (en) * | 2006-08-28 | 2008-03-06 | Matsushita Electric Works Ltd | Abnormality detection system |
JP2008304782A (en) * | 2007-06-08 | 2008-12-18 | Yamaha Corp | Content output device and content data distribution system |
JP2010049296A (en) * | 2008-08-19 | 2010-03-04 | Secom Co Ltd | Moving object tracking device |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014233007A (en) * | 2013-05-29 | 2014-12-11 | カシオ計算機株式会社 | Image processing apparatus, image processing system, image processing method, and program |
WO2016039221A1 (en) * | 2014-09-12 | 2016-03-17 | 株式会社東芝 | Person position detection device, person position detection method, and computer program |
JP2017010157A (en) * | 2015-06-18 | 2017-01-12 | 東芝三菱電機産業システム株式会社 | Directivity voice alarm device |
JP2018189636A (en) * | 2017-04-28 | 2018-11-29 | パナソニックIpマネジメント株式会社 | Imaging device, image processing method and program |
JP7018566B2 (en) | 2017-04-28 | 2022-02-14 | パナソニックIpマネジメント株式会社 | Image pickup device, image processing method and program |
JP7423904B2 (en) | 2019-05-14 | 2024-01-30 | 富士通株式会社 | Information output device, method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012133058A1 (en) | Electronic device and information transmission system | |
JP2012205240A (en) | Electronic device and information transfer system | |
JP7337699B2 (en) | Systems and methods for correlating mouth images with input commands | |
JP4286860B2 (en) | Operation content determination device | |
JP2014153663A (en) | Voice recognition device, voice recognition method and program | |
US20160027441A1 (en) | Speech recognition system, speech recognizing device and method for speech recognition | |
JP2012220959A (en) | Apparatus and method for determining relevance of input speech | |
JP2012205242A (en) | Electronic device and information transfer system | |
JP2008087140A (en) | Speech recognition robot and control method of speech recognition robot | |
JP2007221300A (en) | Robot and control method of robot | |
CN115211144A (en) | Hearing aid system and method | |
JP2015175983A (en) | Voice recognition device, voice recognition method, and program | |
KR101508092B1 (en) | Method and system for supporting video conference | |
US20220066207A1 (en) | Method and head-mounted unit for assisting a user | |
JP2017138981A (en) | Guidance support system, guidance support method, and program | |
JP2009141555A (en) | Imaging apparatus with voice input function and its voice recording method | |
US20210034898A1 (en) | Entering of human face information into database | |
JP2007213282A (en) | Lecturer support device and lecturer support method | |
JP2010154259A (en) | Image and sound processing apparatus | |
JP2002312796A (en) | Main subject estimating device and its method and image pickup device and its system and method for controlling image pickup device and medium for providing control program | |
JP3838159B2 (en) | Speech recognition dialogue apparatus and program | |
JP2009177480A (en) | Imaging device | |
JP2001067098A (en) | Person detecting method and device equipped with person detecting function | |
CN113676622A (en) | Video processing method, image pickup apparatus, video conference system, and storage medium | |
JP6845121B2 (en) | Robots and robot control methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150608 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160308 |