JP2005303567A - 画像および音制御装置 - Google Patents

Abstract

【課題】 人に注意を喚起したり人の興味を引きつけるようにする。
【解決手段】 通路に歩行者ａが検出されると、ディスプレイ１８にアニメーションの画像Ａ、画像Ｂ、画像Ｃと、カメラ１７で撮影した歩行者ａとの画像を合成してディスプレイ１８に表示する。同時に、スピーカ２６，２７から通行人ａに応じた効果音や楽音を生成して放音する。
【選択図】 図３

Description

この発明は、人が通る通路に設置される画像表示手段に表示される画像および音出力手段で出力される音の制御を行う画像および音制御装置に関する。

従来、人に注意を喚起したり人の興味を引きつけるために、道路等を人が通ったことをセンサが検出して音を鳴らせる装置があった。

しかし、音が鳴るのみでは音が誰に対して鳴っているのか分からないと共に、視覚的な効果もないために人に注意を喚起したり人の興味を引きつけることが困難であった。また、単に音を鳴らせても雑音と思われることなどがあって、必ずしも通行人にとって快いものになるとは限らなかった。

そこで、本発明は、人に注意を喚起したり人の興味を引きつけることができる画像および音制御装置を提供することを目的としている。

上記目的を達成するために、本発明の画像および音制御装置は、人が検出された際に、人が検出されたことを示す画像と撮影手段からの画像とが合成されて画像表示手段に表示されると共に、人が検出されたことを示す音が音出力手段から出力されるようにしたことを最も主要な特徴としている。

本発明によれば、人が検出された際に、人が検出されたことを示す画像と撮影手段からの画像とが合成されて画像表示手段に表示されると共に、人が検出されたことを示す音が音出力手段から出力されるようにしたことから、音と画像により効果的に人に注意を喚起したり人の興味を引きつけることができるようになる。

人に注意を喚起したり人の興味を引きつけることができる画像および音制御装置を提供するという目的を、人が検出された際に、人が検出されたことを示す画像と撮影手段からの画像とが合成されて画像表示手段に表示されると共に、人が検出されたことを示す音が音出力手段から出力されることで実現した。

本発明の実施例の画像および音制御装置の構成を示すブロック図を図１に示す。
図１に示す画像および音制御装置１において、ＣＰＵ（Central Processing Unit）１０は画像および音制御装置１の全体の動作を制御しており、発音処理、映像処理および照明処理を行うことにより画像を表示する制御や音を出力する制御、および、照明の点灯を制御する処理を行っている。ＲＯＭ（Read Only Memory）１１は、ＣＰＵ１０が実行する発音処理、照明処理および映像処理等の動作ソフトウェアが格納されており、ＲＡＭ（Random Access Memory）１２には、ＣＰＵ１０のワークエリアや各種データ等の記憶エリアが設定されている。このＲＯＭ１１をフラッシュメモリ等の書き換え可能なＲＯＭとすることで、動作ソフトウェアを書き換え可能となり動作ソフトウェアのバージョンアップを容易に行うことができる。タイマー１３は、時刻を指示すると共に、タイマー割込処理のタイミングをＣＰＵ１０に指示するタイマーである。

記憶装置１４は、画像データや音データ・演奏データ等のデータや自動演奏プログラム等の各種アプリケーションプログラムが記憶される記憶手段であり、ＨＤＤ（Hard Disk Drive）、ＦＤＤ（Floppy（登録商標）Disk Drive）、ＣＤ（Compact Disk）−ＲＯＭ、ＭＯ（Magneto Optical Disk）、ＤＶＤ（Digital Versatile Disk）等により構成することができる。パネル操作子１５は画像および音制御装置１のパネルに備えられた設定を行う各種操作子である。この場合、図示しないモニタに画像および音制御装置１の設定画面を表示してパネル操作子１５により画像および音制御装置１の設定を行うようにしている。また、表示機１６は人が通行する道路、階段、エスカレータ等を含む通路の壁に画像を投射するプロジェクタであり、投射する画像をモニタするモニタ表示部を備えている。カメラ１７は表示手段に表示する人の画像を取り込むカメラであり、ディスプレイ１８は液晶ディスプレ、プラズマディスプレイ、有機ＥＬ（エレクトロ ルミネセンス）ディスプレイなどの薄型の大型画面のディスプレイである。なお、表示機１６により投射される画像やディスプレイ１８に表示される画像は、カメラ１７から取り込んだ画像や、記憶装置１４から読み出されたアニメーション画像等をソフト的に加工して生成された画像とされ、その一方あるいは両方の画像が合成されて表示される。この場合、表示機１６で投射されることにより表示される画像と、ディスプレイ１８で表示される画像とを異ならせて並べて表示するようにしてもよい。

照明１９は人が通行する道路、階段、エスカレータ等を含む通路に設置され、検出された人の位置に応じて点灯される。センサ２０は、道路、階段、エスカレータ等を含む通路に複数設置され通行する人を検出することができ、複数のセンサ信号を解析することにより通行する人の位置、人数、進行方向や進行速度を算出することができる。センサ２０は、通路の床に設置される圧力センサ、通路の壁や床に設置される光センサや超音波センサ等とされる。音源２１は、複数の発音チャンネルの楽音や効果音が生成可能とされており、楽音にリバーブ、コーラス、バリエーション等の効果を付与するエフェクタが内蔵されている。サウンドシステム２２は、音源２１から出力されるアナログ信号に変換されたアナログ音信号を増幅して発音するサウンドシステムである。また、バス２３は各ブロック間においてデータ等を相互に授受するためのバスであり、データバスやアドレスバスから構成されている。

次に、本発明の実施例の画像および音制御装置の構成を示す機能ブロック図を図２に示す。なお、画像および音制御装置１は、前述したように人が通行する道路、階段、エスカレータ等を含む通路に設置される。
図２に示す画像および音制御装置１において、本体２はＣＰＵ１０，ＲＯＭ１１，ＲＡＭ１２，タイマー１３，記憶装置１４，音源２１からなり、発音処理、映像処理および照明処理を行う信号処理部である。本体２には、カメラ１７により取り込まれた画像データが供給されていると共に、複数のセンサ２０ａ、２０ｂ、２０ｃ・・・からのセンサ信号がインタフェース２４を介して本体２に取り込まれている。この本体２の設定は、図示しないモニタに画像および音制御装置１の設定画面を表示してパネル操作子１５により画像および音制御装置１の設定を行っている。本体２はセンサ２０ａ、２０ｂ、２０ｃ・・・のセンシングを行うことにより、インタフェース２４を介してセンサ信号を取り込み、得られたセンサ信号から人がいるか／いないかを判断する。そして、人がいると判断した場合には、取り込まれたセンサ信号から人の位置、人数、進行方向、進行速度等を算出する。次いで、算出された人の位置等に応じて選択された画像データが記憶装置１４から読み出される。この場合には、カメラ１７から通路にいる人の画像信号が取り込まれることから、記憶装置１４から読み出された画像データと、カメラ１７で撮影された画像データとが合成されてディスプレイ１８に供給されて表示される。あるいは、プロジェクタである表示機１６により一方の画像を壁等に投射して表示させ、他方の画像をディスプレイ１８に並べて表示するようにしても良い。

さらに、表示される画像信号に適した音階を有する音や楽器音、あるいは楽音が本体２における音源２１により発生されてサウンドシステム２２に供給される。そして、スピーカから放音される。この場合、人の位置が移動したことに応じて表示される画像を変化させたり、出力される音の音階や再生速度を変化させていくようにしても良い。さらにまた、複数の照明１９ａ、１９ｂ、１９ｃ・・・がインタフェース２５を介して設けられており、算出された人の位置に対応する照明が本体２により点灯制御されると共に、算出された移動方向の照明を移動速度に応じて本体２により点灯制御することにより、人が到達する直前に該当する照明が点灯されるようにする。このように、照明１９ａ、１９ｂ、１９ｃ・・・は、画像および音制御装置１が設置される道路、階段、エスカレータ等を含む通路の床面や天井部分に設けられ、人のいることに反応して点灯制御されるようになる。

なお、センサ２０ａ、２０ｂ、２０ｃ・・・において検知するのは人が通路にいるかいないかであり、手の動き等は検知していない。この場合、人がいるかいないかを検知するセンサをスイッチで構成する場合は、通路の床にスイッチを設けて人により踏まれたスイッチを検出すればよく、人のいる位置はそのスイッチの位置に相当するようになる。また、人がいるかいないかを検知するセンサを光センサや超音波センサで構成する場合は、光や超音波が遮られた際に人がいると検出することができ、そのセンサの位置を検出すれば人の位置も検出することができる。また、スピーカから放音される楽音は曲の一部であるフレーズとするのが好適である。さらに、検出された人の位置等に応じて記憶装置１４から読み出される画像データは、ボール等の跳ねるようにランダムに動く画像をアニメーション的に生成した映像信号とすることができる。なお、カメラ１７から取り込まれた人の画像は、本体２において塗りつぶされた影絵の画像に変換されて表示機１６によりあるいはディスプレイ１８に表示される。この場合は、ディスプレイ１８等に表示されている影絵の人にボール等の画像が当たったらボールが跳ね返るような画像データが本体２において生成されて、表示機１６によりあるいはディスプレイ１８に表示される。また、当たった際に、その効果音を音源２１により発生させてスピーカから放音するようにしても良い。

次に、本発明の実施例の画像および音制御装置１を人が通行する通路に設置した際の態様を横から見た図を図３に示し、上から見た図を図４に示す。
これらの図に示すように通路の壁２９には大型のディスプレイ１８と２つのスピーカ２６，２７が設置されており、通路の床２８には通路に沿って複数の照明１９ａ、１９ｂ、１９ｃが埋め込まれて設置されている。また、図示されていないが壁２９や床２８に複数のセンサ２０ａ、２０ｂ、２０ｃが設置されている。さらに、壁２９の反対側には通路を挟むようにカメラ１７が設置されている。

この通路を図示するように通行人ａが通行すると、壁２９や床２８に設置されている図示しない複数のセンサ２０ａ、２０ｂ、２０ｃ・・・からのセンサ信号から、画像および音制御装置１は通行人ａが通路にいることを検出する。検出したことに応じて、画像および音制御装置１は人が検出された位置に対応するディスプレイ１８の位置に、検出されたことを示す画像を表示させると共に、検出されたことを表す音をスピーカ２６，２７から放音する。具体的には、画像および音制御装置１が通行人ａを検出すると、ディスプレイ１８に図示する跳ねるようにランダムに動くアニメーションの画像Ａが表示される。また、鳴動している目覚まし時計のアニメーションの画像Ｂおよびびっくり箱からピエロが飛び出すアニメーションの画像Ｃがディスプレイ１８に表示される。さらに、カメラ１７で撮影された通行人ａの影絵とされた画像Ｄがディスプレイ１８に通行人ａの進行に応じて移動しながら表示される。このようにディスプレイ１８に画像Ａ〜Ｄが表示され、これらの画像に応じた楽音が画像および音制御装置１で発生されて出力されスピーカ２６，２７から放音されるようになる。この場合、通行人ａの画像が画像Ｃに近づいた際にびっくり箱からピエロが飛び出すアニメーションがディスプレイ１８に表示されるようになる。さらにまた、画像および音制御装置１が複数のセンサ信号を解析することにより算出された、通行人ａの進行方向や進行速度の算出結果に対応する照明１９ｂが通行人ａの進行に先回りして次々と点灯されていく。複数の照明１９ａ、１９ｂ、１９ｃ・・・では、通行人ａの進行に伴い点灯が制御されたり発光する色の変更制御が行われる。

なお、ディスプレイ１８に表示される画像Ａ〜Ｃは一例であり、種々の画像がディスプレイ１８に表示可能とされ、また、スピーカ２６，２７から放音される楽音も画像に応じた種々の楽音とされる。楽音に替えて、音階音やドラム等の楽器音をしても良い。画像Ａは、例えば破線の矢印で示す方向に進行していくが、ボール等の跳ねるようにランダムに動く画像Ａを生成して画像Ａが通行人ａに当たると、画像および音制御装置１は跳ね返る画像Ａの画像データを生成して、画像Ａが跳ね返る画像をディスプレイ１８に表示させる。さらに、当たった際に効果音を生成してスピーカ２６，２７から放音する。さらにまた、ディスプレイ１８に表示される画像において通行人ａが進行する道に図示するように斜面（坂）を設けることができ、画像Ｃにおける斜面に通行人ａが進行すると斜面を上っていくように通行人ａの画像を加工して表示するようにしても良い。なお、カメラ１７は壁２９側に設けることもできるが、カメラ１７を壁２９側に設けた場合は、ディスプレイ１８を見た通行人ａが違和感を感じないように撮影した画像を左右反転させてディスプレイ１８に表示させるようにする。

次に、本発明にかかる画像および音制御装置１が実行するメイン処理のフローチャートを図５に示す。
画像および音制御装置１の電源が投入されると、メイン処理はスタートされ、ステップＳ１０にて画像および音制御装置１の初期化が行われ、ＲＡＭ１２が初期化されると共に前回の設定データがセットされる。ただし、前回設定が行われていない場合はデフォルトの設定データがセットされる。次いで、ステップＳ１１にてパネル設定が行われる。パネル設定では、画像および音制御装置１の管理者により画像および音制御装置１のモード設定や種々の条件設定を行うことができるようにされており、具体的には画像の生成条件、画像の取り込み条件、種々のセンサの感度、センサ信号に対する処理の内容、楽音の生成条件、楽音に与える効果の条件、効果音の生成条件、画像の合成条件、画像に与える効果の条件等が設定可能とされている。

パネル設定処理が終了すると、ステップＳ１２にて発音処理／映像処理／照明処理が行われてステップＳ１１に戻り、ステップＳ１１およびステップＳ１２の処理が循環して行われるようになる。ステップＳ１２の発音処理では、表示される画像に応じたフレーズの楽音や、音階音あるいは楽器音を生成して発音する処理が行われる。また、映像処理では検出された人の位置等に応じた画像を読み出して表示したり、加工して表示する処理が行われ、照明処理では検出された人の位置および進行方向、進行速度に応じて照明の点灯制御を行う処理が行われる。

このメイン処理のステップＳ１２にて実行される発音処理／映像処理／照明処理のフローチャートを図６に示す。
発音処理／映像処理／照明処理がスタートされると、ステップＳ２０にて全てのセンサ２０ａ、２０ｂ、２０ｃ・・・のセンシングが行われて、センサ信号が取り込まれる。次いで、ステップＳ２１にて取り込まれたセンサ信号の解析が行われ、解析の結果、画像および音制御装置１が設置されているゾーンに人が検出されたか否かが判断されると共に、人が検出された場合は、人の位置や人数、人の進行方向、人の進行速度、人の身体の大小等のパラメータが算出される。解析が終了すると、ステップＳ２２にて照明制御要素があるか否かが判断される。ここで、パネル設定により設定された照明の点灯制御を行う条件に合う場合は、ステップＳ２２にてＹＥＳと判断されてステップＳ２３に分岐する。ステップＳ２３では、パネル設定により設定された照明の点灯制御を行う条件に従って検出された人の動きにあわせて、足元の照明を光らせたり、人が動いていく先を予測して光らせるように照明１９ａ、１９ｂ、１９ｃ・・・の点灯または消灯が行われる。また、ステップＳ２３において通行人に上から照明を当てたり、イルミネーション的にあちらこちらの照明を点灯／消灯をさせたりしてもよい。

ステップＳ２２で照明制御要素がないと判断された場合、および、ステップＳ２３の処理が終了するとステップＳ２４において、仮想空間映像を生成すると共に発音・演奏要素の有無が決定される。仮想空間映像を生成する処理では、ステップＳ２１の解析処理で得られた解析結果内容に応じて、画像を生成する処理が行われる。生成される画像には彩度や色、モザイク、ゆがみ等の映像上の効果を付加するようにしてもよい。なお、仮想空間の映像は、カメラ１７で取り込んだ画像に応じて変化するように生成される。具体的には、ボールが跳ねてディスプレイ１８上を動くような画像Ａを表示させる場合には、カメラ１７で取り込んだ通行人ａに当たるように画像Ａの動きを制御し、画像Ａと通行人ａの画像を合成した時点で当たるように表示制御する。そして、当たると画像Ａが跳ね返ったり、カメラ１７で取り込んだ通行人ａの画像を倒したりすると面白い画像を合成することができる。

ステップＳ２４の処理が終了すると、ステップＳ２５にて発音要素があるか否かが判断される。ここで、ステップＳ２１における解析の結果がパネル設定で設定された効果音の生成条件を満たすと判断された場合に、ステップＳ２５にてＹＥＳと判断されてステップＳ２６に分岐する。ステップＳ２６では、通行人の位置であったり、通行人の身体特徴、通行人の数、通行人の動きに応じた効果音の発音処理が行われる。具体的には、通行人ａが検出された際に「ジャーン」等の一音や和音からなる効果音の発音処理や、通行人ａに動く画像Ａが当たったり通行人ａの画像が倒れたりする際に、対応する効果音（ボン、ドン・・など）を発音する処理が行われる。ステップＳ２５にて発音要素がないと判断された場合、あるいは、ステップＳ２６の処理が終了した場合はステップＳ２７にて演奏要素があるか否かが判断される。ここで、ステップＳ２１における解析の結果がパネル設定で設定された楽音の生成条件、楽音に与える効果の条件を満たすと判断された場合に、ステップＳ２７にてＹＥＳと判断されてステップＳ２８に分岐する。ステップＳ２８では、通行人の位置であったり、通行人の身体特徴、通行人の数、通行人の動きに応じた楽音の一部であるフレーズの発音処理が行われるが、通行人ａの動きの早さで演奏の速度を替えたり、通行人ａの進行方向や身長などによって、音量や音色などが制御される。

ステップＳ２７にて演奏要素がないと判断された場合、あるいは、ステップＳ２８の処理が終了した場合はステップＳ２９にて映像を合成する処理および加工する処理が行われる。この処理では、カメラ１７で取り込んだ通行人ａの画像とステップＳ２４にて生成された仮想空間映像とが合成される。合成する際に、それぞれの画像の彩度、色、サイズを変更したり、モザイク、ゆがみ等の映像効果を付加して合成してもよい。このようにして合成された映像信号がステップＳ３０にてディスプレイ１８に出力されて表示される。ステップＳ３０の処理が終了すると、発音処理／映像処理／照明処理は終了してメイン処理のステップＳ１１にリターンされる。

以上の説明では、複数のセンサを設けてセンシングすることにより画像および音制御装置１を設置したゾーンに人がいるかいないかを検出するようにしたが、これに替えてカメラ１７で撮影した画像から画像および音制御装置１を設置したゾーンに人がいるかいないかを検出するようにしてもよい。
この一例を図７に示す。図７はカメラ１７で撮影したカメラ画像１７ａであり、その中に検出領域３０が設定されている。この検出領域３０の画像データを監視しておき、検出領域３０の画像データが変化した際に画像および音制御装置１を設置したゾーンに人がいると検出する。カメラ画像１７ａのエリアはディスプレイ１８に表示される表示エリアと同様とされており、この検出領域３０を図８に示すようにディスプレイ１８上に検出マーク３１として表示するようにしてもよい。そして、画像および音制御装置１を設置したゾーンに人がいると検出された際に、検出マーク３１を囲むように検出されたことを示す画像Ｅを図８に示すように表示するようにしてもよい。同時に、「ジャーン」等の効果音をスピーカ２６，２７から出力するようにしてもよい。

なお、図７に示す例では検出領域３０を一カ所としたが、複数の検出領域３０を設けるようにしてもよい。このように複数の箇所を検出領域３０とすることにより、画像および音制御装置１を設置したゾーンにいる人数や人の進行方向や進行速度を検出することができるようになる。また、検出領域３０を固定することに替えて移動していくようにしてもよい。
また、通路は人が通行する道路、階段、エスカレータ等としたが、本発明における通路はこれに限らず人が通る区域を意味しており、広場等も通路としている。

以上の説明では、本発明に係る画像および音制御装置は人が通行する通路に設置するようにしたが、自動ドア等に設置するようにしても良い。この場合は、薄型のディスプレイをドアに設置するようにする。

本発明の実施例の画像および音制御装置の構成を示すブロック図である。 本発明の実施例の画像および音制御装置の構成を示す機能ブロック図である。 本発明の実施例の画像および音制御装置を人が通行する通路に設置した際の態様を横から見た図である。 本発明の実施例の画像および音制御装置を人が通行する通路に設置した際の態様を上から見た図である。 本発明にかかる画像および音制御装置が実行するメイン処理のフローチャートである。 本発明にかかる画像および音制御装置が実行するメイン処理にて実行される発音処理／映像処理／照明処理のフローチャートである。 本発明の実施例の画像および音制御装置において、撮影した画像から検出する例を示す図である。 本発明の実施例の画像および音制御装置において、画像表示手段に表示される画像の他の例を示す図である。

符号の説明

１ 画像および音制御装置、２ 本体、１０ ＣＰＵ、１１ ＲＯＭ、１２ ＲＡＭ、１３ タイマー、１４ 記憶装置、１５ パネル操作子、１６ 表示機、１７ カメラ、１７ａ カメラ画像、１８ ディスプレイ、１９ 照明、１９ａ，１９ｂ，１９ｃ 照明、１９ｂ 照明、２０ センサ、２０ａ，２０ｂ，２０ｃ センサ、２１ 音源、２２ サウンドシステム、２３ バス、２４ インタフェース、２５ インタフェース、２６，２７ スピーカ、２８ 床、２９ 壁、３０ 検出領域、３１ 検出マーク

Claims (3)

1. 通路に近接して配設され、画像を表示する画像表示手段および音を出力する音出力手段と、
   前記通路に設けられて前記通路における人を検出する検出手段と、
   前記通路を撮影する撮影手段と、
   前記検出手段により人が検出された際に、人が検出されたことを示す画像と前記撮影手段からの画像とが合成されて前記画像表示手段に表示されるよう表示制御すると共に、人が検出されたことを示す音が前記音出力手段から出力されるよう出力制御する制御手段と、
   を備えることを特徴とする画像および音制御装置。
2. 前記通路に沿って照明手段が設けられており、前記制御手段は前記検出手段により人が検出された際に、検出された人の位置に対応する前記照明手段の点灯制御を行うようにしたことを特徴とする請求項１記載の画像および音制御装置。
3. 前記制御手段は、前記撮影手段により撮影された前記通路における人の画像を前記画像表示手段に表示する際に、表示する位置を決定する第１の表示位置決定手段と、前記人が検出されたことを示す画像を前記画像表示手段に表示する際に、少なくとも一部の画像の表示位置を決定する第２の表示位置決定手段とを備え、前記第１の位置決定手段と前記第２の位置決定手段のいずれか一方により決定された位置に応じて他方の位置の決定が行われるようにしたことを特徴とする請求項１記載の画像および音制御装置。
   

Images