JP2006003451A - 対象者特定装置,催事動向分析装置及び催事動向分析システム - Google Patents

対象者特定装置,催事動向分析装置及び催事動向分析システム Download PDF

Info

Publication number
JP2006003451A
JP2006003451A JP2004177380A JP2004177380A JP2006003451A JP 2006003451 A JP2006003451 A JP 2006003451A JP 2004177380 A JP2004177380 A JP 2004177380A JP 2004177380 A JP2004177380 A JP 2004177380A JP 2006003451 A JP2006003451 A JP 2006003451A
Authority
JP
Japan
Prior art keywords
target person
subject
information
voice
specifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004177380A
Other languages
English (en)
Inventor
Satoru Makino
悟 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2004177380A priority Critical patent/JP2006003451A/ja
Publication of JP2006003451A publication Critical patent/JP2006003451A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】 会議,演劇,プレゼンテーションなどの各種催事の動向を把握すること。
【解決手段】 対象者特定装置1には、利用者の体温,発汗,心拍数を計測する各種センサと、利用者が対象者の特定を指示するための意思伝達スイッチ189とが、外部からの音声を集音する指向性マイク151が設けられる。複数の対象者が参加する会議を視聴している利用者が意思伝達スイッチ189を押下すると、指向性マイク151からの音声が分析されて、発話中の対象者が特定される。そして、その対象者に対する利用者の「感動」の度合い等が、各センサからの計測値に基づいて推論される。その後、発話中の対象者の識別情報と、利用者の「感動」についての推論結果とを含む対象者情報が作成されて、催事動向分析装置2へ送信される。催事動向分析装置2では、対象者情報に基づいて会議などの各種催事の動向が分析される。
【選択図】 図1



Description

本発明は、複数の参加者により行われる催事の動向を分析する装置に関し、詳細には、催事の参加者に向けられた視聴者の意識や感情などを推論することで、催事の動向を分析する対象者特定装置,催事動向分析装置及び催事動向分析システムに関する。
従来、利用者の生理情報や生体情報などを計測するセンサを設けて、このセンサから計測される各種情報に基づいて、利用者の意識や感情などを推論する装置が各種提案されている。
そして、心拍や皮膚インピーダンスなどの生理情報を計測するセンサに加えて、利用者の姿勢や運動状態を検出するためのCCDカメラや、利用者が発する音声を検出するためのマイクロホンを設けて、利用者の意識レベルが特定の状態にあるか否かを、より正確に検出することができる意識レベル検出装置が知られている。また、利用者が意図的にみずからの心理状態をより正確に入力することができるゲーム制御装置も知られている(例えば、特許文献1参照。)。
特開平10−57355号公報
ところで、利用者の関心が特定の対象に向けられている場合、利用者の感情や意識などはその対象によって大きく左右されることが知られている。例えば、利用者が美術館や博物館などを見学する場合、特定の展示品に対しては強く感動するものの、その他の展示品にはほとんど感動しない場合がある。そのため、利用者が何に対して「感動」や「興奮」といった感情や意識などを生じたかが不明であると、利用者の感情や意識を推論しても、その推論結果を活用することが難しいという問題があった。
特許文献1に記載の発明では、ゲームについての利用者の意識レベルを検出しているが、利用者の関心が向けられる対象がゲームに限定されており、他の対象について利用者の意識レベル等を推論することはできなかった。特に、対象が人間である場合は、その対象者が移動してしまうと、利用者の関心が向けられている対象者の特定ができないという問題があった。さらに、会議,演劇,プレゼンテーションなどの各種催事は、通常は複数の参加者(対象者)によって行われるため、利用者の関心がどの対象者に向けられているのかを特定するのがいっそう困難であるという問題があった。
本発明は上記課題を解決するためになされたものであり、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、さらに複数の利用者によって行われる各種催事の動向を把握することができる対象者特定装置,催事動向分析装置及び催事動向分析システムを提供することを目的とする。
上記目的を達成するために、請求項1に係る発明の対象者特定装置は、外部から音声を取得する音声取得手段と、前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定する対象者特定手段と、少なくとも1個以上のセンサから、計測値を取得する計測値取得手段と、前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、前記対象者特定手段により特定された対象者を識別するための対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段とを備えている。
また、請求項2に係る発明の対象者特定装置は、請求項1に記載の発明の構成に加え、前記音声取得手段は、向けられた方向からの音声のみを集音する指向性マイクであり、前記対象者特定手段は、前記指向性マイクにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする。
また、請求項3に係る発明の対象者特定装置は、請求項1に記載の発明の構成に加え、前記音声取得手段は、外部から音声を集音可能なマイクを複数備えたマイクアレイであり、前記対象者特定手段は、前記マイクアレイにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする。
また、請求項4に係る発明の対象者特定装置は、請求項3に記載の発明の構成に加え、対象者とその存在位置とを対応付けた対象者特定テーブルを備え、前記対象者特定手段は、前記マイクアレイにおいて集音された音声の音源の方向及び距離を分析して、該音声を発した対象者の存在位置を特定し、前記対象者特定テーブルから該存在位置に対応する対象者を特定することを特徴とする。
また、請求項5に係る発明の対象者特定装置は、請求項1に記載の発明の構成に加え、前記音声取得手段は、外部から音声を集音可能な複数のマイクであり、前記対象者特定手段は、対象者が発した音声が入力された前記マイクに基づいて、該音声を発した対象者を特定することを特徴とする。
また、請求項6に係る発明の対象者特定装置は、請求項5に記載の発明の構成に加え、対象者と前記マイクとを対応付けた第2の対象者特定テーブルを備え、前記対象者特定手段は、対象者が発した音声が入力された前記マイクを特定して、前記第2の対象者特定テーブルから該マイクに対応する対象者を特定することを特徴とする。
また、請求項7に係る発明の対象者特定装置は、請求項1乃至6のいずれかに記載の発明の構成に加え、利用者自身が操作して対象者の特定を指示するための意思伝達手段を備え、前記対象者特定手段は、前記意思伝達手段から対象者の特定を指示された場合、前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定することを特徴とする。
また、請求項8に係る発明の対象者特定装置は、請求項1乃至7のいずれかに記載の発明の構成に加え、前記対象者特定手段は、前記音声取得手段が複数の音声を取得した場合、該複数の音声のうちで最大音量又は最大音圧のものに基づいて対象者を特定することを特徴とする。
また、請求項9に係る発明の催事動向分析装置は、請求項1乃至8のいずれかに記載の対象者特定装置と、前記対象者情報作成手段により作成された複数の前記対象者情報を記憶する対象者情報記憶手段と、前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えている。
また、請求項10に係る発明の催事動向分析システムは、外部から音声を取得して対象者を特定する音声取得装置と、利用者に関する推論を実行して対象者情報を作成する複数の対象者情報作成装置と、対象者により行われる催事の動向を分析する催事動向分析装置とが、ネットワークを介して接続された催事動向分析システムであって、前記音声取得装置は、外部からの音声の取得を実行する音声取得手段と、前記音声取得手段により取得された音声に関する音声情報に基づいて、対象者を特定する対象者特定手段と、前記対象者特定手段により特定された対象者を識別するための対象者識別情報を、前記推論情報作成手段に送信する対象者識別情報送信手段とを備え、前記推論情報作成装置は、前記対象者識別情報送信手段により送信された対象者識別情報を受信する対象者識別情報受信手段と、少なくとも1個以上のセンサから、計測値を取得する計測値取得手段と、前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、前記対象者識別情報受信手段により受信された前記対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段と、前記対象者情報作成手段により作成された前記対象者情報を前記催事動向分析装置に送信する対象者情報送信手段とを備え、前記催事動向分析装置は、前記対象者情報送信手段により送信された前記対象者情報を受信する対象者情報受信手段と、前記対象者情報受信手段により受信された前記対象者情報を記憶する対象者情報記憶手段と、前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えている。
請求項1に係る発明の対象者特定装置では、外部から取得された音声に関する音声情報に基づいて対象者を特定し、センサからの計測値に基づいて推論情報を作成して、対象者識別情報と推論情報とを含む対象者情報を作成するようにした。よって、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。
また、請求項2に係る発明の対象者特定装置では、請求項1に記載の発明の効果に加え、指向性マイクにおいて集音された音声を分析して対象者を特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
また、請求項3に係る発明の対象者特定装置では、請求項1に記載の発明の効果に加え、マイクアレイにおいて集音された音声を分析して対象者を特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
また、請求項4に係る発明の対象者特定装置では、請求項3に記載の発明の効果に加え、マイクアレイからの音声が分析されて音源の方向及び距離(音源位置)を特定し、その音源位置に対応する対象者を対象者特定テーブルから特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
また、請求項5に係る発明の対象者特定装置では、請求項1に記載の発明の効果に加え、複数のマイクのうちで音声が入力されたものに基づいて対象者を特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
また、請求項6に係る発明の対象者特定装置では、請求項5に記載の発明の効果に加え、複数のマイクのうちで音声が入力されたものを特定し、そのマイクに対応する対象者を第2の対象者特定テーブルから特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
また、請求項7に係る発明の対象者特定装置では、請求項1乃至6のいずれかに記載の発明の効果に加え、利用者による意思伝達手段の操作に応じて対象者を特定するようにした。よって、利用者は意思伝達手段を操作することで、任意の対象者を任意のタイミングで特定することができる。
また、請求項8に係る発明の対象者特定装置では、請求項1乃至7のいずれかに記載の発明の効果に加え、複数の音声が取得された場合には、その複数の音声のうちで最大音量又は最大音圧のものに基づいて対象者を特定するようにした。よって、音声取得手段により複数の対象者の音声が取得されても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
また、請求項9に係る発明の催事動向分析装置では、複数の対象者情報に基づいて対象者により行われる催事の動向を分析するようにしたので、催事の盛り上がり具合や中心人物の変遷などの各種動向を把握することができ、対象者情報の利用範囲を広げることができる。
また、請求項10に係る発明の催事動向分析システムでは、外部から音声を取得して対象者を特定する音声取得装置と、利用者に関する推論を実行して対象者情報を作成する複数の対象者情報作成装置と、対象者により行われる催事の動向を分析する催事動向分析装置とが、ネットワークを介して接続されるようにした。よって、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。また、催事の盛り上がり具合や中心人物の変遷などの各種動向を把握することができ、対象者情報の利用範囲を広げることができる。
以下、本発明の第1の実施の形態を図面を参照して説明する。第1の実施の形態に係る催事動向分析システムは、小型の携帯端末機器である対象者特定装置1と、固定されたコンピュータ端末である催事動向分析装置2とで構成されたシステムである。
本実施の形態では、視聴者が対象者特定装置1を携行しながら、会議,演劇,プレゼンテーションなどの複数の参加者で行われる各種催事を視聴すると、センサから計測された情報に基づいて、各参加者に対する利用者の意識や感情などが推論されて、その推論結果に基づいて催事の動向が分析される。以下では、催事を行っている参加者を「対象者」と、その催事を視聴する視聴者を「利用者」とし、両者を区別して説明する。
また、センサから計測される情報として、体温,発汗,心拍数の各計測値を例示する。また、対象者情報とは、特定の対象者に対する利用者の意識や感情などに関する情報であるが、本実施の形態では、利用者がどの対象者に対して、どの程度「感動」したかを示す情報として説明する。
まず、図1乃至図5を参照して、第1の実施の形態に係る催事動向分析システムの構成について説明する。図1は、催事動向分析システムについての全体構成図である。図2は、対象者特定装置1の電気的構成を示すブロック図である。図3は、対象者特定装置1のRAM130の記憶エリアの構成を示す概念図である。図4は、対象者特定装置1のHDD140の記憶エリアの構成を示す概念図である。図5は、催事動向分析装置2の電気的構成を示すブロック図である。
図1に示すように、本実施の形態の催事動向分析システムにおいては、対象者特定装置1が利用者に携帯または装着され、体温センサ、発汗センサ及び心拍数センサなどの複数のセンサが接続される。これらのセンサの読み取り部は利用者の皮膚等に接触して、適切に利用者を計測可能な状態に設けられる(図1中の斜線部)。そのため、対象者特定装置1では常に利用者がセンサにより計測される状態に保持される。また、対象者の特定を指示するために利用者が任意に押下することができる意思伝達スイッチ189や、後述の指向性マイク151が具備されており、利用者は指向性マイク151を任意の対象者に向けることで、対象者特定装置1にその対象者の音声を取得させることができる。また、対象者特定装置1はアンテナ161を介して、外部との各種情報の送受信が可能であり、本実施の形態では、複数の利用者が各々対象者特定装置1を携行し、各対象者特定装置1が催事動向分析装置2と有効に接続可能となっている。
このような構成により、例えば、対象者特定装置1を携行する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合には、その対象者に指向性マイク151を向けて意思伝達スイッチ189を押す。すると、後述するように、その対象者についての利用者の「感動」に関する対象者情報が作成されて、催事動向分析装置2に送信される。催事動向分析装置2では、複数の対象者特定装置1から取得された対象者情報をもとに、その会議の盛り上がり具合や中心人物の変遷などの各種動向が分析される。
なお、本実施の形態では、図1に示すように複数の対象者「A」,「B」,「C」が参加して会議が催されており、その会議を複数の利用者「X」,「Y」,「Z」が視聴しており、対象者特定装置1を携行する利用者「X」が対象者「A」の発言に「感動」して、指向性マイク151を対象者「A」に向けて意思伝達スイッチ189を押下した場合を例示する。
次に、対象者特定装置1の電気的構成を説明する。図2に示すように、対象者特定装置1には、対象者特定装置1の制御を司るCPU110が設けられている。このCPU110には、バス115を介し、CPU110が実行するBIOS等のプログラムを記憶したROM120と、データを一時的に記憶するRAM130と、データの記憶装置であるハードディスクドライブ(以下、「HDD」という。)140とが接続されている。
また、各種機器からの入力の検知を行う入力検知部180が、バス115を介してCPU110に接続されており、この入力検知部180には、利用者が対象者特定装置1を操作するためのボタンやスイッチを備えた入力パネル181と、利用者の体温を計測する体温センサ182と、利用者の発汗状態を計測するための発汗センサ183と、利用者の心拍数を計測するための心拍数センサ184とが接続されている。また、体温センサ182、発汗センサ183及び心拍数センサ184は、有効に利用者の体温、発汗、心拍数を測定できれば、その位置や計測手法は問わないが、好適には、利用者の皮膚に当接するように各センサの読み取り部が設けられている。なお、体温センサ182では計測値として0〜50℃が計測され、発汗センサ183では計測値として0〜100%RHが計測され、心拍数センサ184では計測値として0〜200拍が計測されるものとする。体温センサ182,発汗センサ183,心拍数センサ184から計測される情報が、本発明の「計測値」に相当する。
各センサは、対象者特定装置1に電源が投入されて起動されると、自動的に定期的な計測を実行するように制御される。各センサの計測値が、各センサ内部の所定の記憶エリアに保存されて、対象者特定装置1では入力検知部180を介してこの所定の記憶エリアから最新の計測値が取得される。なお、対象者特定装置1のRAM130やHDD140にセンサ毎の計測値記憶エリア(図示外)を設けて、各センサの計測値が入力検知部180を介して計測値記憶エリアに保存される一方、対象者特定装置1ではこの計測値記憶エリアが参照されて最新の計測値が取得されるようにしてもよい。
また、入力パネル181には、対象者特定装置1の電源を入切したり、起動し直すための電源リセットスイッチ(図示せず)や、任意に対象者の特定を指示するために利用者自身がオン・オフしてスイッチ情報を入力するための意思伝達スイッチ189などが設けられている。例えば、本実施の形態では、対象者特定装置1は利用者の「感動」について推論するものであるから、利用者は特定の対象者について感動した場合には意思伝達スイッチ189をオンしてスイッチ情報「ON」を入力し、感動しない場合には意思伝達スイッチ189をオンせずに(オフして)スイッチ情報「OFF」を入力する。
また、音声制御部150,通信制御部160,計時装置190が、バス115を介してCPU110に接続されている。音声制御部150は、向けられた方向からの外部音声のみを集音する高感度の指向性マイク151に接続され、指向性マイク151により集音された音声信号を処理する。通信制御部160は、外部との各種情報の送受信を仲介するアンテナ161に接続され、アンテナ161を介して外部との無線通信を実行する。また、計時装置190は、現在日時や時間間隔をカウントするための時計機能を備えたICチップであるが、インターネットや無線によって日時を取得するように構成してもよい。
このような構成によって、第1の実施の形態の対象者特定装置1では、体温センサ182,発汗センサ183,心拍数センサ184からのセンサ情報と、指向性マイク151からの音声信号とに基づいて、利用者がどの対象者に対してどのような感情や意識などを生じたかを示す対象者情報が作成される。
なお、本実施の形態の対象者特定装置1で実行されるモジュールの一つとして、対象者特定プログラム121と対象者情報作成プログラム122が実行される。対象者情報作成プログラム122は、後述の対象者情報作成処理(図6)を実行して対象者情報を作成するためのものであり、対象者特定プログラム121は、後述の発話者特定処理(図11)を実行して発話中の対象者を特定するためのものである。対象者特定プログラム121と対象者情報作成プログラム122は、あらかじめHDD140上のプログラム記憶エリア142(図4参照)に記憶されているものとする。また、図示外のCD−ROMドライブ、フロッピー(登録商標)ディスクドライブ、各種インタフェースを介して、導入時に、CD−ROM等の外部の記憶媒体やネットワークを介して外部の記憶装置から、HDD140上のプログラム記憶エリア142や情報記憶エリア143(図4参照)に、対象者特定プログラム121と対象者情報作成プログラム122がセットアップされてもよい。また、HDD140には、指向性マイク151から入力された音声の発話者を特定するための発話者音声照合テーブル14が設けられている(詳細は後述。)。
図3に示すように、対象者特定装置1のRAM130には、プログラムの実行中の一時的なデータを記憶するワークエリア131と、入力された各種情報を一時的に記憶する入力情報記憶エリア132と、出力すべき各種情報を一時的に記憶する出力情報記憶エリア133とが設けられている。さらに、RAM130には、図示外の各種記憶エリアが設けられる。
図4に示すように、対象者特定装置1のHDD140には、対象者特定装置1の動作を制御するためCPU110が実行する各種のプログラム等を記憶したオペレーティングシステム(OS)記憶エリア141と、対象者特定装置1で実行される各種のプログラムや対象者特定プログラム121及び対象者情報作成プログラム122を記憶したプログラム記憶エリア142と、プログラムの実行に必要な設定や初期値、データ等の情報を記憶した情報記憶エリア143と、作成された対象者情報を記憶する対象者情報記憶エリア144とが設けられる。なお、情報記憶エリア143には、後述の推論定義テーブル13や発話者音声照合テーブル14等が記憶される。
次に、催事動向分析装置2の電気的構成を説明する。図5に示すように、催事動向分析装置2には、CPU210,ROM220,RAM230,HDD240,ディスプレイ261が接続された表示制御部260,マイク271及びスピーカ272が接続された音声制御部270,マウス281及びキーボード282が接続された入力検知部280が、バス215を介して具備されている。このような催事動向分析装置2の構成は、通常のコンピュータ機器の構成として公知のものであるから、詳細は省略する。なお、催事動向分析装置2には、アンテナ292を介して複数の対象者特定装置1と無線通信によって有効に接続するための通信制御部291が設けられている。また、後述の催事動向解析処理を実行するための催事動向分析プログラム221がROM220に記憶され、催事動向解析処理により作成された催事動向分析情報が記憶される分析情報記憶エリア241が設けられている。
以下、第1の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。
まず、対象者特定装置1での処理の流れを、図6乃至図13を参照して説明する。図6は、対象者情報作成処理のメインフローチャートである。図7は、キャリブレーション処理(S13)の詳細を示すフローチャートである。図8は、計測処理(S15)の詳細を示すフローチャートである。図9は、推論処理(S16)の詳細を示すフローチャートである。図10は、推論定義テーブル13の概要を示す図である。図11は、対象者特定処理(S17)の詳細を示すフローチャートである。図12は、発話者音声照合テーブル14のデータ構成を示す図である。図13は、対象者情報10のデータ構成を示す図である。なお、対象者情報作成処理(図6)は、対象者特定装置1の電源がONされて起動されると、その処理が開始されて、対象者特定装置1が起動している間は継続的に実行されるものとする。
図6に示すように、対象者情報作成処理では、まず利用者を計測するための各種センサが初期化される(S11)。本実施の形態においては、対象者特定装置1が起動されると、体温センサ182,発汗センサ183,心拍数センサ184が初期化される。そして、所定の測定間隔時間が計時装置190にセットされる(S12)。測定間隔時間は、後述のキャリブレーション処理(S13)においてキャリブレーション測定が実行される時間間隔である。S11ではあらかじめ定められた値が、測定間隔時間としてセットされるが、利用者又は設計者が任意の値を設定するようにしてもよい。
次に、各種センサによる計測値の平均である基準値を取得するためのキャリブレーション処理が実行される(S13)。図7に示すように、キャリブレーション処理(S13)では、まず測定回数の初期化がなされ(S21)、このキャリブレーション処理が実行されるキャリブレーション時間が計時装置190にセットされる(S22)。S22ではあらかじめ定められた値が、キャリブレーション時間としてセットされるが、利用者又は設計者が任意の値を設定するようにしてもよい。
そして、キャリブレーション時間を終了(経過)しておらず(S23:NO)、かつ、対象者情報作成処理(図6参照)のS12で設定された測定間隔時間が終了(経過)していれば(S24:YES)、各センサの出力が測定される(S25)。本実施の形態においては、体温センサ182,発汗センサ183,心拍数センサ184が設けられているから、それぞれ利用者の体温,発汗,心拍数について出力された計測値が取得される。なお、測定間隔時間が終了(経過)していない場合は(S24:NO)、測定間隔時間が終了(経過)するまで、S24において待ち状態となる。その後、測定回数が増加されて(S26)、S23へ戻る。
そして、S23でキャリブレーション時間を終了(経過)していない場合には(S23:NO)、再び、測定間隔時間の経過後(S24:YES)、各センサの出力が測定される(S25)。このように、S22においてセットされたキャリブレーション時間が終了(経過)するまで、測定間隔時間毎に各センサの出力の測定が繰り返される(S23〜S26)。
一方、キャリブレーション時間の経過後は(S23:YES)、各センサ毎の測定値の平均値が算出される(S27)。例えば、体温センサ182により測定間隔時間毎に測定された複数の体温の測定値を全て加算し、その加算値をS26により取得された測定回数で除算する等して、体温センサ182の測定値の平均値が算出される。そして、S27で算出された各センサの基準値は、RAM130に設けられた基準値エリア(図示外)に保存される(S28)。
対象者情報作成処理(図6)に戻り、意思伝達スイッチ189が「ON」か否かが判定される(S14)。意思伝達スイッチ189が「ON」でない、すなわち「OFF」である場合には(S14:NO)、S14で待ち状態となる。一方、意思伝達スイッチ189が「ON」である場合(S14:YES)、各センサが利用者を計測する計測処理が実行される(S15)。
図8に示すように、計測処理(S15)では、まず計測回数の初期化がなされ(S31)、計測回数のセットがなされた後(S32)、各センサの出力が計測される(S33)。そして、S33による各センサの計測値から、RAM130に設けられた基準値エリアに記憶された各センサの基準値が減算されて、増分値に加算される(S34)。例えば、S33において、体温センサ182により現在の利用者の体温が計測値36.5℃として計測された場合に、体温センサ182の基準値36.0℃であれば、0.5℃が増分値に加算されることになる。その後、計測回数が増加されて(S35)、S32でセットされた計測回数が終了していなければ(S36:NO)、その計測回数を終了するまで、各センサの出力の測定が繰り返される(S33〜S36)。S34においては、1回の計測毎の増分値がその都度前回までの増分値に加算されていく。S32でセットされた計測回数が終了すると(S36:YES)、S32によりセットされた計測回数で、各センサ毎に増分値を除算して、各センサ毎の増分値の平均値が算出される(S37)。
対象者情報作成処理(図6)に戻り、利用者の感情や意識などを推論する推論処理が実行される(S16)。図9に示すように、推論処理(S16)では、まず各センサからの計測値の状態変化を示すフラグである状態変数がクリアされる(S41)。本実施の形態では、体温センサ182が計測する体温についての第2bit、発汗センサ183が計測する発汗についての第1bit、心拍数センサ184が計測する心拍数についての第0bit、の3つのビットを状態変数として有している。そして、計測処理(S15)で算出された各センサ毎の増分値の平均値に基づいて、利用者からの計測値の変化を判定する。
最初に、体温センサ182から計測された体温の増分値の平均値(体温増分値)と、体温に関する基準値(体温閾値)とが比較される(S42)。基準値(閾値)は、キャリブレーション処理(図7)のS28で、各センサの基準値エリアに保存された値である。その結果、体温増分値が体温閾値よりも大きければ(S42:YES)、第2bitが「ON」にセットされる(S43)。一方、体温増分値が体温閾値よりも大きくない場合(S42:NO)、そのまま次のステップ(S44)へ進む。同様に、発汗センサ183が計測する発汗についても、その増分値の平均値(発汗増分値)と発汗に関する基準値(発汗閾値)とが比較され(S44)、その結果、発汗増分値が発汗閾値よりも大きければ(S44:YES)、第1bitが「ON」にセットされる(S45)。一方、発汗増分値が発汗閾値よりも大きくない場合(S44:NO)、そのまま次のステップ(S46)へ進む。また、心拍数センサ184が計測する心拍数についても、その増分値の平均値(心拍数増分値)と心拍数に関する基準値(心拍数閾値)とが比較され(S46)、その結果、心拍数増分値が心拍数閾値よりも大きければ(S46:YES)、第0bitが「ON」にセットされる(S47)。一方、心拍数増分値が心拍数閾値よりも大きくない場合(S46:NO)、そのまま次のステップ(S48)へ進む。
その後、状態変数の第2bit,第1bit,第0bitまでのパターンに対応する推論種別及び推論値が、推論定義テーブル13から取得される(S48)。図10に示すように、推論定義テーブル13は、推論の種別を示す推論種別13aと、各センサにより計測された利用者の感情や意識などの変化状態を示すセンサ状態13bと、利用者の推論の強弱を数値で示す推論値13cとをデータ項目として具備している。そして、各々のデータ項目の対応を、テーブル形式で定義している。先述のように、本実施の形態では利用者の「感動」について推論されるから、推論定義テーブル13も「感動」を推論するのに適した内容で定義されている。詳細には、推論種別13aは「感動」に関する推論の種別が定義されており、利用者の「感動」の強弱によって「大興奮」から「無感動(平常)」までの複数の推論の種別が存在している。また、その「感動」の強弱を数値で表した推論値13cが定義され、例えば、推論種別13aが「大興奮」であれば、その推論値13cは最大値の「100」である。なお、図10に示す推論定義テーブル13は「感動」に関するものであるから、推論値13cは感動度(E)とも表示される。
そして、S48では、S42〜S47によりセットされた状態変数によってセンサ状態13bが特定されるから、このセンサ状態13bに対応する推論種別13aや推論値13cが取得される。なお、第2bit〜第0bitが、それぞれ「ON」がセットされている場合には、センサ状態13bにおいては「UP」と判定される。例えば、第2bit「ON」,第1bit「ON」,第0bit「OFF」の場合は、推論種別13a「混乱」で推論値13c「10」が、推論定義テーブル13を参照して取得される。
対象者情報作成処理(図6)に戻り、利用者の感情や意識が向けられている対象者を特定する対象者特定処理が実行される(S17)。図11に示すように、対象者特定処理(S17)では、まず指向性マイク151から音声のサンプリングが実行され(S51)、S51でサンプリングされた音声の特徴量(音声パターン)が抽出される(S52)。そして、発話者音声照合テーブル14を参照して、各対象者の音声の特徴量(音声パターン)とS52で抽出された特徴量(音声パターン)との差分が算出される(S53)。
図12に示すように、発話者音声照合テーブル14には、複数の対象者の音声の特徴量を示す音声パターン情報14aと、その対象者に固有の識別情報(対象者識別情報)14bとが対応付けて記憶されている。S53では発話者音声照合テーブル14が参照されて、全対象者の音声パターン情報14aに基づいて、S52で抽出された音声パターンとの差分が算出される。なお、図12は、対象者「A」,「B」,「C」についての音声パターン情報14a及び対象者識別情報14bが定義されていることを図示している。
そして、S53で算出された各差分のうち、最小値のものの登録対象者の対象者識別情報14bが、S18の対象者情報の作成(図6参照)で用いられる対象者識別情報として設定される(S54)。すなわち、S53における演算の結果、S52で抽出された特徴量(音声パターン)との差分が最も小さい音声パターン情報14aが、S51で取得された音声と最も近似しているため、その音声パターン情報14aに対応する対象者識別情報14bが設定される。
なお、対象者特定処理(S17)で実行される音声照合による対象者の特定は、公知の話者識別や話者照合に関する技術を適用すればよく、有効に音声を発した利用者を特定できるのであれば、いずれの技術を適用してもよい(一例として、特許第2816163号,特許第3098157号,特開2002−221990,特開2001−312295,特開平7−210197など)。
そして、推論処理(S16)で取得された推論種別13a及び推論値13cと、対象者特定処理(S17)で設定された対象者識別情報に基づいて、所定のヘッダー部などを付加した対象者情報10が作成される(S18)。なお、作成された対象者情報10は、HDD140の対象者情報記憶エリア144(図4参照)に保存される。
図13に示すように、対象者情報10には、少なくとも推論値10a,推論種別10b,対象者識別情報10cが含まれている。推論値10a及び推論種別10bは、推論処理(S16)で推論定義テーブル13から取得された推論値13c及び推論種別13aに各々対応する。また、対象者識別情報10cは、対象者特定処理(S17)で発話者音声照合テーブル14から特定された対象者識別情報14bである。図13には、推論値10a「80」及び推論種別10b「鳥肌が立つ」とともに、利用者「A」(図1参照)を示す対象者識別情報10c「A」が図示されている。
そして、S18で作成された対象者情報10は、通信制御部160からアンテナ161を介して催事動向分析装置2に送信される(S19)。S19の送信処理の実行タイミングは対象者情報10の作成時に限定されず、所定期間ごとに又は利用者からの指示がある場合に、S19の送信処理が実行されてもよい。なお、催事動向分析装置2に送信された対象者情報10は、アンテナ292を介して通信制御部291により受信され、催事動向分析装置2のHDD240に設けられた対象者情報記憶エリア(図示外)に保存される。
その後、S14に戻り、意思伝達スイッチ189が「ON」される毎に、最新の対象者情報10が出力される処理が繰り返される(S15〜S19)。このように、意思伝達スイッチ189が「ON」される毎に、最新の対象者情報10が出力される処理が繰り返される結果、HDD140の対象者情報記憶エリア144(図4参照)には、複数の対象者情報10が時系列に保存される。
以上の処理により、対象者特定装置1を携行する利用者「X」が、対象者「A」の発言に「感動」したような場合に、指向性マイク151を対象者「A」に向けて意思伝達スイッチ189を押すと、対象者「A」についての利用者「X」の「感動」に関する対象者情報10が作成されて、催事動向分析装置2に送信される。
次に、催事動向分析装置2での処理の流れを、図14及び図15を参照して説明する。図14は、催事動向分析処理のメインフローチャートである。図15は、催事動向分析情報200のデータ内容の表示例を示す図である。
催事動向分析装置2では、HDD240の対象者情報記憶エリア(図示外)に収集された複数の対象者情報10に基づいて、催事の動向を分析する催事動向分析処理が実行され、本実施の形態では、複数の対象者が参加する会議の盛り上がり具合や中心人物の変遷などの各種動向が分析される。催事動向分析処理では、あらかじめ定められた時間間隔毎に定期的に実行され、又はマウス281やキーボード282から処理実行が指示されると実行される。
図14に示すように、催事動向分析処理では、対象者情報記憶エリア(図示外)から分析対象となる対象者情報10が読み出される(S201)。ここで、対象者情報記憶エリア(図示外)に保存されている全ての対象者情報10を読み出してもよいし、一部のみを読み出してもよい。また、読み出し対象となる対象者情報10を、利用者が選択できるようにしてもよい。
次に、S201で読み出された対象者情報10に基づいて、分析実行処理(S202)が実行されて、催事の動向を示す催事動向分析情報200が作成される。S202で作成された催事動向分析情報200は、HDD240の分析情報記憶エリア241に保存される(S203)。ここで、対象者情報10に基づいて催事動向分析情報200を作成する手法としては、その目的や利用形態に応じて各種手法を適用可能であり、どのような内容の催事動向分析情報200を作成するかも利用者又は設計者の任意である。
図15に示すように、催事動向分析情報200は、現在の時刻を示す「現在日時」201や、催事動向分析処理(図14)が実行される時間間隔を示す「集計間隔」202の他、「会議全体の盛り上がり」203,「主役(優位)」204,「主役獲得時間のTOP」205,「感動度獲得のTOP」206,「集計時間における各対象者に対する感動度」207などのデータ項目を含む。以下では、各データ項目と分析実行処理(S202)との関係について説明する。
「会議全体の盛り上がり」203は、会議全体の盛り上がりの程度を示す指標であり、分析処理(S202)における次のような処理により取得される。すなわち、S201で取得された対象者情報10の推論値10a(図13参照)を総計し、その総計した値を対象者情報10の数量で除算して、推論値10aの平均値を求める。例えば、3つの対象者情報10の推論値10aが、それぞれ「100」,「80」,「60」である場合、図15に示すように、「会議全体の盛り上がり」203として「80%」が設定される。
「主役(優位)」204は、会議における中心人物となっている対象者を示す指標であり、詳細には、「主役(優位)」204a,「前主役(優位)」204b,「前々主役(優位)」204cは、それぞれ今回,前回,前々回の催事動向分析処理(図14)ごとの中心人物を示し、分析処理(S202)における次のような処理により取得される。すなわち、S201で取得された対象者情報10の推論値10aを比較して、最大値の対象者情報10の対象者識別情報10c(図12参照)を特定する。例えば、推論値10aが最大値を示す対象者情報10の対象者識別情報10c「A」であれば、図15に示すように、「主役(優位)」204aとして「A」が設定され、前回に「主役(優位)」204a,「前主役(優位)」204bに設定されていた「B」,「A」が、今回の「前主役(優位)」204b,「前々主役(優位)」204cに設定される。
「主役獲得時間のTOP」205は、会議の開始から現在に至るまでの主役(優位)であった時間が最も長い対象者を示す指標である。この指標は、分析処理(S202)において、会議の開始から現在に至るまでに作成された催事動向分析情報200を統計することで取得される。例えば、現在までの催事動向分析情報200において、「主役(優位)」204に設定された回数が最も多い対象者「A」である場合は、図15に示すように「主役獲得期間のTOP」205として「A」が設定される。
「感動度獲得のTOP」206は会議の開始から現在に至るまでの最も高い「感動」を獲得した対象者を示す指標である。この指標は、分析処理(S202)において、会議の開始から現在に至るまでに、S201で取得された対象者情報10のうちで、推論値10aが最大値を記録した対象者の対象者識別情報10cが取得される。例えば、現在までにS201で取得された対象者情報10のうちで、最大の推論値10aを示す対象者の対象者識別情報10c「B」である場合は、図15に示すように「感動度獲得のTOP」206として「B」が設定される。
「集計時間における各対象者に対する感動度」207は、各対象者が会議の開始から現在に至るまでに獲得した感動度の最大値を示す指標であり、詳細には、対象者「A」,「B」がこれまでに獲得した感動度の最大値が207a,207bに各々設定されており、分析処理(S202)における次のような処理により取得される。すなわち、今回の催事動向分析処理(図14)で取得された対象者情報10のうちで、各利用者ごとの推論値10aの最大値が、現在設定されている「集計時間における各対象者に対する感動度」207より大であれば更新される。例えば、現在設定されている「集計時間におけるAに対する感動度」207aが「50」である場合に、今回の催事動向分析処理(図13)で取得された対象者「A」の推論値10aの最大値が「60」であれば、図15に示すように「集計時間におけるAに対する感動度」207aが「60」に更新される。
以上の処理により、催事動向分析装置2では、複数の利用者「A」,「B」,「C」が各々有する対象者特定装置1で作成された対象者情報10が収集されて、この複数の対象者情報10に基づいて、その会議の盛り上がり具合や中心人物の変遷などの各種動向が分析された催事動向分析情報200が作成される。
以上説明したように、第1の実施の形態の催事動向分析システムによれば、対象者特定装置1を携行する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合、その対象者に指向性マイク151を向けて意思伝達スイッチ189を押すと、その対象者についての利用者の「感動」に関する対象者情報10が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。
また、催事動向分析装置2では、複数の利用者が各々有する対象者特定装置1から取得された対象者情報10をもとに会議の動向を分析されるので、その解析結果を利用すれば、その会議の盛り上がり具合や中心人物の変遷などを把握することができ、対象者情報10の利用範囲を広げることができる。
また、利用者は対象者に指向性マイク151を向けて意思伝達スイッチ189を押すことで、利用者は任意の対象者についての対象者情報10の作成を指示することができ、また、指向性マイク151から取得された音声を分析することで、複数の対象者が任意に移動可能であっても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
次に、本発明の第2の実施の形態を図面を参照して説明する。本実施形態に係る催事動向分析システムは、基本的に第1の実施の形態のものと同一であるが、音声により対象者を特定するための構成が異なる。
まず、第2の実施の形態に係る催事動向分析システムの構成について説明する。図16は、第2の実施の形態における、催事動向分析システムについての全体構成図である。図17は、マイクアレイ制御装置30の電気的構成を示すブロック図である。図18は、発話者位置特定マップ15のデータ構成を示す図である。
図16に示すように、本実施の形態の催事動向分析システムにおいては、第1の実施の形態と同様に、対象者特定装置1は利用者に保持され、体温センサ、発汗センサ及び心拍数センサなどの複数のセンサや意思伝達スイッチ189が設けられているが、指向性マイク151やアンテナ161は設けられていない。
本実施の形態では、複数の対象者があらかじめ定められた固定の位置に存在しており、複数のマイク31,32,33が複数の対象者に向けて設けられている。マイク31,32,33は、例えば室内の壁面や床面に固定的に設置されており、対象者が発した同一音声を各々が集音できるように同一方向に向けられたマイクアレイ38を構成している。なお、図16では発話中の対象者「A」の音声が、右側に位置するマイク31,中央に位置するマイク32,左側に位置するマイク33に各々入力されていることが示されており、マイクアレイ38は少なくとも対象者「A」,「B」,「C」の位置を含む集音領域40の範囲を有効に集音できるものとする。
また、マイクアレイ38からの音声信号を解析して対象者の中から発話者を特定するためのマイクアレイ制御装置30(詳細は後述。)が設けられ、これらの各構成は有線回線34によって相互に接続されている。そして、対象者特定装置1,催事動向分析装置2,マイクアレイ制御装置30は、有線によるネットワーク51を介して相互に接続されている。
なお、本実施の形態では、図16に示すように、複数の対象者「A」,「B」,「C」があらかじめ定められた固定の座席に位置して会議が催されており、その会議を複数の利用者「X」,「Y」,「Z」が視聴しており、対象者特定装置1を保持する利用者「X」が、対象者「A」の発言に「感動」して意思伝達スイッチ189を押下した場合を例示する。
次に、マイクアレイ制御装置30について説明する。図17に示すように、マイクアレイ制御装置30は、CPU310,ROM320,RAM330,HDD340,通信制御部360などを備え、通常のコンピュータ機器と同様な構成をなすため、詳細は省略するが、マイクアレイ38からの音声信号を解析して対象者の中から発話者を特定する後述の発話者特定処理(図20)を実行するための発話者特定プログラム321が、ROM320に記憶されている。
また、発話者特定処理(図20)で用いられ、音源位置に基づいて発話者を特定するための発話者位置特定マップ15が、HDD340に記憶されている。図18に示すように、発話者位置特定マップ15には、各対象者の位置情報15aとその対象者に固有の識別情報(対象者識別情報)15bとが対応付けて記憶されている。なお、図18に示す発話者位置特定マップ15は、集音領域40(図16)に存在する対象者「A」,「B」,「C」についての位置情報15a及び対象者識別情報15bが定義されている。
以下、第2の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。本実施の形態における処理は、基本的には第1の実施の形態と同一であるが、図6に示す対象者情報作成処理における対象者特定処理(S17)の内容が異なる。図19は、第2の実施の形態における、対象者特定処理(S17)の詳細を示すフローチャートである。図20は、発話者特定処理のメインフローチャートである。
図19に示すように、対象者特定処理(S17)では、まずマイクアレイ制御装置30へ、発話中の対象者を示す対象者識別番号を要求する対象者リクエスト信号が送信される(S71)。すると、マイクアレイ制御装置30においては、対象者リクエスト信号が受信されると、CPU310により発話者特定プログラム321が実行されて、発話者特定処理(図20)が開始される。
図20に示すように、発話者特定処理では、まずマイクアレイ38から音声のサンプリングが実行され(S81)、S81でサンプリングされた音声が解析されて、音声波形の位相又は振幅の情報から音源の方向及び距離(音源位置)が特定される(S82)。そして、発話者位置特定マップ15を参照して、S82で特定された音源位置の最も近傍に位置する位置情報15aに対応する対象者識別情報15bが特定され(S83)、S83で特定された対象者識別情報15bが対象者特定装置1に送信される(S84)。
なお、マイクアレイから取得された音声信号を分析して音源位置を特定することで、発話中の話者を特定する技術は公知であって詳細は省略するが、有効に対象者を特定できればいずれの技術も適用できる(一例として、特開2003−304589,特開2001−359185,特開平11−41577,特開平5−244587,特開平10−145763など)。
対象者特定処理(図19)に戻り、対象者特定装置1では、マイクアレイ制御装置30から送信された対象者識別情報が受信されて(S72)、S72で受信された対象者識別情報が、S18の対象者情報の作成(図6参照)で用いられる対象者識別情報として設定される(S73)。その後は、第1の実施の形態と同様に、推論処理(S16)で取得された推論種別13a及び推論値13cと、対象者特定処理(S17)で設定された対象者識別情報に基づいて、所定のヘッダー部などを付加した対象者情報10が作成されて(S18)、対象者情報10が催事動向分析装置2へ送信される(S19)。
このように本実施の形態では、対象者特定装置1を保持する利用者「X」が、対象者「A」の発言に「感動」して意思伝達スイッチ189を押すと、マイクアレイ制御装置30においてマイクアレイ38からの音声信号を分析して音源位置が特定されて、位置が固定された複数の対象者のうちで発話中の対象者「A」が特定される。そのため、第1の実施の形態のように、利用者が対象者特定装置1の指向性マイク151を発話中の対象者に向ける必要がない。
以上説明したように、第2の実施の形態の催事動向分析システムによれば、対象者特定装置1を保持する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合に意思伝達スイッチ189を押すと、その対象者についての利用者の「感動」に関する対象者情報10が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、また推論結果の信頼性を高めることができる。
また、利用者は意思伝達スイッチ189を押すことで、利用者は任意の対象者についての対象者情報10の作成を指示することができ、また、マイクアレイ38から取得された音声の音源の方向及び距離を分析することで、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
次に、本発明の第3の実施の形態を図面を参照して説明する。本実施形態に係る催事動向分析システムは、基本的に第2の実施の形態のものと同一であるが、音声により対象者を特定するための構成が異なる。
まず、第3の実施の形態に係る催事動向分析システムの構成について説明する。図21は、第3の実施の形態における、催事動向分析システムについての全体構成図である。
図21に示すように、本実施の形態の催事動向分析システムにおいては、第2の実施の形態の構成に加え、複数の対象者の位置を計測する光センサである位置センサ39が設けられており、有線回線34を介してマイクアレイ制御装置30と接続されている。また、対象者「A」,「B」,「C」はその位置が固定されておらず、自由に移動可能であり、位置センサ39は集音領域40における対象者「A」,「B」,「C」の存在位置を計測可能である。また、位置センサ39が各対象者を判別して、その位置を特定する技術は各種のものが公知であるが、一例としては、各対象者を一意に判別する対象者識別情報を記憶した非接触素子が、位置センサ39による読み取りが可能な状態で、各対象者に携行されている。
以下、第3の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。本実施の形態における処理は、基本的には第2の実施の形態と同一であるが、後述の発話者位置特定マップ更新処理が実行される点が異なる。図22は、発話者位置特定マップ更新処理のメインフローチャートである。
本実施の形態のマイクアレイ制御装置30では、先述のように、対象者「A」,「B」,「C」が任意に移動可能であるため、発話者位置特定マップ15における位置情報15aと対象者識別情報15bとの対応を、位置センサ39からの情報に基づいて最新のものに更新する発話者位置特定マップ更新処理(図22)が適宜実行される。この発話者位置特定マップ更新処理は、マイクアレイ制御装置30の電源投入時や発話者特定処理(図20)の実行開始前など、任意のタイミングで実行されればよいが、本実施の形態では、マイクアレイ制御装置30の動作中に所定の時間間隔で(例えば、10秒)繰り返し実行されるものとする。
図22に示すように、発話者位置特定マップ更新処理では、まず位置センサ39による計測に基づいて、各対象者の位置情報が取得される(S91)。そして、S91で取得された位置情報に基づいて、発話者位置特定マップ15が最新の内容に更新される(S92)。すなわち、発話者位置特定マップ15における各対象者の位置情報15aが、S91で取得された位置情報に基づいて各々更新されて、最新の利用者の位置情報が反映される。
そして、第2の実施の形態同様に、発話者特定処理(図20)が実行されて、マイクアレイ38からの音声により音源位置が特定され、発話者特定マップ更新処理(図22)により適宜更新された発話者位置特定マップ15に基づいて、この音源位置の最も近傍に位置する対象者が特定される。
このように本実施の形態では、対象者特定装置1を保持する利用者「X」が、対象者「A」の発言に「感動」して意思伝達スイッチ189を押すと、マイクアレイ制御装置30において、マイクアレイ38からの音声信号を分析して音源位置を特定することで、任意に移動可能な複数の対象者のうちで、発話中の対象者「A」が特定される。そのため、第2の実施の形態のように、対象者が所定の位置に固定されていなくても発話中の対象者を特定することができる。
以上説明したように、第3の実施の形態の催事動向分析システムによれば、対象者特定装置1を保持する利用者が、任意に移動可能な複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合に意思伝達スイッチ189を押すと、その対象者についての利用者の「感動」に関する対象者情報10が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。そして、発話者位置特定マップ15が適宜最新の内容に更新されるため、複数の対象者が移動可能であっても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
次に、本発明の第4の実施の形態を図面を参照して説明する。本実施形態に係る催事動向分析システムは、基本的に第1の実施の形態のものと同一であるが、音声により対象者を特定するための構成が異なる。
まず、第4の実施の形態に係る催事動向分析システムの構成について説明する。図23は、第4の実施の形態における、催事動向分析システムについての全体構成図である。図24は、無線マイク制御装置70の電気的構成を示すブロック図である。図25は、発話者マイク特定テーブル16のデータ構成を示す図である。
図23に示すように、本実施の形態の催事動向分析システムにおいては、第1の実施の形態と同様に、対象者特定装置1が利用者に保持され、体温センサ、発汗センサ及び心拍数センサなどの複数のセンサや意思伝達スイッチ189が設けられているが、指向性マイク151やアンテナ161は設けられていない。
本実施の形態では、複数の対象者は各々無線マイク71を携行して任意に移動可能である。無線マイク71は、携行される各利用者が発する音声のみを集音可能な指向性マイクであり、各無線マイク71を一意に識別するためのマイク識別情報が記憶されている。また、無線マイク71は、無線通信によって無線マイク制御装置70と有効に接続されて、各種情報を送受信可能となっている。無線マイク制御装置70は、無線マイク71からの音声信号を解析して対象者の中から発話者を特定するものである。対象者特定装置1,催事動向分析装置2,無線マイク制御装置70は、有線によるネットワーク51を介して相互に接続されている。
なお、本実施の形態では、図23に示すように、無線マイク71a,71b,71cを携行する対象者「A」,「B」,「C」によって会議が催されており、各無線マイク71は小型のピンマイクとして実装されている。また、対象者「A」,「B」,「C」は、各々が携行する無線マイク71a,71b,71cと無線マイク制御装置70との間で有効に通信できる範囲で任意に移動可能である。また、発話中の対象者「A」の音声が無線マイク71aに入力されており、対象者「A」の音声及びマイク識別情報が、無線マイク71aから無線マイク制御装置70に送信されている。そして、以下では、対象者特定装置1を保持する利用者「X」が、対象者「A」の発言に「感動」して意思伝達スイッチ189を押下した場合を例示する。
次に、無線マイク制御装置70について説明する。図24に示すように、無線マイク制御装置70は、CPU710,ROM720,RAM730,HDD740,通信制御部760などを備え、通常のコンピュータ装置の同様な構成をなすため、詳細は省略するが、無線マイク71からの音声に関する情報に基づいて、対象者の中から発話者を特定する後述の発話者特定処理(図26)を実行するための発話者特定プログラム721が、ROM720に記憶されている。
また、後述の発話者特定処理(図26)で用いられ、音声が入力された無線マイク71に基づいて発話者を特定するための発話者マイク特定テーブル16が、HDD740に記憶されている。図25に示すように、発話者マイク特定テーブル16には、先述の各無線マイク71を一意に識別するためのマイク識別情報16aと、その無線マイク71を携行する対象者に固有の識別情報(対象者識別情報)16bとが対応付けて記憶されている。なお、図25に示す発話者特定テーブルは、無線マイク71a,71b,71c(図22)を携行する対象者「A」,「B」,「C」についてのマイク識別情報16a及び対象者識別情報16bが定義されている。
以下、第4の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。本実施の形態における処理は、基本的には第2及び第3の実施の形態と同一であるが、発話者特定処理(図20)の詳細が異なる。図26は、第4の実施の形態における、発話者特定処理のメインフローチャートである。
図26に示すように、発話者特定処理では、まず無線マイク71a,71b,71cから音声のサンプリングが実行され(S101)、S101でサンプリングされた音声が解析されて、最大音量又は最大音圧が入力された無線マイク71のマイク識別番号が特定される(S102)。すなわち、無線マイク71a,71b,71cのうちで、最大音量又は最大音圧が入力されたもののマイク識別情報が特定される。そして、発話者マイク特定テーブル16を参照して、S102で特定されたマイク識別情報16aに対応する対象者識別情報16bが特定され(S103)、S103で特定された対象者識別情報16bが、対象者特定装置1に送信される(S104)。
このように本実施の形態では、対象者特定装置1を保持する利用者「X」が、対象者「A」の発言に「感動」して意思伝達スイッチ189を押すと、無線マイク制御装置70において、最大音量又は最大音圧が入力された無線マイク71aが特定され、その無線マイク71を携行する発話中の対象者「A」が特定される。そのため、第1の実施の形態のように、利用者が対象者特定装置1の指向性マイク151を対象者に向けて意思伝達スイッチ189を押す必要がなく、第2の実施の形態のように、対象者が所定の位置に固定されていなくても発話中の対象者を特定することができる。
以上説明したように、第4の実施の形態の催事動向分析システムによれば、対象者特定装置1を保持する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合に意思伝達スイッチ189を押すと、その対象者についての利用者の「感動」に関する対象者情報10が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。
また、利用者は意思伝達スイッチ189を押すことで、利用者は任意の対象者についての対象者情報10の作成を指示することができ、また、音声が入力された無線マイク71を特定することで、対象者が移動可能であっても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
ところで、上記第1乃至第4の実施の形態において、指向性マイク151,マイクアレイ38,無線マイク71が、本発明の「音声取得手段」に相当する。また、対象者特定プログラム121を実行して対象者特定処理(図11、図19)を実行するCPU110、発話者特定プログラム321を実行して発話者特定処理(図20)を実行するCPU310、発話者特定プログラム721を実行して発話者特定処理(図26)を実行するCPU710が、それぞれ本発明の「対象者特定手段」に相当する。また、体温センサ182,発汗センサ183,心拍数センサ184に接続された入力検知部180が、本発明の「計測値取得手段」に相当する。また、対象者情報作成プログラム122を実行して、推論処理(図9)を実行するCPU110が本発明の「推論情報作成手段」に、対象物情報の作成(図6のS18)を実行するCPU110が本発明の「対象物情報作成手段」に、それぞれ相当する。
また、各種マイクからの音声と、音源の方向及び距離と、音声が入力されたマイクの識別情報とを含む、各種マイクからの音声に関する各種情報が、本発明の「音声に関する音声情報」に相当する。また、推論処理(図9)のS48で取得される推論種別及び推論値が、本発明の「推論情報」に相当する。
また、発話者位置特定マップ15が、本発明の「対象者特定テーブル」に相当し、発話者マイク特定テーブル16が、本発明の「第2の対象者特定テーブル」に相当する。また、意思伝達スイッチ189が、本発明の「意思伝達手段」に相当する。また、HDD240の対象者情報記憶エリア(図示外)が、「対象者情報記憶手段」に相当する。そして、催事動向分析プログラム221を実行して催事動向分析処理(図14)を実行するCPU210が、本発明の「催事動向分析手段」に相当する。
なお、本発明は、以上詳述した第1乃至第4の実施の形態に限定されるものではなく、各種の変形が可能なことはいうまでもない。
例えば、上記実施の形態では、利用者と対象者が別人物であるが、利用者が各種催事を視聴する態様は、直接的に参加者としてでもよいし、間接的に傍観者としてでもよい。例えば、図27に示すように、利用者「A」,「B」,「C」,「D」は、同時に催事に参加する対象者でもある。よって、例えば、利用者「A」が意識や感情などが向けられた対象者として他の利用者「D」を特定したり、他の利用者「C」が利用者「A」を対象者として特定したり等、任意の利用者を対象者とすることができる。
また、対象者特定装置1,催事動向分析装置2,マイクアレイ制御装置30(無線マイク制御装置70)等の各構成は、上記の実施の形態に限定されず、その実装や目的に応じて利用者又は設計者の任意により各種態様で構成できる。例えば、対象者特定装置1とマイクアレイ制御装置30(無線マイク制御装置70)とを一体とした構成としてもよいし、催事動向分析装置2の対象者情報記憶エリア(図示外)と分析情報記憶エリア241とを、それぞれ異なるコンピュータ端末の記憶領域に設けてもよい。
また、上記の第1乃至4の実施の形態を様々に組み合わせて、本発明を実現してもよい。例えば、第4の実施の形態では、複数の無線マイク71のうちで音声が入力されたものを携行する者を、発話中の対象者として特定しているが、第1の実施の形態のように各無線マイク71に入力された音声パターンを分析して、発話中の対象者を特定してもよい。この場合は、第1の実施の形態の対象者特定装置1に具備される対象者特定プログラム121と発話者音声照合テーブル14を、第4の実施の形態の無線マイク制御装置70に具備させればよい。
また、音声を取得するための各種マイク(151,31〜33,71a〜71c)も、任意の種類,位置,数量で設ければよく、また上述のように音声に関する各種情報(音声、音源位置、マイクの種類など)に基づいて発話者を特定する技術も、正確に発話者を特定できるのであれば各種公知技術を適用できる。また、本発明に係る各構成を接続するためのアンテナ161,有線回線34,ネットワーク51などは、有効に接続できれば有線又は無線等の種類は問わないことはいうまでもない。
また、上記実施の形態では、対象者情報10が「感動」について推論される場合を説明しているが、利用者の感情や意識の他にも、雰囲気や重要度等のように、事象の文脈や状況の前後関係などを示すものであって、事実や証拠のみでは把握できない抽象的な概念(コンテクストともいう。)について、対象者情報10が推論されてもよい。そのため、「悲しみ」,「怒り」,「楽しさ」,「賑やかさ」,「忙しさ」等について推論された対象者情報10が作成されてもよい。これは、各対象者情報10の推論内容に対応する推論定義テーブル13を設定することで実現できる。例えば、利用者の「悲しみ」に基づいて対象者情報10を作成したい場合は、「悲しみ」に対応する推論定義テーブル13を設定すればよい。
また、推論定義テーブル13には、あらかじめ任意の推論内容についてのテーブルが利用者又は設計者によって設定されていてもよいし、複数の推論内容の各々に対応する複数のテーブルが推論定義テーブル13にあらかじめ設定されており、対象者情報作成処理(図6)において、自動的に最適なテーブルが選択されるようにしてもよい。
また、本発明における催事とは、会議,演劇,プレゼンテーションに限定されず、複数の参加者によって何らかの目的をもって行われるものであれば、あらゆる催しや行事に適用できる。そして、催事動向分析処理(図14)では催事の動向として様々なものを分析可能であり、図15に例示したものの他、例えば、対象者の人気度や会議の盛り上がりの変遷などを分析してもよい。
また、キャリブレーション処理(図7)では、サンプリング値の時系列データを取得して、その推移の特徴に基づいて基準値を算定するようにしてもよい。また、異常なサンプリング値は除外して基準値を算定するようにしてもよい。また、推論処理(図9)での比較処理(S42,S44,S46)では、各センサ毎に変化閾値εを設けておき、閾値を変化閾値εで補正した補正値で、各センサからの計測値との比較を実行してもよい。例えば、変化閾値εの誤差許容範囲として、閾値の5%程度を設定する等である。
また、各センサからの計測値は、体温、発汗及び心拍数に限定されないことはいうまでもない。例えば、利用者の振動、脳波、呼吸、加速度、傾き、バイオリズムなどを利用者から計測するようにしてもよい。さらに、各センサ(体温センサ182,発汗センサ183,心拍数センサ184)や入力パネル181は、対象者特定装置1に一体として構成されている必要はなく、USBやネットワークなどのインタフェースを介して入力検知部180に遠隔接続して、有効に計測値や入力情報を取得できればよい。
本発明の対象者特定装置,催事動向分析装置及び催事動向分析システムは、会議,演劇,プレゼンテーションなどの各種催事の動向を把握するためのコンピュータ機器に適用できる。
催事動向分析システムについての全体構成図である。 対象者特定装置1の電気的構成を示すブロック図である。 対象者特定装置1のRAM130の記憶エリアの構成を示す概念図である。 対象者特定装置1のHDD140の記憶エリアの構成を示す概念図である。 催事動向分析装置2の電気的構成を示すブロック図である。 対象者情報作成処理のメインフローチャートである。 キャリブレーション処理(S13)の詳細を示すフローチャートである。 計測処理(S15)の詳細を示すフローチャートである。 推論処理(S16)の詳細を示すフローチャートである。 推論定義テーブル13の概要を示す図である。 対象者特定処理(S17)の詳細を示すフローチャートである。 発話者音声照合テーブル14のデータ構成を示す図である。 対象者情報10のデータ構成を示す図である。 催事動向分析処理のメインフローチャートである。 催事動向分析情報200のデータ内容の表示例を示す図である。 第2の実施の形態における、催事動向分析システムについての全体構成図である。 マイクアレイ制御装置30の電気的構成を示すブロック図である。 発話者位置特定マップ15のデータ構成を示す図である。 第2の実施の形態における、対象者特定処理(S17)の詳細を示すフローチャートである。 発話者特定処理のメインフローチャートである。 第3の実施の形態における、催事動向分析システムについての全体構成図である。 発話者位置特定マップ更新処理のメインフローチャートである。 解析実行処理(S22)による展示最適化の詳細を示すフローチャートである。 無線マイク制御装置70の電気的構成を示すブロック図である。 発話者マイク特定テーブル16のデータ構成を示す図である。 第4の実施の形態における、発話者特定処理のメインフローチャートである。 催事動向分析システムについての他の全体構成図である。
符号の説明
1 対象者特定装置
2 催事動向分析装置
13 推論定義テーブル
14 発話者音声照合テーブル
15 発話者位置特定マップ
16 発話者マイク特定テーブル
30 マイクアレイ制御装置
38 マイクアレイ
39 位置センサ
70 無線マイク制御装置
71 無線マイク
110 CPU
115 バス
121 対象者特定プログラム
122 対象者情報作成プログラム
130 RAM
140 HDD
150 音声制御部
151 指向性マイク
160 通信制御部
161 アンテナ
180 入力検知部
181 入力パネル
182 体温センサ
183 発汗センサ
184 心拍数センサ
189 意思伝達スイッチ
190 計時装置
210 CPU
215 バス
221 催事動向分析プログラム
230 RAM
240 HDD
241 分析情報記憶エリア
260 表示制御部
261 ディスプレイ
270 音声制御部
271 マイク
272 スピーカ
280 入力検知部
281 マウス
282 キーボード
291 通信制御部
292 アンテナ

Claims (10)

  1. 外部から音声を取得する音声取得手段と、
    前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定する対象者特定手段と、
    少なくとも1個以上のセンサから、計測値を取得する計測値取得手段と、
    前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、
    前記対象者特定手段により特定された対象者を識別するための対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段とを備えることを特徴とする対象者特定装置。
  2. 前記音声取得手段は、向けられた方向からの音声のみを集音する指向性マイクであり、
    前記対象者特定手段は、前記指向性マイクにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする請求項1に記載の対象者特定装置。
  3. 前記音声取得手段は、外部から音声を集音可能なマイクを複数備えたマイクアレイであり、
    前記対象者特定手段は、前記マイクアレイにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする請求項1に記載の対象者特定装置。
  4. 対象者とその存在位置とを対応付けた対象者特定テーブルを備え、
    前記対象者特定手段は、前記マイクアレイにおいて集音された音声の音源の方向及び距離を分析して、該音声を発した対象者の存在位置を特定し、前記対象者特定テーブルから該存在位置に対応する対象者を特定することを特徴とする請求項3に記載の対象者特定装置。
  5. 前記音声取得手段は、外部から音声を集音可能な複数のマイクであり、
    前記対象者特定手段は、対象者が発した音声が入力された前記マイクに基づいて、該音声を発した対象者を特定することを特徴とする請求項1に記載の対象者特定装置。
  6. 対象者と前記マイクとを対応付けた第2の対象者特定テーブルを備え、
    前記対象者特定手段は、対象者が発した音声が入力された前記マイクを特定して、前記第2の対象者特定テーブルから該マイクに対応する対象者を特定することを特徴とする請求項5に記載の対象者特定装置。
  7. 利用者自身が操作して対象者の特定を指示するための意思伝達手段を備え、
    前記対象者特定手段は、前記意思伝達手段から対象者の特定を指示された場合、前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定することを特徴とする請求項1乃至6のいずれかに記載の対象者特定装置。
  8. 前記対象者特定手段は、前記音声取得手段が複数の音声を取得した場合、該複数の音声のうちで最大音量又は最大音圧のものに基づいて対象者を特定することを特徴とする請求項1乃至7のいずれかに記載の対象者特定装置。
  9. 請求項1乃至8のいずれかに記載の対象者特定装置と、
    前記対象者情報作成手段により作成された複数の前記対象者情報を記憶する対象者情報記憶手段と、
    前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えることを特徴とする催事動向分析装置。
  10. 外部から音声を取得して対象者を特定する音声取得装置と、利用者に関する推論を実行して対象者情報を作成する複数の対象者情報作成装置と、対象者により行われる催事の動向を分析する催事動向分析装置とが、ネットワークを介して接続された催事動向分析システムであって、
    前記音声取得装置は、
    外部からの音声の取得を実行する音声取得手段と、
    前記音声取得手段により取得された音声に関する音声情報に基づいて、対象者を特定する対象者特定手段と、
    前記対象者特定手段により特定された対象者を識別するための対象者識別情報を、前記推論情報作成手段に送信する対象者識別情報送信手段とを備え、
    前記対象者情報作成装置は、
    前記対象者識別情報送信手段により送信された対象者識別情報を受信する対象者識別情報受信手段と、
    少なくとも1個以上のセンサから、計測値を取得する計測値取得手段と、
    前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、
    前記対象者識別情報受信手段により受信された前記対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段と、
    前記対象者情報作成手段により作成された前記対象者情報を前記催事動向分析装置に送信する対象者情報送信手段とを備え、
    前記催事動向分析装置は、
    前記対象者情報送信手段により送信された前記対象者情報を受信する対象者情報受信手段と、
    前記対象者情報受信手段により受信された前記対象者情報を記憶する対象者情報記憶手段と、
    前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えることを特徴とする催事動向分析システム。
JP2004177380A 2004-06-15 2004-06-15 対象者特定装置,催事動向分析装置及び催事動向分析システム Withdrawn JP2006003451A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004177380A JP2006003451A (ja) 2004-06-15 2004-06-15 対象者特定装置,催事動向分析装置及び催事動向分析システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004177380A JP2006003451A (ja) 2004-06-15 2004-06-15 対象者特定装置,催事動向分析装置及び催事動向分析システム

Publications (1)

Publication Number Publication Date
JP2006003451A true JP2006003451A (ja) 2006-01-05

Family

ID=35771918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004177380A Withdrawn JP2006003451A (ja) 2004-06-15 2004-06-15 対象者特定装置,催事動向分析装置及び催事動向分析システム

Country Status (1)

Country Link
JP (1) JP2006003451A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852329B2 (en) 2015-07-24 2017-12-26 International Business Machines Corporation Calculation of a characteristic of a hotspot in an event
CN111429914A (zh) * 2020-03-30 2020-07-17 招商局金融科技有限公司 麦克风控制方法、电子装置及计算机可读存储介质
WO2021010056A1 (ja) * 2019-07-17 2021-01-21 ホシデン株式会社 マイクユニット
US10915178B2 (en) 2015-11-11 2021-02-09 Sony Corporation Communication system, server, storage medium, and communication control method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852329B2 (en) 2015-07-24 2017-12-26 International Business Machines Corporation Calculation of a characteristic of a hotspot in an event
US10915178B2 (en) 2015-11-11 2021-02-09 Sony Corporation Communication system, server, storage medium, and communication control method
US11449148B2 (en) 2015-11-11 2022-09-20 Sony Corporation Communication system, server, storage medium, and communication control method
WO2021010056A1 (ja) * 2019-07-17 2021-01-21 ホシデン株式会社 マイクユニット
CN114080641A (zh) * 2019-07-17 2022-02-22 星电株式会社 麦克风单元
US12057127B2 (en) 2019-07-17 2024-08-06 Hosiden Corporation Microphone unit
CN111429914A (zh) * 2020-03-30 2020-07-17 招商局金融科技有限公司 麦克风控制方法、电子装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US10842463B2 (en) Systems, devices, and methods for capturing and outputting data regarding a bodily characteristic
US8540650B2 (en) Method and an apparatus for measuring and analyzing movements of a human or an animal using sound signals
US8125314B2 (en) Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream
JP4396175B2 (ja) コンテンツ再生装置及びコンテンツ再生方法
JP2005021255A (ja) 制御装置及び制御方法
JP6742380B2 (ja) 電子装置
JP7367690B2 (ja) 情報処理装置
WO2015036649A1 (en) Remote wireless display for biometric data with bidirectional communications
CN104133851A (zh) 音频相似度的检测方法和检测装置、电子设备
JP7401634B2 (ja) サーバ装置、プログラムおよび方法
CN106878390A (zh) 电子宠物互动控制方法、装置及可穿戴设备
CN109222903A (zh) 帕金森病患者异常动作提示方法及装置
TW200929108A (en) Limb interactively learning method and apparatus
US20230390608A1 (en) Systems and methods including ear-worn devices for vestibular rehabilitation exercises
JP2006003451A (ja) 対象者特定装置,催事動向分析装置及び催事動向分析システム
JP2015019936A (ja) ネットワークシステム、端末、サーバー、プログラム、並びにトレーニング支援方法
CN210052319U (zh) 手持式普通话训练器
JP6726256B2 (ja) プログラム、ゲームサーバ、情報処理端末、方法およびゲームシステム
KR102361994B1 (ko) 배틀 게임 시스템
JP5447930B2 (ja) 遊戯システム及び遊戯装置
WO2012117335A2 (en) System and method for operating and/or controlling a functional unit and/or an application based on head movement
CN113158917A (zh) 行为模式识别方法及装置
CN118356185A (zh) 人体活动信号检测方法、装置、终端设备以及存储介质
JP2020025763A (ja) 測定指示装置、システム、方法及びプログラム
CN115414025A (zh) 筛查方法、设备、存储介质及程序产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070328

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080212

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090805