JP2018098545A - Robot, operation control system, operation control method, and program - Google Patents
Robot, operation control system, operation control method, and program Download PDFInfo
- Publication number
- JP2018098545A JP2018098545A JP2016238785A JP2016238785A JP2018098545A JP 2018098545 A JP2018098545 A JP 2018098545A JP 2016238785 A JP2016238785 A JP 2016238785A JP 2016238785 A JP2016238785 A JP 2016238785A JP 2018098545 A JP2018098545 A JP 2018098545A
- Authority
- JP
- Japan
- Prior art keywords
- content
- unit
- user
- emotion
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、ロボット、動作制御システム、動作制御方法及びプログラムに関する。 The present invention relates to a robot, an operation control system, an operation control method, and a program.
ロボットの動きを放送内容に連動させる技術が知られている。例えば、特許文献１には、放送局がロボットの動作情報をデータ放送として映像情報と共に配信し、配信された情報を受信した受信装置が映像情報と同期させて該動作情報をロボットへ送信することにより、映像と同期してロボットを動作させる技術が開示されている。 A technique for linking the movement of a robot to the broadcast content is known. For example, in Patent Document 1, a broadcast station distributes robot operation information together with video information as a data broadcast, and a receiving device that receives the distributed information transmits the operation information to the robot in synchronization with the video information. Thus, a technique for operating a robot in synchronization with a video is disclosed.
特許文献１に開示されている技術は、配信された動作情報に従ってロボットを動作させることができる。しかし、このロボットは、配信された動作情報に従って動作するだけであり、コンテンツに対するユーザの関心度に基づく動作をすることはできない。 The technique disclosed in Patent Literature 1 can operate a robot according to distributed motion information. However, this robot only operates according to the distributed operation information, and cannot operate based on the user's degree of interest in the content.
本発明はこのような事情に鑑みてなされたものであって、コンテンツに対するユーザの関心度に基づく動作をすることが可能なロボット、動作制御システム、動作制御方法及びプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to provide a robot, an operation control system, an operation control method, and a program capable of performing an operation based on a user's interest in content. To do.
上記目的を達成するため、本発明に係るロボットは、
コンテンツに挿入されている挿入データを取得する取得部と、
前記取得部が取得した前記挿入データに対するユーザの関心度に基づいて、自装置の動作内容を決定する動作内容決定部と、
前記動作内容決定部が決定した動作内容に基づいて前記自装置を動作させる動作制御部と、
を備える。
In order to achieve the above object, a robot according to the present invention provides:
An acquisition unit for acquiring insertion data inserted in the content;
An operation content determination unit that determines the operation content of the device based on the degree of interest of the user with respect to the insertion data acquired by the acquisition unit;
An operation control unit for operating the device based on the operation content determined by the operation content determination unit;
Is provided.
本発明によれば、ロボットが、コンテンツに対するユーザの関心度に基づく動作をすることを可能にする。 According to the present invention, it is possible for the robot to perform an operation based on the degree of interest of the user with respect to the content.
以下、本発明の実施形態に係るロボット、動作制御システム、動作制御方法及びプログラムについて、図面を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。 Hereinafter, a robot, an operation control system, an operation control method, and a program according to an embodiment of the present invention will be described with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals.
本発明の実施形態に係る動作制御システム１０００は、図１に示すように、ロボット１００と、コンテンツ再生装置２００と、コンテンツ配信装置３００と、を備える。コンテンツ配信装置３００は、放送網（電波等）又はＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを介して、コンテンツ再生装置２００にコンテンツを配信する。コンテンツ再生装置２００は、コンテンツ配信装置３００から配信されたコンテンツを再生する。一般にコンテンツは、映像、音声及びデータから構成されるが、これらの一部のみから構成されるコンテンツもあり得る。例えば、映像のみ、音声のみ、映像と音声のみ、映像とデータのみ、音声とデータのみ、からなるコンテンツである。動作制御システム１０００で用いるコンテンツには、図２に示すように、ロボット１００の動作を制御するための動作制御データ（挿入データ）が、映像及び／又は音声に挿入されている。図３に示すように、動作制御データには、コンテンツに関連するキーワード等が含まれており、ロボット１００が動作内容を決定するために使用する。
As illustrated in FIG. 1, the
ロボット１００は、コンテンツ再生装置２００によって再生されたコンテンツに挿入されている動作制御データを取得する。そしてロボット１００は、取得した動作制御データに含まれるキーワードに対するユーザ４００の関心度に基づいて、動作、仕草、表情、声等を用いてユーザ４００に該コンテンツの情報を知らせる。そしてロボット１００は、該コンテンツを視聴したユーザ４００の反応（表情、動作、仕草、声等）に基づいてユーザ４００の感情を判定し、判定した感情の値をコンテンツ配信装置３００に送信する。なお、関心度とは、関心の高さを示す値であり、０％から１００％までの値を取る。また、コンテンツには、音声の含まれないコンテンツ及び映像の含まれないコンテンツもあり得るため、「コンテンツを視聴したユーザ」には、「コンテンツを見たユーザ」及び「コンテンツを聴いたユーザ」が含まれる。１台のコンテンツ配信装置３００からコンテンツの配信を受けるコンテンツ再生装置２００は１台以上存在する。また１台のコンテンツ再生装置２００から動作制御データを取得するロボット１００は１台以上存在する。そして、各ロボット１００は、通常１人のユーザ４００によって所有される。
The
コンテンツに動作制御データを挿入する者（動作制御データ挿入者）は、コンテンツ配信業者、コンテンツ制作者、コンテンツ配信のスポンサー等である。コンテンツ中に動作制御データが挿入されていると、ロボット１００は、該動作制御データに含まれる情報に基づいて動作等（動作、仕草、表情、声等）の内容を決定し、ユーザ４００の気を引くように該動作等を行う。動作制御データ挿入者は、このロボット１００の動作等によって、ユーザ４００がコンテンツの内容により関心を持つことを期待している。したがって、動作制御データ挿入者は、ユーザ４００に関心を持たせたいと考える「もの」又はユーザ４００が関心を持っているであろうと考える「もの」がコンテンツに含まれる場合に、該コンテンツに動作制御データを挿入する。その際、動作制御データ挿入者は、コンテンツのその「もの」が再生される直前の部分に、その「もの」を示すキーワードを含む動作制御データを挿入する。そして、この動作制御データを取得したロボット１００は、動作制御データに含まれるキーワードに対するユーザ４００の関心度等に応じて、動作等の内容を決定する。ロボット１００によるこの動作等により、ユーザ４００は、自分が関心を持っている「もの」がコンテンツ再生装置２００から再生されることを事前に知ることができる。
The person who inserts the operation control data into the content (the operation control data inserter) is a content distributor, a content creator, a content distribution sponsor, or the like. When motion control data is inserted into the content, the
ロボット１００は、図４（Ａ）及び図４（Ｂ）に示すように、外観的には小型犬を模した立体的な形状を有する。ロボット１００は、頭部１５１、胴部１５２、左右一対の手部１５７、左右一対の足部１５８及び尻尾部１５９を備える。また、頭部１５１は、左右一対の耳部１５３、左右一対の眼部１５４、鼻部１５５及び口部１５６を有する。口部１５６は、頭部１５１の下部に設けられた開口の形状を変化させる一般的な機構を有し、開口の形状の変化により種々の表情を表出する。なお、ロボット１００の形状は、小型犬を模した立体的な形状に限定されるわけではなく、任意の形状を採用することができるが、ユーザ４００に対して、種々の仕草及び表情を表出可能であることが望ましい。
As shown in FIGS. 4A and 4B, the
ロボット１００は、機能的には、図５に示すように、制御部１１０、記憶部１２０、移動部１３１、可動部１３２、表示部１３３、音出力部１３４、通信部１３５及びセンサ部１４０、を備える。
Functionally, the
制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を備える。制御部１１０は、記憶部１２０に記憶されたプログラムを実行することにより、後述する各部（取得部１１１、動作内容決定部１１２、動作制御部１１３、感情判定部１１４、関心度更新部１１５及び感情判定値送信部１１６）の機能を実現する。また、制御部１１０は図示しない時計部を備え、現在時刻を取得することができる。
The
記憶部１２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。ＲＯＭは制御部１１０のＣＰＵが実行するプログラム及び、プログラムを実行する上で予め必要なデータを記憶する。ＲＡＭは、プログラム実行中に作成されたり変更されたりするデータが記憶される。また、記憶部１２０は、キーワード関心度対応表１２１、関心度動作内容対応表１２２及びロボットＩＤ１２３を記憶している。
The
キーワード関心度対応表１２１は、図６に示すように、キーワードと、そのキーワードに対するロボット１００のユーザ４００の関心度と、を対応付けたテーブルである。ロボット１００のユーザ４００は、キーワード関心度対応表１２１の内容を、通信部１３５を介して通信可能なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等からの入力により、自由に設定することができる。ユーザ４００は、関心が高いキーワードには、１００％を上限として、高い値を関心度に設定する。ユーザ４００は、関心がないキーワードについては、キーワード関心度対応表１２１から削除するか、又は、関心度に０％を設定する。
As shown in FIG. 6, the keyword interest level correspondence table 121 is a table in which keywords are associated with the interest levels of the
また、キーワード関心度対応表１２１は、図７に示すように、ユーザ４００がキーワードに対して抱く感情を含んだテーブルとしても良い。感情を含んだテーブルにすると、ロボット１００がキーワードに基づく動作をする際に、感情の値も用いて動作の内容を決定することができる。また、ロボット１００が、後述する撮像部１４１及び音入力部１４２を用いて複数のユーザ４００を認識することができる場合には、図８に示すような、認識可能なユーザ４００毎のキーワード関心度対応表１２１としても良い。この場合も、さらに、感情を含んだテーブルにすることが可能である。
Further, as shown in FIG. 7, the keyword interest level correspondence table 121 may be a table including emotions that the
関心度動作内容対応表１２２は、図９に示すように、関心度の大きさに応じたロボット１００の動作内容を記憶したテーブルである。動作内容としては、移動部１３１による移動、可動部１３２による表情変化及び動き、表示部１３３による眼部１５４の表情変化、音出力部１３４による発声等、任意の動作を設定することができる。なお、可動部１３２による表情変化及び動きとは、頭部１５１の表情変化、回転及び傾げ、耳部１５３の動き、口部１５６の動き、手部１５７の動き、足部１５８の動き、尻尾部１５９の動き等である。また、図９に示す関心度動作内容対応表１２２は、関心度の大きさだけでなく、感情の値も考慮した動作内容を記憶しているが、感情の項目は省略しても良い。関心度動作内容対応表１２２は、感情の項目を含む場合は、ユーザ４００にその感情を抱かせるような動作内容を記憶している。
The interest level operation content correspondence table 122 is a table storing the operation content of the
ロボットＩＤ１２３は、ロボット１００を一意に識別するためのＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である。基本的に各ユーザ４００は、それぞれ異なるロボット１００を所有しているため、コンテンツ配信装置３００は、ロボットＩＤ１２３を、ユーザ４００のＩＤに相当するものとして扱うことができる。
The
移動部１３１は、ロボット１００を移動させるための部位である。移動部１３１は、ロボット１００の左右一対の足部１５８の各々の底部に設けられた左右一対の車輪と、左右一対の車輪を回転駆動するモータと、モータを駆動制御する駆動回路と、を備える。駆動回路は、制御部１１０からの制御信号に従って、モータに駆動用のパルス信号を供給する。モータは、駆動用のパルス信号に従って、左右一対の車輪を回転駆動させ、ロボット１００を移動させる。なお、左右一対の車輪がそれぞれ独立して回転駆動するように構成され、ロボット１００が前進、後退、旋回、加減速等の走行が可能であれば、モータの数は任意である。例えば、連結機構又は操舵機構を設ける等して１つのモータで左右一対の車輪を駆動させてもよい。また、モータの数に合わせて駆動回路の数も適宜変更することができる。また、車輪の代わりにクローラを備えても良い。また、ロボット１００の形状によっては、複数（例えば２本）の足を備え、足で歩行することによって移動しても良い。この場合、移動部１３１は、複数の足と、その足を動かすモータと、モータを駆動制御する駆動回路と、を備える。
The moving
可動部１３２は、制御部１１０の制御に従って所定の動きをする部位である。可動部１３２は、頭部１５１、手部１５７、足部１５８、尻尾部１５９等の被駆動部材と、被駆動部材を駆動するアクチュエータ等の駆動部材と、駆動部材を駆動制御する駆動回路と、を備える。制御部１１０の制御の下、駆動回路から供給された駆動信号に従って駆動部材が被駆動部材を駆動することにより、可動部１３２は、例えば、手足を動かす、頭を上下左右に振る、等の動作を行う。
The
表示部１３３は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又は有機ＥＬ（Ｅｌｅｃｔｒｏ−ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等のディスプレイと、表示ドライバと、を備える。表示ドライバが、制御部１１０からの制御信号に基づいて、ディスプレイに表示する内容に応じた駆動信号をディスプレイに出力することによって、表示画面上への表示が行われる。ディスプレイは、左右一対の眼部１５４に設置され、目の開き具合、傾き、瞳等を表示する。眼部１５４に設置された表示部１３３により、ロボット１００は、目で様々な表情を表現することが可能である。
The
音出力部１３４は、スピーカを備え、制御部１１０により生成された音データを音に変換して外部に出力する。スピーカは、例えば、口部１５６に嵌め込まれて設置される。
The
通信部１３５は、無線通信モジュール及びアンテナを備え、外部装置とのデータ通信を可能にする。ロボット１００は、通信部１３５を介して、コンテンツ配信装置３００とデータ通信を行うことができる。
The
センサ部１４０として、撮像部１４１と、音入力部１４２と、を備える。
As the
撮像部１４１は、画像を撮影するカメラを備える。カメラは、鼻部１５５等、眼部１５４の付近に設置され、ロボット１００の正面に存在する物体を撮影する。ロボット１００が移動及び回転したり、頭部１５１を上下左右に振ったりすることにより、撮像部１４１が撮影する対象を変更することができる。また、ロボット１００は、ユーザ４００を撮影する撮像部１４１と、コンテンツ再生装置２００が再生する映像を撮影するコンテンツ撮像部（図示せず）と、を別々に設けても良いし、１つの撮像部１４１が、コンテンツ撮像部を兼ねても良い。以下では、１つの撮像部１４１が、コンテンツ撮像部を兼ねるものとして説明する。
The
音入力部１４２は、音を収集するマイクロフォンを備える。マイクロフォンは、左右一対の耳部１５３に設置される。ロボット１００は、左右一対のマイクロフォンを備えているので、必要に応じて頭部１５１を上下左右に振って左右のマイクロフォンで取得される音量の差を把握することによって、音の発生方向を検出することができる。また、ロボット１００は、ユーザ４００の声を収集する音入力部１４２と、コンテンツ再生装置２００が再生する非可聴域の音を収集するコンテンツ音入力部（図示せず）と、を別々に設けても良いし、１つの音入力部１４２が、コンテンツ音入力部を兼ねても良い。以下では、１つの音入力部１４２が、コンテンツ音入力部を兼ねるものとして説明する。
The
また、センサ部１４０は、これらに加えて、人感センサ、距離センサ、温度センサ、気圧センサ、ジャイロセンサ等を備えても良い。備えるセンサの数を増やすことにより、ロボット１００は、動作をよりきめ細やかに制御することが可能になる。
In addition to these, the
次に、制御部１１０の機能構成について説明する。制御部１１０は、機能的には、取得部１１１、動作内容決定部１１２、動作制御部１１３、感情判定部１１４、関心度更新部１１５及び感情判定値送信部１１６を備える。
Next, the functional configuration of the
取得部１１１は、コンテンツに挿入されている動作制御データを検出し、動作制御データに含まれているキーワードを取得する。
The
ここで、動作制御データの詳細について説明する。動作制御データは、図３に示すように、「ＩＤ」、「キーワード」、「動作タイミング」、「感情」、「数」、「動作指示」を含む。「ＩＤ」は、動作制御データＩＤであり、動作制御データを一意に識別するものである。コンテンツ配信装置３００は、後述する動作制御データＤＢ（ＤａｔａＢａｓｅ）３２２を参照することによって、この動作制御データＩＤに基づいて、この動作制御データが挿入されたコンテンツの配信日時及び番組名を取得することができる。「キーワード」は、動作制御データの挿入位置の直後のコンテンツに含まれている「もの」（動作制御データ挿入者が「ユーザ４００に関心を持たせたい」又は「ユーザ４００が関心を持っているであろう」と考える「もの」）を示すキーワードである。
Details of the operation control data will be described here. As shown in FIG. 3, the motion control data includes “ID”, “keyword”, “motion timing”, “emotion”, “number”, and “motion instruction”. “ID” is an operation control data ID, and uniquely identifies the operation control data. The
「動作タイミング」は、「キーワード」に対し、ロボット１００が動作を開始するタイミングを表す動作タイミング情報である。「動作タイミング」は省略可能であり、省略されている場合は、ロボット１００は、動作制御データからキーワードを取得したらすぐに動作を開始する。なお、ロボット１００は、動作制御データを取得するのに時間を要する場合がある。また、動作制御データの取得に失敗する場合がある。したがって、動作制御データをより確実にロボット１００に取得させるためには、ロボット１００に動作して欲しいタイミングよりも時間的にかなり前のコンテンツの位置（例えば数分前）から、該動作制御データを複数回に渡って挿入しておくことが望ましい。ロボット１００は、どのようなタイミングで動作制御データを取得した場合でも、「動作タイミング」を参照することによって、適切なタイミングで動作を開始することができる。
“Operation timing” is operation timing information indicating the timing at which the
「感情」は、動作制御データ挿入者がロボット１００の動作で表現してほしい感情を表す感情情報である。言い換えると、動作制御データ挿入者が、ロボット１００の動作によって、ユーザ４００に抱かせたい感情を表す。この「感情」は、関心度動作内容対応表１２２の「感情」の項目に対応する。動作内容決定部１１２は、関心度動作内容対応表１２２に感情の項目が含まれる場合には、ロボット１００の動作内容を「感情」に対応する動作内容に決定する。「感情」に基づき動作内容にバリエーションを持たせることによって、ロボット１００は、ユーザ４００により関心を持たせる動作をすることができる。なお、動作制御データの「感情」の項目は省略可能である。動作制御データに「感情」の項目が含まれず、関心度動作内容対応表１２２に感情の項目が含まれる場合には、動作内容決定部１１２は、「感情」の値が「喜び」であるとして動作内容を決定する。
“Emotion” is emotion information representing an emotion that the motion control data inserter wants to express by the motion of the
「数」は、その後に続くロボット１００への「動作指示」の個数を表す。「動作指示」は動作制御データ挿入者がロボット１００に実行してほしい動作内容を表す動作指示情報である。動作指示には「任意」と「強制」の２種類があり、ロボット１００は、「任意」の動作指示は無視しても良いが、「強制」の動作指示は必ず実行しなければならない。この「動作指示」により、ロボット１００は、ロボット１００自身が記憶している（有限の）動作内容だけでなく、「動作指示」で指示される任意の（無限の可能性のある）動作を行うことができる。
“Number” represents the number of “operation instructions” to the
図３では、わかりやすさのために、「感情」及び「動作指示」を自然言語で示しているが、実際にはこれらはコード化されて動作制御データ内に設定される。感情については、例えば、喜びは１、驚きは２、悲しみは３にコード化される。また、動作指示は任意と強制の２種類があるが、例えば、任意は０、強制は１にコード化される。動作指示対象については、例えば、眼部１５４は１、耳部１５３は２、尻尾部１５９は３、口部１５６は４、手部１５７は５、足部１５８は６、頭部１５１は７、声は８にコード化される。また頻繁に指示すると想定される動作については動作指示の内容そのものもコード化される。例えば、「尻尾を振る」は３１、「目をニコニコした表情にする」は１１等である。動作指示の内容を細かく指定したい場合は、データの種別を示すコードとともに、動作指示のためのデータそのものを動作制御データに設定する。動作指示のためのデータそのものとは、例えば眼部１５４に表示する画像データ、音出力部１３４から発声する音声データ、等が挙げられる。
In FIG. 3, “emotion” and “motion instruction” are shown in natural language for easy understanding, but in actuality, these are coded and set in motion control data. For emotion, for example, joy is coded as 1, surprise is coded as 2, and sadness is coded as 3. There are two types of operation instructions, arbitrary and forced. For example, arbitrary is coded as 0 and forced is coded as 1. Regarding the operation instruction target, for example, the
動作制御データ挿入者は、コンテンツの音及び／又は映像の部分に動作制御データを挿入する。つまり、挿入する部分は、音、映像、音及び映像、の３つの形態がある。これら３つのいずれの形態でも、動作制御データは、後述するように、人には認識できないような形で挿入される。動作制御データがコンテンツの音及び／又は映像に挿入されることによって、コンテンツを単に再生するだけで動作制御データがロボット１００に送信されることになる。したがって、コンテンツ再生装置２００は、動作制御データをロボット１００に送信するために、特別な構成を付加する必要がなく、特別な処理をする必要もない。
The motion control data inserter inserts motion control data into the sound and / or video portion of the content. That is, there are three forms of the insertion part: sound, video, sound and video. In any of these three forms, the operation control data is inserted in a form that cannot be recognized by a person, as will be described later. By inserting the motion control data into the sound and / or video of the content, the motion control data is transmitted to the
動作制御データ挿入者が動作制御データを音に挿入する場合には、通常の人には聞こえない非可聴域の周波数（例えば１７ｋＨｚ以上の周波数）の音波による信号によって、動作制御データを挿入する。動作制御データ挿入者が動作制御データを映像に挿入する場合には、２種類の方法がある。１つは知覚困難型の電子透かしと同様の技術を利用したもので、例えば、人には認識できない輝度データによる信号を挿入する方法である。もう１つは、人には知覚できない超短時間（例えば１フレーム）の映像に信号を挿入する方法である。なお、単位時間当たりの情報量は音より映像の方が多いことから、動作制御データを、音に挿入するよりも映像に挿入する方が、同じ時間でより多くの情報量を挿入することができる。 When the motion control data inserter inserts the motion control data into the sound, the motion control data is inserted by a signal from a sound wave having a frequency in a non-audible range (for example, a frequency of 17 kHz or higher) that cannot be heard by a normal person. When the motion control data inserter inserts motion control data into a video, there are two types of methods. One is a technique that uses a technique similar to a perceptual digital watermark, for example, a method of inserting a signal based on luminance data that cannot be recognized by humans. The other is a method of inserting a signal into an image of an extremely short time (for example, one frame) that cannot be perceived by humans. In addition, since the amount of information per unit time is larger in the video than in the sound, it is possible to insert a larger amount of information in the same time when the motion control data is inserted into the video than in the sound. it can.
ロボット１００は、ユーザ４００及びコンテンツ再生装置２００の近くにいて、コンテンツ再生装置２００から再生されるコンテンツに挿入された動作制御データを認識する。ここで、ロボット１００が、映像に挿入された動作制御データを認識するには、コンテンツ再生装置２００によって再生されている映像（画像）を、撮像部１４１で撮影する必要がある。しかし、ロボット１００がこの映像を撮影できるか否かは、ロボット１００とコンテンツ再生装置２００との位置関係に依存する。これに対し、ロボット１００は、音声に挿入された動作制御データであれば、コンテンツ再生装置２００によって再生されている音を音入力部１４２で収集できる位置にいる限り、この動作制御データを認識できると考えられる。
The
そこで、動作制御データは、少なくとも音には挿入し、音だけでは情報量が足りない場合に映像にも挿入するのが望ましい。前述したように、ロボット１００は、音入力部１４２により音の発生源の方向を検出できる。このため、ロボット１００は、音に挿入された動作制御データを認識したら、その音の発生源の方に移動して音の発生源の方向を向くことにより、動作制御データが挿入された映像を撮像部１４１で撮影することが可能になる。
Therefore, it is desirable to insert the operation control data into at least the sound, and also insert it into the video when the amount of information is insufficient with the sound alone. As described above, the
例えば、動作制御データ挿入者は、動作制御データのＩＤとキーワードだけからなる動作制御データを音に挿入し、図３に示す全ての情報からなる動作制御データを映像に挿入することができる。この場合、ロボット１００は、音に挿入する動作制御データと映像に挿入する動作制御データとが対応しているか否かを、動作制御データのＩＤが同一か否かによって判定することができる。前述したように、動作制御データをコンテンツに挿入する方法にはいくつかの方法があるが、どの方法で挿入するかは事前に取り決めておき、コンテンツ配信装置３００が配信するコンテンツへの動作制御データの挿入方法をロボット１００は把握しているものとする。
For example, the motion control data inserter can insert motion control data including only the ID and keyword of the motion control data into the sound, and can insert motion control data including all the information shown in FIG. 3 into the video. In this case, the
制御部１１０の機能構成の説明の続きに戻る。動作内容決定部１１２は、取得部１１１が取得したキーワードに対するユーザ４００の関心度を、キーワード関心度対応表１２１から求める。そして、その関心度に応じた自装置（ロボット１００）の動作内容を、関心度動作内容対応表１２２に基づいて決定する。
Returning to the description of the functional configuration of the
動作制御部１１３は、動作内容決定部１１２が決定した動作内容に基づいて、移動部１３１、可動部１３２、表示部１３３及び音出力部１３４を制御して、自装置であるロボット１００に、所定の動作、仕草及び表情を表出させ、また、声を出させる。
The
感情判定部１１４は、撮像部１４１で撮影したユーザ４００の顔の認識結果と、音入力部１４２で収集したユーザ４００の声の認識結果と、に基づき、ユーザ４００の感情を判定する。感情には種々の種類があるが、感情判定部１１４は、主に「喜び」の感情を判定し、「喜び」の感情の大きさに応じた感情判定値を定める。例えば、顔認識による感情判定値については、顔の認識結果として、「笑い」を認識したら「７」、「通常」を認識したら「５」、「泣き」を認識したら「３」、と定めることができる。このように、ユーザ４００の顔の表情を認識することによって、ユーザ４００の感情を適切に判定することができる。
The
また、音認識による感情判定値については、音の大きさの認識結果に応じて定めることができる。例えば音の大きさが、「５０ｄＢ以上」なら「６」、「４０ｄＢ以上５０ｄＢ未満」なら「５」、「３０ｄＢ以上４０ｄＢ未満」なら「４」、「２０ｄＢ以上３０ｄＢ未満」なら「３」、「１０ｄＢ以上２０ｄＢ未満」なら「２」、「１０ｄＢ未満」なら「１」、と定めることができる。このように音の大きさを用いることによって、複雑な認識処理をしなくても、ユーザ４００の感情を判定することができる。なお、音認識による感情判定値に関しては、この他に、笑い声を認識したら増やし、泣き声を認識したら減らすという処理を行うこともできる。また、音の周波数領域及び持続時間を考慮して音認識による感情判定値を増減することもできる。さらに、音声認識によって、ユーザ４００の発話した文章を認識すれば、より適切な感情判定を行うことができる。
Further, the emotion determination value by sound recognition can be determined according to the recognition result of the sound volume. For example, if the sound volume is “50 dB or more”, “6”, “40 dB or more and less than 50 dB” “5”, “30 dB or more and less than 40 dB” “4”, “20 dB or more but less than 30 dB” “3”, “ It can be determined as “2” if it is “10 dB or more and less than 20 dB”, and “1” if it is “less than 10 dB”. By using the loudness in this way, it is possible to determine the emotion of the
感情判定部１１４は、さらに、撮像部１４１で撮影したユーザ４００の動作の認識結果を用いてユーザ４００の感情を判定しても良い。例えば、感情判定部１１４は、撮像部１４１で撮影したユーザ４００の動きの量を認識して、動きの大きさに応じた感情判定値を定めることができる。そうすると、動き認識による感情判定値は、例えば、ユーザ４００が大きく飛び上がる動作をしたら「７」、頷く動作をしたら「５」、じっとして動かなければ「３」と定めることができる。ロボット１００とユーザ４００との距離がかなり離れている場合には、ロボット１００はユーザ４００の顔を認識することが困難になる。しかし、この場合でも、ロボット１００は、ユーザ４００の動きを認識できるなら、ユーザ４００の動きの量に基づいて、ユーザ４００の感情を判定することができる。
The
感情判定部１１４は、これら複数の感情判定値に所定の演算を行って、１つの感情判定値を求めることができる。所定の演算とは、例えば、加算、乗算、平均（相加平均、相乗平均、調和平均）、最大値算出等である。所定の演算として加算を用いる場合、感情判定部１１４は、顔認識及び音認識によってそれぞれ定められた感情判定値を加算して１つの感情判定値を求めることができる。例えば、顔認識による感情判定値が７で、音認識による感情判定値が４の時は、この２つの値を加算して求まる１１を感情判定値とすることができる。
The
関心度更新部１１５は、感情判定部１１４が求めた感情判定値に基づき、その直前に取得部１１１が取得していたキーワードに対するユーザ４００の関心度を求め、キーワード関心度対応表１２１を更新する。この関心度は、感情判定値が大きければ１００％に近づき、感情判定値が小さければ０％に近づくように、関心度更新部１１５が定める。例えば、関心度＝（顔認識による感情判定値＋音認識による感情判定値）÷１３と定めたり、関心度＝ｍａｘ（顔認識による感情判定値÷７，音認識による感情判定値÷６）と定めたりすることができる。ここで、ｍａｘ（ａ，ｂ）とは、ａとｂのうち大きい方の値を取る。
The interest
関心度更新部１１５は、今回のキーワードに対する関心度がキーワード関心度対応表１２１に記憶されていなければ、新たにそのキーワードと関心度とをキーワード関心度対応表１２１に記憶させる。今回のキーワードに対する関心度が既にキーワード関心度対応表１２１に記憶されている場合は、関心度更新部１１５は、記憶済みの関心度と今回求めた関心度とで加重平均を求め、キーワード関心度対応表１２１に記憶させる。適切に加重平均を求めるために、キーワード関心度対応表１２１に、各キーワードの累積更新回数を記憶させ、更新するたびにこの値をインクリメントするようにしても良い。この場合、新たな関心度は（記憶済みの関心度×累積更新回数＋今回求めた関心度）÷（累積更新回数＋１）で求めることができる。そして、累積更新回数の初期値を１００等、ある程度大きな値にしておくと、誤認識等による感情判定値の異常値の影響を小さくすることができる。
If the interest level for the current keyword is not stored in the keyword interest level correspondence table 121, the interest
感情判定値送信部１１６は、図１０に示すような、「ＩＤ」、「ロボットＩＤ」、「感情判定値」を含む感情判定値送信データを、通信部１３５を介して、コンテンツ配信装置３００に送信する。ここで、「ＩＤ」は、今回の動作制御データのＩＤ（動作制御データＩＤ）を示す。また「ロボットＩＤ」は、ロボット１００のロボットＩＤを示す。「感情判定値」は、感情判定部１１４が求めた今回の感情判定値を示す。図１０に示す感情判定値送信データは、顔認識による感情判定値と音認識による感情判定値とを加算した１つの感情判定値のみを含んでいる。しかし、感情判定値は１つに限るわけではなく、感情判定値送信データは、例えば「顔認識による感情判定値」、「音認識による感情判定値」及び「動き認識による感情判定値」という複数の感情判定値を含んでも良い。また、感情判定値送信部１１６は、感情判定値の代わりに、撮像部１４１が撮像した顔画像データ及び音入力部１４２が収集した音のデータそのものを含む感情判定値送信データを送信しても良い。この場合、該感情判定値送信データを受信したコンテンツ配信装置３００が、該顔画像データ及び該音のデータを用いて、ユーザ４００の今回のキーワードに対する関心度を求める。また、ロボット１００が、複数のユーザ４００を認識することができる場合には、認識したユーザ４００を一意に識別するユーザＩＤを感情判定値送信データに含めても良い。
The emotion determination
以上、ロボット１００の機能構成について説明した。次に、コンテンツ再生装置２００について説明する。コンテンツ再生装置２００は、コンテンツ配信装置３００から配信されたコンテンツを再生する装置である。コンテンツ再生装置２００の例としては、テレビ放送を受信して再生するテレビ受像機及び、インターネット上のコンテンツを再生するタブレット端末が挙げられる。コンテンツ再生装置２００は、機能的には、図１１に示すように、制御部２１０、記憶部２２０、映像出力部２３１、音出力部２３２、コンテンツ受信部２３３及び入力部２３４、を備える。
The functional configuration of the
制御部２１０は、ＣＰＵ等を備え、記憶部２２０に記憶されたプログラムを実行することにより、コンテンツ再生装置２００の機能を実現する。
The
記憶部２２０は、ＲＯＭ、ＲＡＭ等で構成される。ＲＯＭは制御部２１０のＣＰＵが実行するプログラム及び、プログラムを実行する上で予め必要なデータを記憶する。ＲＡＭは、プログラム実行中に作成されたり変更されたりするデータが記憶される。
The
映像出力部２３１は、例えば、液晶ディスプレイ（ＬＣＤ）又は有機ＥＬディスプレイ等のディスプレイを備える。後述するコンテンツ受信部２３３が受信したコンテンツに含まれる映像データを、制御部２１０が映像出力部２３１に出力することによって、映像出力部２３１が備えるディスプレイに映像が表示される。
The
音出力部２３２は、スピーカを備える。後述するコンテンツ受信部２３３が受信したコンテンツに含まれる音データを、制御部２１０が音出力部２３２に出力することによって、スピーカから音が出力される。
The
コンテンツ受信部２３３は、コンテンツ配信装置３００から配信されるコンテンツを受信するためのデバイスを備える。例えば、コンテンツが電波を介して配信される場合は、コンテンツ受信部２３３は、アンテナとチューナとを備える。コンテンツがＩＰネットワークを介して配信される場合は、コンテンツ受信部２３３は、ＩＰ通信モジュールを備える。
The
入力部２３４は、例えば、押しボタンスイッチ又はリモコン（リモートコントローラ）等の入力デバイスを備える。コンテンツ再生装置２００のユーザ（コンテンツ視聴者）は、入力部２３４を介して、コンテンツ再生装置２００にコンテンツ再生に関する指示を出すことができる。
The
以上、コンテンツ再生装置２００の機能構成について説明した。次に、コンテンツ配信装置３００について説明する。コンテンツ配信装置３００は、コンテンツ再生装置２００にコンテンツを配信する装置である。コンテンツ配信装置３００の例としては、テレビ放送を放送するテレビ放送装置及び、インターネット上でコンテンツを配信するＰＣ等が挙げられる。コンテンツ配信装置３００は、機能的には、図１２に示すように、制御部３１０、記憶部３２０、コンテンツ配信部３３１、通信部３３２、表示部３３３及び入力部３３４、を備える。
The functional configuration of the
制御部３１０は、ＣＰＵ等を備える。制御部３１０は、記憶部３２０に記憶されたプログラムを実行することにより、後述する各部（感情判定値取得部３１１、関心度ＤＢ更新部３１２及び関心度ＤＢ集計部３１３）の機能を実現する。また、制御部３１０は図示しない時計部を備え、現在時刻を取得することができる。
The
記憶部３２０は、ＲＯＭ、ＲＡＭ等で構成される。ＲＯＭは制御部３１０のＣＰＵが実行するプログラム及び、プログラムを実行する上で予め必要なデータを記憶する。ＲＡＭは、プログラム実行中に作成されたり変更されたりするデータが記憶される。また、記憶部３２０は、コンテンツＤＢ３２１、動作制御データＤＢ３２２、配信スケジュールＤＢ３２３及び関心度ＤＢ３２４を記憶している。
The
コンテンツＤＢ３２１は、図２に示したような、動作制御データ挿入済みのコンテンツを記憶するデータベースである。各コンテンツにはそれぞれ、コンテンツを一意に特定するＩＤが割り当てられている。
The
動作制御データＤＢ３２２は、図１３に示すように、コンテンツに挿入された各動作制御データについての「動作制御データＩＤ」、「配信日時」、「コンテンツＩＤ」及び「番組名」を記憶する。「動作制御データＩＤ」は、動作制御データのＩＤを示す。「配信日時」は、「動作制御データＩＤ」で示されるＩＤの動作制御データが配信される日時を示す。これは、コンテンツ中で、動作制御データが挿入される位置を表す。「コンテンツＩＤ」は、「動作制御データＩＤ」で示されるＩＤの動作制御データが挿入されたコンテンツのＩＤを示す。「番組名」は、「動作制御データＩＤ」で示されるＩＤの動作制御データが挿入されたコンテンツの番組名を示す。コンテンツ配信装置３００は、動作制御データＤＢ３２２を参照することによって、動作制御データのＩＤから、その動作制御データの配信日時並びに、その動作制御データが挿入されたコンテンツのＩＤ及び番組名を取得することができる。
As shown in FIG. 13, the operation
配信スケジュールＤＢ３２３は、図１４に示すように、コンテンツＤＢ３２１に記憶されている各コンテンツについての「コンテンツＩＤ」、「配信日時」、「番組名」及び「動作制御データＩＤ」を記憶する。「コンテンツＩＤ」は、配信するコンテンツを一意に特定するためのＩＤ（コンテンツＩＤ）を示す。「配信日時」は、「コンテンツＩＤ」で示されるコンテンツの配信日時を示す。「番組名」は、「コンテンツＩＤ」で示されるコンテンツの番組名を示す。「動作制御データＩＤ」は、「コンテンツＩＤ」で示されるコンテンツに挿入された動作制御データのＩＤを示す。なお、「動作制御データＩＤ」については、配信スケジュールＤＢ３２３に記憶しなくても良い。配信スケジュールＤＢ３２３が動作制御データのＩＤも記憶すると、コンテンツＩＤ、配信日時又は番組名から、配信された動作制御データのＩＤを逆引きすることが可能になる。
As shown in FIG. 14, the
関心度ＤＢ３２４は、図１５に示すように、ロボット１００から送信された感情判定値送信データに基づいて、「ＩＤ」、「ロボットＩＤ」、「キーワード」、「受信日時」、「番組名」及び「感情判定値」を記憶する。「ＩＤ」は、該感情判定値送信データに含まれる動作制御データＩＤを示す。「ロボットＩＤ」は、該感情判定値送信データに含まれるロボットＩＤを示す。「キーワード」は、「ＩＤ」で示される動作制御データに含まれるキーワードを示す。「受信日時」は、該感情判定値送信データを受信した日時を示す。「番組名」は、「ＩＤ」で示される動作制御データが挿入されたコンテンツの番組名を示す。「感情判定値」は、該感情判定値送信データに含まれる感情判定値を示す。ユーザ４００のキーワードに対する関心度は、感情判定値に反映されるので、関心度ＤＢ３２４に記憶されたデータを集計することによって、キーワード毎、ロボットＩＤ（ユーザ４００）毎、番組毎、日時毎の関心度の大きさをグラフにすることができる。そして、このグラフを見ることによって、動作制御データ挿入者は、ユーザ４００に好まれるキーワード、番組、日時等を知ることができる。このため、動作制御データ挿入者は、その後、より効果的な動作制御データを、より効果的な位置に挿入することができるようになる。
As shown in FIG. 15, the degree-of-
なお、図１５に示す関心度ＤＢ３２４は、感情判定値を１つしか記憶していないが、ロボット１００が送信する感情判定値送信データに応じて、複数の感情判定値を記憶しても良い。例えば、該感情判定値送信データが「顔認識による感情判定値」、「音認識による感情判定値」及び「動き認識による感情判定値」を含む場合、これら３つの値を別個に記憶しても良い。また、該感情判定値送信データが、感情判定値の代わりに、顔画像データ及び音のデータそのものを送信する場合は、関心度ＤＢ３２４の内容は例えば次の２種類の形態が考えられる。１つ目は、感情判定値の代わりに、ロボット１００から送信されたこれらのデータ（顔画像データ及び音のデータそのもの）を関心度ＤＢ３２４に記憶する形態である。２つ目は、ロボット１００から送信された顔画像データ及び音のデータを用いてコンテンツ配信装置３００がキーワードに対するユーザ４００の関心度を求め、求めた関心度を感情判定値の代わりに関心度ＤＢ３２４に記憶する形態である。また、ロボット１００が、複数のユーザ４００を認識することができる場合には、感情判定値送信データにユーザＩＤが含まれる場合がある。この場合は、関心度ＤＢ３２４にユーザＩＤも記憶する。これによって、コンテンツ配信装置３００は、ロボットＩＤだけでなく、ユーザＩＤも用いた集計処理を行うことができる。
Although the
コンテンツ配信部３３１は、コンテンツ再生装置２００にコンテンツを配信するためのデバイスを備える。例えば、コンテンツ配信装置３００がコンテンツを、電波を介して配信する場合は、コンテンツ配信部３３１は、電波送信モジュールとアンテナとを備える。コンテンツ配信装置３００がコンテンツを、ＩＰネットワークを介して配信する場合は、コンテンツ配信部３３１は、ＩＰ通信モジュールを備える。
The
通信部３３２は、通信モジュールを備え、外部装置とのデータ通信を可能にする。コンテンツ配信装置３００が無線で外部装置とのデータ通信を行う場合は、通信部３３２は、無線通信モジュール及びアンテナを備える。コンテンツ配信装置３００は、通信部３３２を介して、ロボット１００とデータ通信を行うことができる。
The
表示部３３３は、例えば、液晶ディスプレイ（ＬＣＤ）又は有機ＥＬディスプレイ等のディスプレイを備える。表示部３３３により、関心度ＤＢ集計部３１３が作成したグラフの表示等を行うことができる。
The
入力部３３４は、例えば、キーボード及びマウス等の入力デバイスを備える。コンテンツ配信装置３００のユーザ（動作制御データ挿入者等）は、入力部３３４を介して、コンテンツ配信装置３００に関心度ＤＢの集計指示を出すことができる。
The
次に、コンテンツ配信装置３００が行うコンテンツ配信処理について、図１６を参照して説明する。この処理は、コンテンツ配信装置３００がコンテンツを配信する時に実行される。
Next, content distribution processing performed by the
まず、制御部３１０は、配信スケジュールＤＢ３２３を読み込み（ステップＳ１０１）、配信すべきコンテンツＩＤを取得する。そして、制御部３１０は、コンテンツＤＢ３２１から、ステップＳ１０１で取得したコンテンツＩＤのコンテンツを読み出し（ステップＳ１０２）、コンテンツ配信部３３１を介してコンテンツを配信する（ステップＳ１０３）。なお、コンテンツの読み出しと配信は細かい時間単位で行っても良いし、番組単位等の大きな時間単位で行っても良い。
First, the
次に、制御部３１０は、コンテンツの配信を終了するか否かを判定する（ステップＳ１０４）。配信スケジュールＤＢ３２３に配信するコンテンツがないか、又は、入力部３３４からコンテンツの配信終了の指示が入力されたなら、制御部３１０は、コンテンツの配信を終了する。コンテンツの配信を終了する場合は（ステップＳ１０４；Ｙｅｓ）、コンテンツ配信処理を終了する。コンテンツの配信を終了しない場合は（ステップＳ１０４；Ｎｏ）、感情判定値取得部３１１は、通信部３３２を介して、ロボット１００から送信された感情判定値送信データを受信したか否かを判定する（ステップＳ１０５）。
Next, the
感情判定値送信データを受信していなければ（ステップＳ１０５；Ｎｏ）、ステップＳ１０１に戻る。感情判定値送信データを受信したなら（ステップＳ１０５；Ｙｅｓ）、感情判定値取得部３１１は、感情判定値送信データに含まれる感情判定値等の値を取得する（ステップＳ１０６）。そして、感情判定値取得部３１１は、取得した感情判定値等の値に基づいて、関心度ＤＢ３２４を更新し（ステップＳ１０７）、ステップＳ１０４に戻る。なお、関心度ＤＢ３２４の更新は、簡単には、ステップＳ１０６で取得した感情判定値等のデータを関心度ＤＢ３２４に追加記憶すれば良い。
If the emotion judgment value transmission data has not been received (step S105; No), the process returns to step S101. When the emotion determination value transmission data is received (step S105; Yes), the emotion determination
以上の処理により、コンテンツ配信装置３００は、配信スケジュールに従って、コンテンツをコンテンツ再生装置２００に配信する。
Through the above processing, the
次に、コンテンツ再生装置２００が行うコンテンツ再生処理について、図１７を参照して説明する。この処理は、コンテンツ再生装置２００がコンテンツの再生を開始する時に実行される。
Next, content reproduction processing performed by the
まず、制御部２１０は、コンテンツ受信部２３３を介して、コンテンツを受信する（ステップＳ２０１）。次に、制御部２１０は、受信したコンテンツのうち映像データを映像出力部２３１に出力し、音データを音出力部２３２に出力することによって、コンテンツを再生する（ステップＳ２０２）。コンテンツ再生装置２００は、このコンテンツの受信と再生とを所定の細かい時間単位で少しずつ行う。
First, the
そして、制御部２１０は、コンテンツの再生を終了するか否かを判定する（ステップＳ２０３）。コンテンツ配信装置３００からコンテンツが配信されなくなったか又は、入力部２３４から再生終了の指示が入力されたなら、制御部２１０はコンテンツの再生を終了する。コンテンツの再生を終了する場合は（ステップＳ２０３；Ｙｅｓ）、コンテンツ再生処理を終了する。コンテンツの再生を終了しない場合は（ステップＳ２０３；Ｎｏ）、ステップＳ２０１に戻る。
Then, the
以上の処理により、コンテンツ再生装置２００は、コンテンツ配信装置３００から配信されるコンテンツを再生する。
Through the above processing, the
次に、ロボット１００が行う動作制御処理について、図１８を参照して説明する。この処理は、ロボット１００が、コンテンツ再生装置２００から送信される動作制御データに基づいて動作を開始する時に実行される。基本的にはロボット１００は、電源を投入すると、図１８に示す動作制御処理を開始する。
Next, operation control processing performed by the
まず、取得部１１１は、コンテンツ再生装置２００が再生するコンテンツに挿入されている動作制御データを、取得可能か否かを判定する（ステップＳ３０１）。この判定は、音入力部１４２によって非可聴域の周波数の音波を収集可能か否か、また、撮像部１４１によって動作制御データの挿入された映像を撮影可能か否かによって行われる。動作制御データを取得できないなら（ステップＳ３０１；Ｎｏ）、制御部１１０は、移動部１３１及び可動部１３２を制御して、ロボット１００を、コンテンツ再生装置２００の近くに移動させ、コンテンツ再生装置２００の方向に回転させる（ステップＳ３０２）。例えば、動作制御データが音及び映像に挿入されている場合は、ロボット１００は、音入力部１４２によって非可聴域の周波数の音波の発生源の位置を把握することができるので、この音波を手がかりにして移動及び回転を行う。ロボット１００は、音波の発生源の位置に移動し、音波の発生源の方向に回転することによって、撮像部１４１によって動作制御データの挿入された映像を撮影できる場所に移動することができる。制御部１１０は、ステップＳ３０２で移動及び回転の制御をした後、ステップＳ３０１に戻る。
First, the
取得部１１１が、動作制御データを取得可能なら（ステップＳ３０１；Ｙｅｓ）、取得部１１１は、動作制御データを取得し、取得した動作制御データに含まれるキーワード等のデータを取得する（ステップＳ３０３）。なお、ここで取得される動作制御データは、音入力部１４２によって収集された非可聴域の周波数の音波による信号で表された動作制御データ、又は、撮像部１４１によって撮影された映像（画像）に挿入されている動作制御データである。次に取得部１１１は、キーワード関心度対応表１２１を参照して、取得したキーワードに対応する関心度を取得する（ステップＳ３０４）。もしキーワード関心度対応表１２１に感情のデータも含まれているなら関心度とともに感情のデータも取得する。ここで取得した感情のデータは、動作制御データに感情のデータが含まれていない場合に、関心度動作内容対応表１２２を参照する際の感情のデータとして使用される。
If the
次に、取得部１１１は、取得した関心度の値が基準関心度閾値（例えば５０％）以上であるか否かを判定する（ステップＳ３０５）。関心度の値が基準関心度閾値未満なら（ステップＳ３０５；Ｎｏ）、ステップＳ３０８へ進む。関心度の値が基準関心度閾値以上なら（ステップＳ３０５；Ｙｅｓ）、動作内容決定部１１２は、ステップＳ３０３で取得部１１１が取得した動作制御データに含まれる「動作タイミング」、「感情」及び「動作指示」を取得する。そして、関心度動作内容対応表１２２を参照して、関心度及び「感情」に対応する動作内容を取得する。そして、動作内容決定部１１２は、各部位に対する動作指示及び動作内容を合成して、ロボット１００が「動作タイミング」で指定された時刻に実行を開始する動作内容を決定する（ステップＳ３０６）。その際、同じ部位に対して複数の動作指示及び動作内容が存在した場合、動作内容決定部１１２は、強制の動作指示、関心度動作内容対応表１２２に記憶されている動作内容、任意の動作指示、という優先度の高い順に、動作指示又は動作内容を採用する。
Next, the
一例として、ロボット１００が、図６に示すキーワード関心度対応表１２１、及び、図９に示す関心度動作内容対応表１２２を記憶しており、図３に示す動作制御データがコンテンツに挿入されていた場合を説明する。この場合、キーワード「腕時計」に対する関心度は「９０％」であることが図６に示すキーワード関心度対応表１２１から読み取れる。また、動作制御データに含まれる「感情」は「驚き」であることが図３から読み取れる。したがって、関心度動作内容対応表１２２から取得される動作内容は、「目を大きく開ける」及び「大きな音量で「ワオ」と発声」であることが図９から読み取れる。そして、動作制御データに含まれる、強制の動作指示は「尻尾を振る」、任意の動作指示は「「腕時計だよ」と発声」であることが図３から読み取れる。そうすると、眼部１５４に対する指示は「目を大きく開ける」のみであり、尻尾部１５９に対する指示は「尻尾を振る」のみであるので、これらの動作はそのまま採用される。
As an example, the
音出力部１３４に対する指示は、「大きな音量で「ワオ」と発声」と「「腕時計だよ」と発声」の２つが競合しているので、優先度の高い「大きな音量で「ワオ」と発声」が採用され、「「腕時計だよ」と発声」は無視される。もし、「「腕時計だよ」と発声」が強制の動作指示であったなら、逆に「「腕時計だよ」と発声」が採用され、「大きな音量で「ワオ」と発声」は無視される。
The instruction to the
ロボット１００の動作内容は、このようにして、動作内容決定部１１２によって決定される。動作制御部１１３は、その決定された動作内容に従って、「動作タイミング」で指定された時刻に、移動部１３１、可動部１３２、表示部１３３及び音出力部１３４を制御することによって動作制御を行う（ステップＳ３０７）。その際、ロボット１００は、ユーザ４００に近づいてから動作を開始しても良い。ロボット１００がユーザ４００に近づく方法としては、例えば、音入力部１４２でユーザ４００の声の方向を把握して、その方向に移動する方法がある。また、センサ部１４０に人感センサを備える場合には、人感センサを用いてユーザ４００の存在する方向を把握して、その方向に移動する方法もある。ロボット１００は、ユーザ４００に近づいてから動作を開始することによって、ロボット１００の動作をユーザ４００により強く印象づけることができる。
The operation content of the
次に、感情判定部１１４は、ユーザ４００の顔の認識が可能か否かを判定する（ステップＳ３０８）。ここで、感情判定部１１４は、撮像部１４１によりユーザ４００の顔を撮影でき、撮影したユーザ４００の顔の表情を認識できる場合に、ユーザ４００の顔の認識が可能と判定する。ユーザ４００の顔の認識ができないなら（ステップＳ３０８；Ｎｏ）、制御部１１０は、移動部１３１及び可動部１３２を制御して、ロボット１００を、ユーザ４００の近くに移動させ、ユーザ４００の顔を撮影できる方向に回転させる（ステップＳ３０９）。例えば、ロボット１００は、音入力部１４２でユーザ４００の声の方向を把握して、その方向に移動することができる。また、センサ部１４０に人感センサを備える場合には、ロボット１００は、人感センサを用いてユーザ４００の近くに移動することもできる。制御部１１０は、ステップＳ３０９で移動及び回転の制御をした後、ステップＳ３０８に戻る。
Next, the
感情判定部１１４は、ユーザ４００の顔の認識が可能なら（ステップＳ３０８；Ｙｅｓ）、ユーザ４００の顔の表情、音声、動き等に基づいて、ユーザ４００の感情を判定し（ステップＳ３１０）、前述した感情判定値を求める。そして、関心度更新部１１５は、感情判定部１１４が求めた感情判定値に基づき、取得部１１１がステップＳ３０３で取得したキーワードに対するユーザ４００の関心度を求める（ステップＳ３１１）。これは、前述したように、例えば、関心度＝（顔認識による感情判定値＋音認識による感情判定値）÷１３として求めることができる。
If the
そして、関心度更新部１１５は、前述したように、キーワード関心度対応表１２１を更新する（ステップＳ３１２）。これにより、当初はキーワード関心度対応表１２１に記憶されていなかったキーワードに対するユーザ４００の関心度も、キーワード関心度対応表１２１に記憶される。また、ユーザ４００の関心が変化した場合、キーワード関心度対応表１２１の記憶内容もそれに追従して変化することになる。
Then, as described above, the interest
次に、感情判定値送信部１１６は、感情判定部１１４が求めた感情判定値に基づき、図１０に示すような感情判定値送信データを、通信部１３５を介して、コンテンツ配信装置３００に送信する（ステップＳ３１３）。
Next, emotion determination
そして、制御部１１０は、ロボット１００の動作を終了するか否かを判定する（ステップＳ３１４）。ユーザ４００がロボット１００の電源を落とした時又は、ロボット１００の備えるバッテリーの残量が閾値を下回った時に、ロボット１００は動作を終了する。ロボット１００が動作を終了するなら（ステップＳ３１４；Ｙｅｓ）、動作制御処理を終了する。ロボット１００が動作を終了しないなら（ステップＳ３１４；Ｎｏ）、ステップＳ３０１に戻る。
Then, the
以上の動作制御処理により、ロボット１００は、ユーザ４００の関心度の高いキーワードがコンテンツに含まれる場合に、事前にそのことをユーザ４００に知らせる種々の動作を行うことができる。そして、その後のユーザ４００の感情を判定した値をコンテンツ配信装置３００に送信することができる。また、関心度更新部１１５によって、キーワード関心度対応表１２１が更新されるので、当初記憶されていないキーワードも、ユーザ４００が関心を示すとキーワード関心度対応表１２１に記憶される。このことによって、それ以後、ロボット１００は、該キーワードがコンテンツに含まれることをユーザ４００に知らせることができるようになる。
Through the above-described operation control processing, the
次に、ロボット１００が送信した感情判定値を関心度ＤＢ３２４に蓄積したコンテンツ配信装置３００が行う関心度ＤＢ集計処理について、図１９を参照して説明する。この処理は、コンテンツ配信装置３００のユーザ（動作制御データ挿入者等）が、入力部３３４を介して、関心度ＤＢの集計指示を出すと開始される。
Next, the interest level DB tabulation process performed by the
まず、関心度ＤＢ集計部３１３は、入力部３３４を介して入力されたユーザの指示が「キーワード別集計」であるか否かを判定する（ステップＳ４０１）。「キーワード別集計」であるなら（ステップＳ４０１；Ｙｅｓ）、関心度ＤＢ集計部３１３は、関心度ＤＢ３２４を参照して、キーワード毎に、感情判定値から算出される関心度を集計する（ステップＳ４０２）。関心度は、ロボット１００の関心度更新部１１５と同様に、例えば、関心度＝感情判定値÷１３として求めることができる。関心度の集計は、関心度の平均値算出、中央値算出、最頻値算出等により、行うことができる。そして、関心度ＤＢ集計部３１３は、集計した関心度のグラフを作成し、表示部３３３に表示する（ステップＳ４０３）。その後、関心度ＤＢ集計部３１３は、集計を終了するか否かを判定する（ステップＳ４０４）。ユーザから入力部３３４を介してさらに集計指示が入力されている場合は、集計を終了せず（ステップＳ４０４；Ｎｏ）、ステップＳ４０１に戻る。ユーザから指示された集計を全て終了した場合は（ステップＳ４０４；Ｙｅｓ）、関心度ＤＢ集計部３１３は、関心度ＤＢ集計処理を終了する。
First, the degree-of-interest
入力部３３４を介して入力されたユーザの指示が「キーワード別集計」でないなら（ステップＳ４０１；Ｎｏ）、関心度ＤＢ集計部３１３は、入力部３３４を介して入力されたユーザの指示が「ロボットＩＤ別集計」であるか否かを判定する（ステップＳ４０５）。「ロボットＩＤ別集計」であるなら（ステップＳ４０５；Ｙｅｓ）、関心度ＤＢ集計部３１３は、関心度ＤＢ３２４を参照して、ロボットＩＤ毎に、感情判定値から算出される関心度を集計し（ステップＳ４０６）、ステップＳ４０３に進む。
If the user's instruction input via the
入力部３３４を介して入力されたユーザの指示が「ロボットＩＤ別集計」でないなら（ステップＳ４０５；Ｎｏ）、関心度ＤＢ集計部３１３は、入力部３３４を介して入力されたユーザの指示が「番組別集計」であるか否かを判定する（ステップＳ４０７）。「番組別集計」であるなら（ステップＳ４０７；Ｙｅｓ）、関心度ＤＢ集計部３１３は、関心度ＤＢ３２４を参照して、番組名毎に、感情判定値から算出される関心度を集計し（ステップＳ４０８）、ステップＳ４０３に進む。なお、番組別集計の際には、関心度ＤＢ３２４に記憶されているロボットＩＤの種類数をカウントすることによって、該番組を視聴しているユーザ４００（ロボット１００のユーザ４００）の人数を把握することができる。したがって、この人数を、ロボット１００の台数で割ることによって、該番組の視聴率（音声による番組の場合は聴取率）を算出することができる。
If the user's instruction input via the
入力部３３４を介して入力されたユーザの指示が「番組別集計」でないなら（ステップＳ４０７；Ｎｏ）、関心度ＤＢ集計部３１３は、入力部３３４を介して入力されたユーザの指示が「日時別集計」であるか否かを判定する（ステップＳ４０９）。「日時別集計」であるなら（ステップＳ４０９；Ｙｅｓ）、関心度ＤＢ集計部３１３は、関心度ＤＢ３２４を参照して、受信日時毎に、感情判定値から算出される関心度を集計し（ステップＳ４１０）、ステップＳ４０３に進む。受信日時毎の集計については、受信日時が正確に一致するもの毎に限る必要はなく、時間帯毎の関心度の平均値等を集計しても良い。
If the user's instruction input via the
入力部３３４を介して入力されたユーザの指示が「日時別集計」でないなら（ステップＳ４０９；Ｎｏ）、ステップＳ４０４に進む。
If the user's instruction input via the
以上の、関心度ＤＢ集計処理により、コンテンツ配信装置３００は、表示部３３３に、関心度ＤＢ３２４の集計結果を表示することができる。その結果、コンテンツ配信業者、コンテンツ制作者、コンテンツ配信のスポンサー等は、コンテンツの視聴者（ユーザ４００）がどのようなキーワード又は番組等に関心を示すのかを知ることができる。したがって、動作制御データ挿入者は、その後、この集計結果を参考にすることにより、コンテンツの視聴者（ユーザ４００）により効果的な動作制御データを挿入することができるようになる。
The
以上説明したように、動作制御システム１０００によれば、ユーザ４００は、ロボット１００の動作、表情、声等によって、関心を持っているコンテンツが放送されることを自然に知ることができる。また、コンテンツ配信装置３００を用いてコンテンツを配信するコンテンツ配信業者は、ロボット１００から送信された感情判定値に基づく関心度を集計することができるので、コンテンツに挿入する動作制御データをより効果的な内容に更新することができる。
As described above, according to the
（変形例）
前述した動作制御システム１０００では、動作制御データはコンテンツの映像及び音声に挿入されているため、ロボット１００は、動作制御データを取得するためにコンテンツ再生装置２００の出力する音及び映像を取得する必要がある。もしロボット１００が、コンテンツ再生装置２００の出力する音及び映像を取得できなかった場合には、動作制御データを取得できず、動作制御データ挿入者が期待している動作を行うことができない。そこで、コンテンツ再生装置２００の出力する音及び映像を取得できない場合でも、動作制御データを取得できるようにする変形例を説明する。
(Modification)
In the
本発明の実施形態の変形例に係る動作制御システム１００１は、図２０に示すように、ロボット１０１と、コンテンツ再生装置２０１と、コンテンツ配信装置３０１と、を備える。コンテンツ配信装置３０１は、放送網（電波等）又はＩＰネットワークを介して、コンテンツ再生装置２０１にコンテンツを配信する。コンテンツ再生装置２０１は、コンテンツ配信装置３０１から配信されたコンテンツを再生する。動作制御システム１００１で用いるコンテンツには、図２１に示すように、映像及び音声には動作制御データは挿入されておらず、データ部分に動作制御データが挿入されている。動作制御データは、図３に示すように、コンテンツに関連するキーワード等が含まれており、ロボット１０１の動作内容を決定するために使用される点は、動作制御システム１０００と同じである。
An
動作制御システム１００１では、コンテンツ再生装置２０１は、コンテンツのデータ部分に挿入されている動作制御データをロボット１０１に送信する。そして、ロボット１０１は、コンテンツ再生装置２０１によってコンテンツの再生とともに送信される動作制御データを取得する。これらの点以外は、動作制御システム１００１は、動作制御システム１０００と同じである。
In the
ロボット１０１の外観及び機能構成はロボット１００と同じである。ロボット１０１がロボット１００と相違する点は、コンテンツ再生装置２０１の出力する動作制御データの取得方法のみである。ロボット１０１の取得部１１１は、コンテンツ再生装置２０１から送信される動作制御データを、通信部１３５を介して取得し、該動作制御データに含まれているキーワードを取得する。したがって、ロボット１０１は、動作制御データを取得するためにコンテンツ再生装置２０１の方へ移動したり向きを変えたりする必要はない。また、ロボット１０１は、コンテンツ再生装置２０１が再生する映像を撮影するコンテンツ撮像部を備える必要はなく、コンテンツ再生装置２０１が再生する音を収集するコンテンツ音入力部を備える必要もない。
The appearance and functional configuration of the
コンテンツ再生装置２０１は、図２２に示すように、コンテンツ再生装置２００に、通信部２３５、動作制御データ取得部２１１及び動作制御データ送信部２１２が追加された構成になっている。
As shown in FIG. 22, the
通信部２３５は、通信モジュールを備え、外部装置とのデータ通信を可能にする。コンテンツ再生装置２０１が無線で外部装置とのデータ通信を行う場合は、通信部２３５は、無線通信モジュール及びアンテナを備える。コンテンツ再生装置２０１は、通信部２３５を介して、ロボット１０１とデータ通信を行う。
The
動作制御データ取得部２１１は、コンテンツ受信部２３３が受信したコンテンツのデータ部分に挿入されている動作制御データを取得する。
The operation control
動作制御データ送信部２１２は、動作制御データ取得部２１１が取得した動作制御データを、通信部２３５を介して、ロボット１０１に送信する。
The motion control
コンテンツ配信装置３０１の機能構成はコンテンツ配信装置３００と同じである。コンテンツ配信装置３０１がコンテンツ配信装置３００と相違する点は、コンテンツＤＢ３２１が記憶しているコンテンツに挿入されている動作制御データが、コンテンツの映像及び音声部分ではなく、データ部分に挿入されている点のみである。コンテンツ配信装置３０１が行うコンテンツ配信処理は、図１６を参照して説明した、コンテンツ配信装置３００が行うコンテンツ配信処理と同じである。
The functional configuration of the
コンテンツ再生装置２０１が行うコンテンツ再生処理について、図２３を参照して説明する。この処理は、図１７を参照して説明したコンテンツ再生装置２００が行うコンテンツ再生処理の、ステップＳ２０１とステップＳ２０２の間に、ステップＳ２０４及びステップＳ２０５を追加した処理になっている。そこで、ここでは、ステップＳ２０４及びステップＳ２０５について説明する。
The content reproduction process performed by the
ステップＳ２０４では、動作制御データ取得部２１１は、制御部２１０がコンテンツ受信部２３３を介して受信したコンテンツのデータ部分から、動作制御データを取得する。動作制御データは、コンテンツ配信装置３０１が配信するコンテンツのデータ部分に予め挿入されているため、動作制御データ取得部２１１は、コンテンツのデータ部分を確認することによって、挿入されている動作制御データを取得することができる。
In step S <b> 204, the operation control
ステップＳ２０５では、動作制御データ送信部２１２は、動作制御データ取得部２１１が取得した動作制御データを、通信部２３５を介して、ロボット１０１に送信する。
In step S <b> 205, the motion control
その他の処理については、図１７を参照して説明したコンテンツ再生装置２００が行うコンテンツ再生処理と同じである。このコンテンツ再生処理によって、コンテンツ再生装置２０１は映像出力部２３１及び音出力部２３２からコンテンツを再生するとともに、通信部２３５を介して、ロボット１０１に動作制御データを送信することができる。したがって、ロボット１０１は、通信部１３５を介して動作制御データを取得することができ、動作制御データを取得するために、映像の撮影及び／又は音の収集をする必要はない。
Other processes are the same as the content reproduction process performed by the
次に、ロボット１０１が行う動作制御処理について、図２４を参照して説明する。この処理は、図１８を参照して説明したロボット１００が行う動作制御処理と一部を除いて同じであるので、相違点のみを説明する。
Next, operation control processing performed by the
まず、取得部１１１は、コンテンツ再生装置２０１が送信する動作制御データを受信したか否かを判定する（ステップＳ３１５）。動作制御データを受信していなければ（ステップＳ３１５；Ｎｏ）、ステップＳ３１５に戻る。
First, the
動作制御データを受信したなら（ステップＳ３１５；Ｙｅｓ）、取得部１１１は、受信した動作制御データに含まれるキーワード等のデータを取得する（ステップＳ３０３）。また、ステップＳ３１４での動作終了か否かの判定で、動作終了しない場合は（ステップＳ３１４；Ｎｏ）、ステップＳ３１５に戻る。その他の処理は、図１８を参照して説明したロボット１００の動作制御処理と同じである。
If the operation control data is received (step S315; Yes), the
以上の動作制御処理により、ロボット１０１は、コンテンツ再生装置２０１の出力する映像の撮影及び音の収集をしなくても、コンテンツ再生装置２０１の出力する動作制御データを取得できる。そして、ユーザ４００の関心度の高いキーワードがコンテンツに含まれる場合に、事前にそのことをユーザ４００に自然に知らせる種々の動作を行うことができる。
Through the above-described operation control processing, the
なお、本発明の実施形態に係るロボット１００，１０１の各機能は、通常のＰＣ等のコンピュータによっても実施することができる。具体的には、上記実施形態では、ロボット１００，１０１が行う動作制御処理のプログラムが、記憶部１２０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、フレキシブルディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｃ）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、前述の各機能を実現することができるコンピュータを構成してもよい。また、このプログラムは、ネットワークを介してコンピュータにダウンロードされてもよい。
Note that the functions of the
また、このコンピュータはロボット１００，１０１に内蔵してもよいし、ロボット１００，１０１とは別個に存在してもよい。すなわち、図２５に示すように、ロボット１０２と通信可能な外部のサーバ５００に制御部５１０及び記憶部５２０を設けてもよい。そして、クラウドコンピューティング技術により、ロボット１０２とサーバ５００とが役割分担をして動作することができる。例えば、ロボット１０２の制御部１１０は、撮像部１４１及び音入力部１４２等で取得したデータを、通信部１３５を介して外部のサーバ５００に送信する。そして、制御部１１０は、演算処理を該サーバ５００にさせた後に、サーバ５００が行った演算処理の結果を、通信部１３５を介して受信し、可動部１３２等を制御してもよい。図２５では、サーバ５００の制御部５１０が取得部１１１、動作内容決定部１１２、感情判定部１１４及び関心度更新部１１５を備え、ロボット１０２の制御部１１０が、動作制御部１１３及び感情判定値１１６を備える構成を示している。しかし、これらの各部は、サーバ５００の制御部５１０とロボット１０２の制御部１１０とのどちらかに備わっていればよい。各部をサーバ５００の制御部５１０が備えるかロボット１０２の制御部１１０が備えるかについては、任意である。ロボット１０２の記憶部１２０と、サーバ５００の記憶部５２０についても同様である。
The computer may be built in the
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to the specific embodiment which concerns, This invention includes the invention described in the claim, and its equivalent range It is. Hereinafter, the invention described in the scope of claims of the present application will be appended.
（付記１）
コンテンツに挿入されている挿入データを取得する取得部と、
前記取得部が取得した前記挿入データに対するユーザの関心度に基づいて、自装置の動作内容を決定する動作内容決定部と、
前記動作内容決定部が決定した動作内容に基づいて前記自装置を動作させる動作制御部と、
を備えるロボット。
(Appendix 1)
An acquisition unit for acquiring insertion data inserted in the content;
An operation content determination unit that determines the operation content of the device based on the degree of interest of the user with respect to the insertion data acquired by the acquisition unit;
An operation control unit for operating the device based on the operation content determined by the operation content determination unit;
Robot equipped with.
（付記２）
前記挿入データは前記コンテンツに関連するキーワードを含み、
前記取得部は、前記挿入データに含まれる前記キーワードを取得し、
前記動作内容決定部は、前記取得部が取得した前記キーワードに対する前記ユーザの関心度に基づいて、前記自装置の動作内容を決定する、
付記１に記載のロボット。
(Appendix 2)
The insertion data includes keywords related to the content;
The acquisition unit acquires the keyword included in the insertion data,
The operation content determination unit determines the operation content of the device based on the degree of interest of the user with respect to the keyword acquired by the acquisition unit.
The robot according to appendix 1.
（付記３）
前記挿入データが挿入されている前記コンテンツを見た又は聴いた時の前記ユーザの感情を判定する感情判定部と、
前記感情判定部が判定した前記ユーザの感情に基づいて、前記挿入データに対する前記ユーザの関心度を更新する関心度更新部と、
をさらに備え、
前記動作内容決定部は、前記関心度更新部が更新した前記ユーザの関心度に基づいて、前記自装置の動作内容を決定する、
付記１又は２に記載のロボット。
(Appendix 3)
An emotion determination unit that determines the emotion of the user when viewing or listening to the content in which the insertion data is inserted;
Based on the emotion of the user determined by the emotion determination unit, an interest level update unit that updates the interest level of the user with respect to the insertion data;
Further comprising
The operation content determination unit determines the operation content of the device based on the interest level of the user updated by the interest level update unit.
The robot according to appendix 1 or 2.
（付記４）
前記感情判定部が判定した感情を数値化した値である感情判定値を、コンテンツ配信装置に送信する感情判定値送信部をさらに備える、
付記３に記載のロボット。
(Appendix 4)
An emotion determination value transmission unit that transmits an emotion determination value, which is a value obtained by quantifying the emotion determined by the emotion determination unit, to the content distribution device;
The robot according to appendix 3.
（付記５）
画像を撮影する撮像部をさらに備え、
前記感情判定部は、前記撮像部が撮影した前記ユーザの画像に基づいて前記ユーザの感情を判定する、
付記３又は４に記載のロボット。
(Appendix 5)
It further includes an imaging unit that captures an image,
The emotion determination unit determines the user's emotion based on the user's image captured by the imaging unit;
The robot according to appendix 3 or 4.
（付記６）
前記感情判定部は、前記撮像部が撮影した前記ユーザの顔の表情を認識することによって、前記ユーザの感情を判定する、
付記５に記載のロボット。
(Appendix 6)
The emotion determination unit determines the emotion of the user by recognizing the facial expression of the user taken by the imaging unit.
The robot according to appendix 5.
（付記７）
音を収集する音入力部をさらに備え、
前記感情判定部は、前記音入力部が収集した前記ユーザの声の大きさを認識することによって、前記ユーザの感情を判定する、
付記３から６のいずれか１つに記載のロボット。
(Appendix 7)
A sound input unit for collecting sounds;
The emotion determination unit determines the user's emotion by recognizing the loudness of the user's voice collected by the sound input unit,
The robot according to any one of appendices 3 to 6.
（付記８）
コンテンツ再生装置が再生する映像を撮影するコンテンツ撮像部をさらに備え、
前記取得部は、前記コンテンツ撮像部が撮影した画像に挿入されている前記挿入データを取得する、
付記１から７のいずれか１つに記載のロボット。
(Appendix 8)
It further includes a content imaging unit that captures video that is played back by the content playback device,
The acquisition unit acquires the insertion data inserted in an image captured by the content imaging unit;
The robot according to any one of appendices 1 to 7.
（付記９）
コンテンツ再生装置が再生する非可聴域の音を収集するコンテンツ音入力部をさらに備え、
前記取得部は、前記コンテンツ音入力部が収集した非可聴域の音に挿入されている前記挿入データを取得する、
付記１から８のいずれか１つに記載のロボット。
(Appendix 9)
A content sound input unit that collects non-audible sound reproduced by the content reproduction device;
The acquisition unit acquires the insertion data inserted in a non-audible range sound collected by the content sound input unit,
The robot according to any one of appendices 1 to 8.
（付記１０）
前記挿入データは前記自装置を動作させる時刻を示す動作タイミング情報を含み、
前記取得部は、前記挿入データに含まれる前記動作タイミング情報を取得し、
前記動作制御部は、前記取得部が取得した前記動作タイミング情報に示される時刻に前記自装置の動作を開始させる、
付記１から９のいずれか１つに記載のロボット。
(Appendix 10)
The insertion data includes operation timing information indicating a time for operating the device.
The acquisition unit acquires the operation timing information included in the insertion data,
The operation control unit starts the operation of the device at a time indicated by the operation timing information acquired by the acquisition unit;
The robot according to any one of appendices 1 to 9.
（付記１１）
前記挿入データは前記ユーザに抱かせたい感情を示す感情情報を含み、
前記取得部は、前記挿入データに含まれる前記感情情報を取得し、
前記動作内容決定部は、前記取得部が取得した前記感情情報に示される感情を抱かせるような動作として記憶されている動作内容を、前記自装置の動作内容として決定する、
付記１から１０のいずれか１つに記載のロボット。
(Appendix 11)
The insertion data includes emotion information indicating emotions that the user wants to hold,
The acquisition unit acquires the emotion information included in the insertion data,
The operation content determination unit determines an operation content stored as an operation that causes an emotion indicated in the emotion information acquired by the acquisition unit as an operation content of the own device.
The robot according to any one of appendices 1 to 10.
（付記１２）
前記挿入データは前記ロボットに対する動作指示を示す動作指示情報を含み、
前記取得部は、前記挿入データに含まれる前記動作指示情報を取得し、
前記動作内容決定部は、前記取得部が取得した前記挿入データに対する前記ユーザの関心度に基づく動作内容と前記動作指示情報に示される動作指示とを合成して、前記自装置の動作内容を決定する、
付記１から１１のいずれか１つに記載のロボット。
(Appendix 12)
The insertion data includes operation instruction information indicating an operation instruction for the robot,
The acquisition unit acquires the operation instruction information included in the insertion data,
The operation content determination unit determines the operation content of the device itself by combining the operation content based on the user's interest level with respect to the insertion data acquired by the acquisition unit and the operation instruction indicated in the operation instruction information. To
The robot according to any one of appendices 1 to 11.
（付記１３）
前記自装置を移動させる移動部をさらに備え、
前記動作制御部は、前記動作内容決定部が決定した動作内容に基づいて前記自装置を動作させる前に、前記ユーザに近づくように前記移動部を制御する、
付記１から１２のいずれか１つに記載のロボット。
(Appendix 13)
A moving unit for moving the device;
The operation control unit controls the moving unit to approach the user before operating the device based on the operation content determined by the operation content determination unit.
The robot according to any one of appendices 1 to 12.
（付記１４）
挿入データが挿入されたコンテンツを配信するコンテンツ配信装置と、
前記コンテンツ配信装置が配信したコンテンツを再生する際に前記挿入データも出力するコンテンツ再生装置と、
前記コンテンツ再生装置が出力した前記挿入データに対するユーザの関心度に基づく動作を実行するロボットと、
を備える動作制御システム。
(Appendix 14)
A content distribution device that distributes the content in which the insertion data is inserted;
A content reproduction device that outputs the insertion data when reproducing the content distributed by the content distribution device;
A robot that performs an operation based on the degree of interest of the user with respect to the insertion data output by the content reproduction device;
An operation control system comprising:
（付記１５）
コンテンツに挿入されている挿入データを取得する取得ステップと、
前記取得ステップで取得した前記挿入データに対するユーザの関心度に基づいて、動作内容を決定する動作内容決定ステップと、
前記動作内容決定ステップで決定した動作内容に基づいて自装置を動作させる動作制御ステップと、
を含む動作制御方法。
(Appendix 15)
An acquisition step of acquiring insertion data inserted into the content;
An operation content determination step for determining an operation content based on a user's interest in the insertion data acquired in the acquisition step;
An operation control step for operating the device based on the operation content determined in the operation content determination step;
An operation control method including:
（付記１６）
コンピュータを、
コンテンツに挿入されている挿入データを取得する取得部、
前記取得部が取得した前記挿入データに対するユーザの関心度に基づいて、動作内容を決定する動作内容決定部、
前記動作内容決定部が決定した動作内容に基づいて自装置を動作させる動作制御部、
として機能させるためのプログラム。
(Appendix 16)
Computer
An acquisition unit for acquiring insertion data inserted in the content;
An operation content determination unit that determines an operation content based on a degree of interest of the user with respect to the insertion data acquired by the acquisition unit;
An operation control unit for operating the device based on the operation content determined by the operation content determination unit;
Program to function as.
１００，１０１，１０２…ロボット、１１０，２１０，３１０，５１０…制御部、１１１…取得部、１１２…動作内容決定部、１１３…動作制御部、１１４…感情判定部、１１５…関心度更新部、１１６…感情判定値送信部、１２０，２２０，３２０，５２０…記憶部、１２１…キーワード関心度対応表、１２２…関心度動作内容対応表、１２３…ロボットＩＤ、１３１…移動部、１３２…可動部、１３３，３３３…表示部、１３４…音出力部、１３５，２３５，３３２，５３１…通信部、１４０…センサ部、１４１…撮像部、１４２…音入力部、１５１…頭部、１５２…胴部、１５３…耳部、１５４…眼部、１５５…鼻部、１５６…口部、１５７…手部、１５８…足部、１５９…尻尾部、２００，２０１…コンテンツ再生装置、２１１…動作制御データ取得部、２１２…動作制御データ送信部、２３１…映像出力部、２３２…音出力部、２３３…コンテンツ受信部、２３４，３３４…入力部、３００，３０１…コンテンツ配信装置、３１１…感情判定値取得部、３１２…関心度ＤＢ更新部、３１３…関心度ＤＢ集計部、３２１…コンテンツＤＢ、３２２…動作制御データＤＢ、３２３…配信スケジュールＤＢ、３２４…関心度ＤＢ、３３１…コンテンツ配信部、４００…ユーザ、５００…サーバ、１０００，１００１…動作制御システム
DESCRIPTION OF SYMBOLS 100,101,102 ... Robot, 110,210,310,510 ... Control part, 111 ... Acquisition part, 112 ... Motion content determination part, 113 ... Motion control part, 114 ... Emotion determination part, 115 ... Interest level update part, 116: emotion judgment value transmission unit, 120, 220, 320, 520 ... storage unit, 121 ... keyword interest level correspondence table, 122 ... interest level action content correspondence table, 123 ... robot ID, 131 ... moving unit, 132 ... movable unit 133,333 ... display unit, 134 ... sound output unit, 135,235,332,531 ... communication unit, 140 ... sensor unit, 141 ... imaging unit, 142 ... sound input unit, 151 ... head, 152 ...
Claims (16)
前記取得部が取得した前記挿入データに対するユーザの関心度に基づいて、自装置の動作内容を決定する動作内容決定部と、
前記動作内容決定部が決定した動作内容に基づいて前記自装置を動作させる動作制御部と、
を備えるロボット。 An acquisition unit for acquiring insertion data inserted in the content;
An operation content determination unit that determines the operation content of the device based on the degree of interest of the user with respect to the insertion data acquired by the acquisition unit;
An operation control unit for operating the device based on the operation content determined by the operation content determination unit;
Robot equipped with.
前記取得部は、前記挿入データに含まれる前記キーワードを取得し、
前記動作内容決定部は、前記取得部が取得した前記キーワードに対する前記ユーザの関心度に基づいて、前記自装置の動作内容を決定する、
請求項１に記載のロボット。 The insertion data includes keywords related to the content;
The acquisition unit acquires the keyword included in the insertion data,
The operation content determination unit determines the operation content of the device based on the degree of interest of the user with respect to the keyword acquired by the acquisition unit.
The robot according to claim 1.
前記感情判定部が判定した前記ユーザの感情に基づいて、前記挿入データに対する前記ユーザの関心度を更新する関心度更新部と、
をさらに備え、
前記動作内容決定部は、前記関心度更新部が更新した前記ユーザの関心度に基づいて、前記自装置の動作内容を決定する、
請求項１又は２に記載のロボット。 An emotion determination unit that determines the emotion of the user when viewing or listening to the content in which the insertion data is inserted;
Based on the emotion of the user determined by the emotion determination unit, an interest level update unit that updates the interest level of the user with respect to the insertion data;
Further comprising
The operation content determination unit determines the operation content of the device based on the interest level of the user updated by the interest level update unit.
The robot according to claim 1 or 2.
請求項３に記載のロボット。 An emotion determination value transmission unit that transmits an emotion determination value, which is a value obtained by quantifying the emotion determined by the emotion determination unit, to the content distribution device;
The robot according to claim 3.
前記感情判定部は、前記撮像部が撮影した前記ユーザの画像に基づいて前記ユーザの感情を判定する、
請求項３又は４に記載のロボット。 It further includes an imaging unit that captures an image,
The emotion determination unit determines the user's emotion based on the user's image captured by the imaging unit;
The robot according to claim 3 or 4.
請求項５に記載のロボット。 The emotion determination unit determines the emotion of the user by recognizing the facial expression of the user taken by the imaging unit.
The robot according to claim 5.
前記感情判定部は、前記音入力部が収集した前記ユーザの声の大きさを認識することによって、前記ユーザの感情を判定する、
請求項３から６のいずれか１項に記載のロボット。 A sound input unit for collecting sounds;
The emotion determination unit determines the user's emotion by recognizing the loudness of the user's voice collected by the sound input unit,
The robot according to any one of claims 3 to 6.
前記取得部は、前記コンテンツ撮像部が撮影した画像に挿入されている前記挿入データを取得する、
請求項１から７のいずれか１項に記載のロボット。 It further includes a content imaging unit that captures video that is played back by the content playback device,
The acquisition unit acquires the insertion data inserted in an image captured by the content imaging unit;
The robot according to any one of claims 1 to 7.
前記取得部は、前記コンテンツ音入力部が収集した非可聴域の音に挿入されている前記挿入データを取得する、
請求項１から８のいずれか１項に記載のロボット。 A content sound input unit that collects non-audible sound reproduced by the content reproduction device;
The acquisition unit acquires the insertion data inserted in a non-audible range sound collected by the content sound input unit,
The robot according to any one of claims 1 to 8.
前記取得部は、前記挿入データに含まれる前記動作タイミング情報を取得し、
前記動作制御部は、前記取得部が取得した前記動作タイミング情報に示される時刻に前記自装置の動作を開始させる、
請求項１から９のいずれか１項に記載のロボット。 The insertion data includes operation timing information indicating a time for operating the device.
The acquisition unit acquires the operation timing information included in the insertion data,
The operation control unit starts the operation of the device at a time indicated by the operation timing information acquired by the acquisition unit;
The robot according to any one of claims 1 to 9.
前記取得部は、前記挿入データに含まれる前記感情情報を取得し、
前記動作内容決定部は、前記取得部が取得した前記感情情報に示される感情を抱かせるような動作として記憶されている動作内容を、前記自装置の動作内容として決定する、
請求項１から１０のいずれか１項に記載のロボット。 The insertion data includes emotion information indicating emotions that the user wants to hold,
The acquisition unit acquires the emotion information included in the insertion data,
The operation content determination unit determines an operation content stored as an operation that causes an emotion indicated in the emotion information acquired by the acquisition unit as an operation content of the own device.
The robot according to any one of claims 1 to 10.
前記取得部は、前記挿入データに含まれる前記動作指示情報を取得し、
前記動作内容決定部は、前記取得部が取得した前記挿入データに対する前記ユーザの関心度に基づく動作内容と前記動作指示情報に示される動作指示とを合成して、前記自装置の動作内容を決定する、
請求項１から１１のいずれか１項に記載のロボット。 The insertion data includes operation instruction information indicating an operation instruction for the robot,
The acquisition unit acquires the operation instruction information included in the insertion data,
The operation content determination unit determines the operation content of the device itself by combining the operation content based on the user's interest level with respect to the insertion data acquired by the acquisition unit and the operation instruction indicated in the operation instruction information. To
The robot according to any one of claims 1 to 11.
前記動作制御部は、前記動作内容決定部が決定した動作内容に基づいて前記自装置を動作させる前に、前記ユーザに近づくように前記移動部を制御する、
請求項１から１２のいずれか１項に記載のロボット。 A moving unit for moving the device;
The operation control unit controls the moving unit to approach the user before operating the device based on the operation content determined by the operation content determination unit.
The robot according to any one of claims 1 to 12.
前記コンテンツ配信装置が配信したコンテンツを再生する際に前記挿入データも出力するコンテンツ再生装置と、
前記コンテンツ再生装置が出力した前記挿入データに対するユーザの関心度に基づく動作を実行するロボットと、
を備える動作制御システム。 A content distribution device that distributes the content in which the insertion data is inserted;
A content reproduction device that outputs the insertion data when reproducing the content distributed by the content distribution device;
A robot that performs an operation based on the degree of interest of the user with respect to the insertion data output by the content reproduction device;
An operation control system comprising:
前記取得ステップで取得した前記挿入データに対するユーザの関心度に基づいて、動作内容を決定する動作内容決定ステップと、
前記動作内容決定ステップで決定した動作内容に基づいて自装置を動作させる動作制御ステップと、
を含む動作制御方法。 An acquisition step of acquiring insertion data inserted into the content;
An operation content determination step for determining an operation content based on a user's interest in the insertion data acquired in the acquisition step;
An operation control step for operating the device based on the operation content determined in the operation content determination step;
An operation control method including:
コンテンツに挿入されている挿入データを取得する取得部、
前記取得部が取得した前記挿入データに対するユーザの関心度に基づいて、動作内容を決定する動作内容決定部、
前記動作内容決定部が決定した動作内容に基づいて自装置を動作させる動作制御部、
として機能させるためのプログラム。 Computer
An acquisition unit for acquiring insertion data inserted in the content;
An operation content determination unit that determines an operation content based on a degree of interest of the user with respect to the insertion data acquired by the acquisition unit;
An operation control unit for operating the device based on the operation content determined by the operation content determination unit;
Program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016238785A JP2018098545A (en) | 2016-12-08 | 2016-12-08 | Robot, operation control system, operation control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016238785A JP2018098545A (en) | 2016-12-08 | 2016-12-08 | Robot, operation control system, operation control method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018098545A true JP2018098545A (en) | 2018-06-21 |
Family
ID=62633234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016238785A Pending JP2018098545A (en) | 2016-12-08 | 2016-12-08 | Robot, operation control system, operation control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018098545A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020119364A (en) * | 2019-01-25 | 2020-08-06 | Ｎｅｃパーソナルコンピュータ株式会社 | Interactive robot and controller of the same |
| JP2021018482A (en) * | 2019-07-17 | 2021-02-15 | 本田技研工業株式会社 | Robot management device, robot manufacturing method and robot management system |
-
2016
- 2016-12-08 JP JP2016238785A patent/JP2018098545A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020119364A (en) * | 2019-01-25 | 2020-08-06 | Ｎｅｃパーソナルコンピュータ株式会社 | Interactive robot and controller of the same |
| JP7051728B2 (en) | 2019-01-25 | 2022-04-11 | Ｎｅｃパーソナルコンピュータ株式会社 | Interactive robot and its control device |
| JP2021018482A (en) * | 2019-07-17 | 2021-02-15 | 本田技研工業株式会社 | Robot management device, robot manufacturing method and robot management system |
| JP7273638B2 (en) | 2019-07-17 | 2023-05-15 | 本田技研工業株式会社 | ROBOT MANAGEMENT DEVICE, ROBOT MANAGEMENT METHOD AND ROBOT MANAGEMENT SYSTEM |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11858118B2 (en) | Robot, server, and human-machine interaction method | |
| JP6775557B2 (en) | Video distribution system, video distribution method, and video distribution program | |
| US20180124475A1 (en) | Systems and Methods for Enhanced Television Interaction | |
| JP6594646B2 (en) | Robot, robot control method, and robot system | |
| CN103237248B (en) | Media program is controlled based on media reaction | |
| US20160110922A1 (en) | Method and system for enhancing communication by using augmented reality | |
| JP6614929B2 (en) | Video game tactile technology | |
| EP3104258A1 (en) | Broadcast haptics architectures | |
| CN109416562B (en) | Apparatus, method and computer readable medium for virtual reality | |
| WO2022227408A1 (en) | Virtual reality interaction method, device and system | |
| JP7198244B2 (en) | Video distribution system, video distribution method, and video distribution program | |
| JPWO2016136104A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2018098545A (en) | Robot, operation control system, operation control method, and program | |
| KR102430547B1 (en) | Apparatus for creation of contents of game play | |
| CN110753233B (en) | Information interaction playing method and device, electronic equipment and storage medium | |
| EP4306192A1 (en) | Information processing device, information processing terminal, information processing method, and program | |
| US20170296918A1 (en) | Interactive game system | |
| US11656683B2 (en) | Signal generation device, signal generation method, and reproduction device | |
| US20150254887A1 (en) | Method and system for modeling emotion | |
| JPWO2020158440A1 (en) | A recording medium that describes an information processing device, an information processing method, and a program. | |
| CN111435546A (en) | Model action method and device, sound box with screen, electronic equipment and storage medium | |
| CN116322507A (en) | Sex demand interactive platform system |