JP2018098545A - Robot, operation control system, operation control method, and program - Google Patents
Robot, operation control system, operation control method, and program Download PDFInfo
- Publication number
- JP2018098545A JP2018098545A JP2016238785A JP2016238785A JP2018098545A JP 2018098545 A JP2018098545 A JP 2018098545A JP 2016238785 A JP2016238785 A JP 2016238785A JP 2016238785 A JP2016238785 A JP 2016238785A JP 2018098545 A JP2018098545 A JP 2018098545A
- Authority
- JP
- Japan
- Prior art keywords
- content
- unit
- user
- emotion
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、ロボット、動作制御システム、動作制御方法及びプログラムに関する。 The present invention relates to a robot, an operation control system, an operation control method, and a program.
ロボットの動きを放送内容に連動させる技術が知られている。例えば、特許文献1には、放送局がロボットの動作情報をデータ放送として映像情報と共に配信し、配信された情報を受信した受信装置が映像情報と同期させて該動作情報をロボットへ送信することにより、映像と同期してロボットを動作させる技術が開示されている。 A technique for linking the movement of a robot to the broadcast content is known. For example, in Patent Document 1, a broadcast station distributes robot operation information together with video information as a data broadcast, and a receiving device that receives the distributed information transmits the operation information to the robot in synchronization with the video information. Thus, a technique for operating a robot in synchronization with a video is disclosed.
特許文献1に開示されている技術は、配信された動作情報に従ってロボットを動作させることができる。しかし、このロボットは、配信された動作情報に従って動作するだけであり、コンテンツに対するユーザの関心度に基づく動作をすることはできない。 The technique disclosed in Patent Literature 1 can operate a robot according to distributed motion information. However, this robot only operates according to the distributed operation information, and cannot operate based on the user's degree of interest in the content.
本発明はこのような事情に鑑みてなされたものであって、コンテンツに対するユーザの関心度に基づく動作をすることが可能なロボット、動作制御システム、動作制御方法及びプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to provide a robot, an operation control system, an operation control method, and a program capable of performing an operation based on a user's interest in content. To do.
上記目的を達成するため、本発明に係るロボットは、
コンテンツに挿入されている挿入データを取得する取得部と、
前記取得部が取得した前記挿入データに対するユーザの関心度に基づいて、自装置の動作内容を決定する動作内容決定部と、
前記動作内容決定部が決定した動作内容に基づいて前記自装置を動作させる動作制御部と、
を備える。
In order to achieve the above object, a robot according to the present invention provides:
An acquisition unit for acquiring insertion data inserted in the content;
An operation content determination unit that determines the operation content of the device based on the degree of interest of the user with respect to the insertion data acquired by the acquisition unit;
An operation control unit for operating the device based on the operation content determined by the operation content determination unit;
Is provided.
本発明によれば、ロボットが、コンテンツに対するユーザの関心度に基づく動作をすることを可能にする。 According to the present invention, it is possible for the robot to perform an operation based on the degree of interest of the user with respect to the content.
以下、本発明の実施形態に係るロボット、動作制御システム、動作制御方法及びプログラムについて、図面を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。 Hereinafter, a robot, an operation control system, an operation control method, and a program according to an embodiment of the present invention will be described with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals.
本発明の実施形態に係る動作制御システム1000は、図1に示すように、ロボット100と、コンテンツ再生装置200と、コンテンツ配信装置300と、を備える。コンテンツ配信装置300は、放送網(電波等)又はIP(Internet Protocol)ネットワークを介して、コンテンツ再生装置200にコンテンツを配信する。コンテンツ再生装置200は、コンテンツ配信装置300から配信されたコンテンツを再生する。一般にコンテンツは、映像、音声及びデータから構成されるが、これらの一部のみから構成されるコンテンツもあり得る。例えば、映像のみ、音声のみ、映像と音声のみ、映像とデータのみ、音声とデータのみ、からなるコンテンツである。動作制御システム1000で用いるコンテンツには、図2に示すように、ロボット100の動作を制御するための動作制御データ(挿入データ)が、映像及び/又は音声に挿入されている。図3に示すように、動作制御データには、コンテンツに関連するキーワード等が含まれており、ロボット100が動作内容を決定するために使用する。
As illustrated in FIG. 1, the
ロボット100は、コンテンツ再生装置200によって再生されたコンテンツに挿入されている動作制御データを取得する。そしてロボット100は、取得した動作制御データに含まれるキーワードに対するユーザ400の関心度に基づいて、動作、仕草、表情、声等を用いてユーザ400に該コンテンツの情報を知らせる。そしてロボット100は、該コンテンツを視聴したユーザ400の反応(表情、動作、仕草、声等)に基づいてユーザ400の感情を判定し、判定した感情の値をコンテンツ配信装置300に送信する。なお、関心度とは、関心の高さを示す値であり、0%から100%までの値を取る。また、コンテンツには、音声の含まれないコンテンツ及び映像の含まれないコンテンツもあり得るため、「コンテンツを視聴したユーザ」には、「コンテンツを見たユーザ」及び「コンテンツを聴いたユーザ」が含まれる。1台のコンテンツ配信装置300からコンテンツの配信を受けるコンテンツ再生装置200は1台以上存在する。また1台のコンテンツ再生装置200から動作制御データを取得するロボット100は1台以上存在する。そして、各ロボット100は、通常1人のユーザ400によって所有される。
The
コンテンツに動作制御データを挿入する者(動作制御データ挿入者)は、コンテンツ配信業者、コンテンツ制作者、コンテンツ配信のスポンサー等である。コンテンツ中に動作制御データが挿入されていると、ロボット100は、該動作制御データに含まれる情報に基づいて動作等(動作、仕草、表情、声等)の内容を決定し、ユーザ400の気を引くように該動作等を行う。動作制御データ挿入者は、このロボット100の動作等によって、ユーザ400がコンテンツの内容により関心を持つことを期待している。したがって、動作制御データ挿入者は、ユーザ400に関心を持たせたいと考える「もの」又はユーザ400が関心を持っているであろうと考える「もの」がコンテンツに含まれる場合に、該コンテンツに動作制御データを挿入する。その際、動作制御データ挿入者は、コンテンツのその「もの」が再生される直前の部分に、その「もの」を示すキーワードを含む動作制御データを挿入する。そして、この動作制御データを取得したロボット100は、動作制御データに含まれるキーワードに対するユーザ400の関心度等に応じて、動作等の内容を決定する。ロボット100によるこの動作等により、ユーザ400は、自分が関心を持っている「もの」がコンテンツ再生装置200から再生されることを事前に知ることができる。
The person who inserts the operation control data into the content (the operation control data inserter) is a content distributor, a content creator, a content distribution sponsor, or the like. When motion control data is inserted into the content, the
ロボット100は、図4(A)及び図4(B)に示すように、外観的には小型犬を模した立体的な形状を有する。ロボット100は、頭部151、胴部152、左右一対の手部157、左右一対の足部158及び尻尾部159を備える。また、頭部151は、左右一対の耳部153、左右一対の眼部154、鼻部155及び口部156を有する。口部156は、頭部151の下部に設けられた開口の形状を変化させる一般的な機構を有し、開口の形状の変化により種々の表情を表出する。なお、ロボット100の形状は、小型犬を模した立体的な形状に限定されるわけではなく、任意の形状を採用することができるが、ユーザ400に対して、種々の仕草及び表情を表出可能であることが望ましい。
As shown in FIGS. 4A and 4B, the
ロボット100は、機能的には、図5に示すように、制御部110、記憶部120、移動部131、可動部132、表示部133、音出力部134、通信部135及びセンサ部140、を備える。
Functionally, the
制御部110は、CPU(Central Processing Unit)等を備える。制御部110は、記憶部120に記憶されたプログラムを実行することにより、後述する各部(取得部111、動作内容決定部112、動作制御部113、感情判定部114、関心度更新部115及び感情判定値送信部116)の機能を実現する。また、制御部110は図示しない時計部を備え、現在時刻を取得することができる。
The
記憶部120は、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成される。ROMは制御部110のCPUが実行するプログラム及び、プログラムを実行する上で予め必要なデータを記憶する。RAMは、プログラム実行中に作成されたり変更されたりするデータが記憶される。また、記憶部120は、キーワード関心度対応表121、関心度動作内容対応表122及びロボットID123を記憶している。
The
キーワード関心度対応表121は、図6に示すように、キーワードと、そのキーワードに対するロボット100のユーザ400の関心度と、を対応付けたテーブルである。ロボット100のユーザ400は、キーワード関心度対応表121の内容を、通信部135を介して通信可能なPC(Personal Computer)等からの入力により、自由に設定することができる。ユーザ400は、関心が高いキーワードには、100%を上限として、高い値を関心度に設定する。ユーザ400は、関心がないキーワードについては、キーワード関心度対応表121から削除するか、又は、関心度に0%を設定する。
As shown in FIG. 6, the keyword interest level correspondence table 121 is a table in which keywords are associated with the interest levels of the
また、キーワード関心度対応表121は、図7に示すように、ユーザ400がキーワードに対して抱く感情を含んだテーブルとしても良い。感情を含んだテーブルにすると、ロボット100がキーワードに基づく動作をする際に、感情の値も用いて動作の内容を決定することができる。また、ロボット100が、後述する撮像部141及び音入力部142を用いて複数のユーザ400を認識することができる場合には、図8に示すような、認識可能なユーザ400毎のキーワード関心度対応表121としても良い。この場合も、さらに、感情を含んだテーブルにすることが可能である。
Further, as shown in FIG. 7, the keyword interest level correspondence table 121 may be a table including emotions that the
関心度動作内容対応表122は、図9に示すように、関心度の大きさに応じたロボット100の動作内容を記憶したテーブルである。動作内容としては、移動部131による移動、可動部132による表情変化及び動き、表示部133による眼部154の表情変化、音出力部134による発声等、任意の動作を設定することができる。なお、可動部132による表情変化及び動きとは、頭部151の表情変化、回転及び傾げ、耳部153の動き、口部156の動き、手部157の動き、足部158の動き、尻尾部159の動き等である。また、図9に示す関心度動作内容対応表122は、関心度の大きさだけでなく、感情の値も考慮した動作内容を記憶しているが、感情の項目は省略しても良い。関心度動作内容対応表122は、感情の項目を含む場合は、ユーザ400にその感情を抱かせるような動作内容を記憶している。
The interest level operation content correspondence table 122 is a table storing the operation content of the
ロボットID123は、ロボット100を一意に識別するためのID(Identification)である。基本的に各ユーザ400は、それぞれ異なるロボット100を所有しているため、コンテンツ配信装置300は、ロボットID123を、ユーザ400のIDに相当するものとして扱うことができる。
The
移動部131は、ロボット100を移動させるための部位である。移動部131は、ロボット100の左右一対の足部158の各々の底部に設けられた左右一対の車輪と、左右一対の車輪を回転駆動するモータと、モータを駆動制御する駆動回路と、を備える。駆動回路は、制御部110からの制御信号に従って、モータに駆動用のパルス信号を供給する。モータは、駆動用のパルス信号に従って、左右一対の車輪を回転駆動させ、ロボット100を移動させる。なお、左右一対の車輪がそれぞれ独立して回転駆動するように構成され、ロボット100が前進、後退、旋回、加減速等の走行が可能であれば、モータの数は任意である。例えば、連結機構又は操舵機構を設ける等して1つのモータで左右一対の車輪を駆動させてもよい。また、モータの数に合わせて駆動回路の数も適宜変更することができる。また、車輪の代わりにクローラを備えても良い。また、ロボット100の形状によっては、複数(例えば2本)の足を備え、足で歩行することによって移動しても良い。この場合、移動部131は、複数の足と、その足を動かすモータと、モータを駆動制御する駆動回路と、を備える。
The moving
可動部132は、制御部110の制御に従って所定の動きをする部位である。可動部132は、頭部151、手部157、足部158、尻尾部159等の被駆動部材と、被駆動部材を駆動するアクチュエータ等の駆動部材と、駆動部材を駆動制御する駆動回路と、を備える。制御部110の制御の下、駆動回路から供給された駆動信号に従って駆動部材が被駆動部材を駆動することにより、可動部132は、例えば、手足を動かす、頭を上下左右に振る、等の動作を行う。
The
表示部133は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機EL(Electro−luminescence)ディスプレイ等のディスプレイと、表示ドライバと、を備える。表示ドライバが、制御部110からの制御信号に基づいて、ディスプレイに表示する内容に応じた駆動信号をディスプレイに出力することによって、表示画面上への表示が行われる。ディスプレイは、左右一対の眼部154に設置され、目の開き具合、傾き、瞳等を表示する。眼部154に設置された表示部133により、ロボット100は、目で様々な表情を表現することが可能である。
The
音出力部134は、スピーカを備え、制御部110により生成された音データを音に変換して外部に出力する。スピーカは、例えば、口部156に嵌め込まれて設置される。
The
通信部135は、無線通信モジュール及びアンテナを備え、外部装置とのデータ通信を可能にする。ロボット100は、通信部135を介して、コンテンツ配信装置300とデータ通信を行うことができる。
The
センサ部140として、撮像部141と、音入力部142と、を備える。
As the
撮像部141は、画像を撮影するカメラを備える。カメラは、鼻部155等、眼部154の付近に設置され、ロボット100の正面に存在する物体を撮影する。ロボット100が移動及び回転したり、頭部151を上下左右に振ったりすることにより、撮像部141が撮影する対象を変更することができる。また、ロボット100は、ユーザ400を撮影する撮像部141と、コンテンツ再生装置200が再生する映像を撮影するコンテンツ撮像部(図示せず)と、を別々に設けても良いし、1つの撮像部141が、コンテンツ撮像部を兼ねても良い。以下では、1つの撮像部141が、コンテンツ撮像部を兼ねるものとして説明する。
The
音入力部142は、音を収集するマイクロフォンを備える。マイクロフォンは、左右一対の耳部153に設置される。ロボット100は、左右一対のマイクロフォンを備えているので、必要に応じて頭部151を上下左右に振って左右のマイクロフォンで取得される音量の差を把握することによって、音の発生方向を検出することができる。また、ロボット100は、ユーザ400の声を収集する音入力部142と、コンテンツ再生装置200が再生する非可聴域の音を収集するコンテンツ音入力部(図示せず)と、を別々に設けても良いし、1つの音入力部142が、コンテンツ音入力部を兼ねても良い。以下では、1つの音入力部142が、コンテンツ音入力部を兼ねるものとして説明する。
The
また、センサ部140は、これらに加えて、人感センサ、距離センサ、温度センサ、気圧センサ、ジャイロセンサ等を備えても良い。備えるセンサの数を増やすことにより、ロボット100は、動作をよりきめ細やかに制御することが可能になる。
In addition to these, the
次に、制御部110の機能構成について説明する。制御部110は、機能的には、取得部111、動作内容決定部112、動作制御部113、感情判定部114、関心度更新部115及び感情判定値送信部116を備える。
Next, the functional configuration of the
取得部111は、コンテンツに挿入されている動作制御データを検出し、動作制御データに含まれているキーワードを取得する。
The
ここで、動作制御データの詳細について説明する。動作制御データは、図3に示すように、「ID」、「キーワード」、「動作タイミング」、「感情」、「数」、「動作指示」を含む。「ID」は、動作制御データIDであり、動作制御データを一意に識別するものである。コンテンツ配信装置300は、後述する動作制御データDB(DataBase)322を参照することによって、この動作制御データIDに基づいて、この動作制御データが挿入されたコンテンツの配信日時及び番組名を取得することができる。「キーワード」は、動作制御データの挿入位置の直後のコンテンツに含まれている「もの」(動作制御データ挿入者が「ユーザ400に関心を持たせたい」又は「ユーザ400が関心を持っているであろう」と考える「もの」)を示すキーワードである。
Details of the operation control data will be described here. As shown in FIG. 3, the motion control data includes “ID”, “keyword”, “motion timing”, “emotion”, “number”, and “motion instruction”. “ID” is an operation control data ID, and uniquely identifies the operation control data. The
「動作タイミング」は、「キーワード」に対し、ロボット100が動作を開始するタイミングを表す動作タイミング情報である。「動作タイミング」は省略可能であり、省略されている場合は、ロボット100は、動作制御データからキーワードを取得したらすぐに動作を開始する。なお、ロボット100は、動作制御データを取得するのに時間を要する場合がある。また、動作制御データの取得に失敗する場合がある。したがって、動作制御データをより確実にロボット100に取得させるためには、ロボット100に動作して欲しいタイミングよりも時間的にかなり前のコンテンツの位置(例えば数分前)から、該動作制御データを複数回に渡って挿入しておくことが望ましい。ロボット100は、どのようなタイミングで動作制御データを取得した場合でも、「動作タイミング」を参照することによって、適切なタイミングで動作を開始することができる。
“Operation timing” is operation timing information indicating the timing at which the
「感情」は、動作制御データ挿入者がロボット100の動作で表現してほしい感情を表す感情情報である。言い換えると、動作制御データ挿入者が、ロボット100の動作によって、ユーザ400に抱かせたい感情を表す。この「感情」は、関心度動作内容対応表122の「感情」の項目に対応する。動作内容決定部112は、関心度動作内容対応表122に感情の項目が含まれる場合には、ロボット100の動作内容を「感情」に対応する動作内容に決定する。「感情」に基づき動作内容にバリエーションを持たせることによって、ロボット100は、ユーザ400により関心を持たせる動作をすることができる。なお、動作制御データの「感情」の項目は省略可能である。動作制御データに「感情」の項目が含まれず、関心度動作内容対応表122に感情の項目が含まれる場合には、動作内容決定部112は、「感情」の値が「喜び」であるとして動作内容を決定する。
“Emotion” is emotion information representing an emotion that the motion control data inserter wants to express by the motion of the
「数」は、その後に続くロボット100への「動作指示」の個数を表す。「動作指示」は動作制御データ挿入者がロボット100に実行してほしい動作内容を表す動作指示情報である。動作指示には「任意」と「強制」の2種類があり、ロボット100は、「任意」の動作指示は無視しても良いが、「強制」の動作指示は必ず実行しなければならない。この「動作指示」により、ロボット100は、ロボット100自身が記憶している(有限の)動作内容だけでなく、「動作指示」で指示される任意の(無限の可能性のある)動作を行うことができる。
“Number” represents the number of “operation instructions” to the
図3では、わかりやすさのために、「感情」及び「動作指示」を自然言語で示しているが、実際にはこれらはコード化されて動作制御データ内に設定される。感情については、例えば、喜びは1、驚きは2、悲しみは3にコード化される。また、動作指示は任意と強制の2種類があるが、例えば、任意は0、強制は1にコード化される。動作指示対象については、例えば、眼部154は1、耳部153は2、尻尾部159は3、口部156は4、手部157は5、足部158は6、頭部151は7、声は8にコード化される。また頻繁に指示すると想定される動作については動作指示の内容そのものもコード化される。例えば、「尻尾を振る」は31、「目をニコニコした表情にする」は11等である。動作指示の内容を細かく指定したい場合は、データの種別を示すコードとともに、動作指示のためのデータそのものを動作制御データに設定する。動作指示のためのデータそのものとは、例えば眼部154に表示する画像データ、音出力部134から発声する音声データ、等が挙げられる。
In FIG. 3, “emotion” and “motion instruction” are shown in natural language for easy understanding, but in actuality, these are coded and set in motion control data. For emotion, for example, joy is coded as 1, surprise is coded as 2, and sadness is coded as 3. There are two types of operation instructions, arbitrary and forced. For example, arbitrary is coded as 0 and forced is coded as 1. Regarding the operation instruction target, for example, the
動作制御データ挿入者は、コンテンツの音及び/又は映像の部分に動作制御データを挿入する。つまり、挿入する部分は、音、映像、音及び映像、の3つの形態がある。これら3つのいずれの形態でも、動作制御データは、後述するように、人には認識できないような形で挿入される。動作制御データがコンテンツの音及び/又は映像に挿入されることによって、コンテンツを単に再生するだけで動作制御データがロボット100に送信されることになる。したがって、コンテンツ再生装置200は、動作制御データをロボット100に送信するために、特別な構成を付加する必要がなく、特別な処理をする必要もない。
The motion control data inserter inserts motion control data into the sound and / or video portion of the content. That is, there are three forms of the insertion part: sound, video, sound and video. In any of these three forms, the operation control data is inserted in a form that cannot be recognized by a person, as will be described later. By inserting the motion control data into the sound and / or video of the content, the motion control data is transmitted to the
動作制御データ挿入者が動作制御データを音に挿入する場合には、通常の人には聞こえない非可聴域の周波数(例えば17kHz以上の周波数)の音波による信号によって、動作制御データを挿入する。動作制御データ挿入者が動作制御データを映像に挿入する場合には、2種類の方法がある。1つは知覚困難型の電子透かしと同様の技術を利用したもので、例えば、人には認識できない輝度データによる信号を挿入する方法である。もう1つは、人には知覚できない超短時間(例えば1フレーム)の映像に信号を挿入する方法である。なお、単位時間当たりの情報量は音より映像の方が多いことから、動作制御データを、音に挿入するよりも映像に挿入する方が、同じ時間でより多くの情報量を挿入することができる。 When the motion control data inserter inserts the motion control data into the sound, the motion control data is inserted by a signal from a sound wave having a frequency in a non-audible range (for example, a frequency of 17 kHz or higher) that cannot be heard by a normal person. When the motion control data inserter inserts motion control data into a video, there are two types of methods. One is a technique that uses a technique similar to a perceptual digital watermark, for example, a method of inserting a signal based on luminance data that cannot be recognized by humans. The other is a method of inserting a signal into an image of an extremely short time (for example, one frame) that cannot be perceived by humans. In addition, since the amount of information per unit time is larger in the video than in the sound, it is possible to insert a larger amount of information in the same time when the motion control data is inserted into the video than in the sound. it can.
ロボット100は、ユーザ400及びコンテンツ再生装置200の近くにいて、コンテンツ再生装置200から再生されるコンテンツに挿入された動作制御データを認識する。ここで、ロボット100が、映像に挿入された動作制御データを認識するには、コンテンツ再生装置200によって再生されている映像(画像)を、撮像部141で撮影する必要がある。しかし、ロボット100がこの映像を撮影できるか否かは、ロボット100とコンテンツ再生装置200との位置関係に依存する。これに対し、ロボット100は、音声に挿入された動作制御データであれば、コンテンツ再生装置200によって再生されている音を音入力部142で収集できる位置にいる限り、この動作制御データを認識できると考えられる。
The
そこで、動作制御データは、少なくとも音には挿入し、音だけでは情報量が足りない場合に映像にも挿入するのが望ましい。前述したように、ロボット100は、音入力部142により音の発生源の方向を検出できる。このため、ロボット100は、音に挿入された動作制御データを認識したら、その音の発生源の方に移動して音の発生源の方向を向くことにより、動作制御データが挿入された映像を撮像部141で撮影することが可能になる。
Therefore, it is desirable to insert the operation control data into at least the sound, and also insert it into the video when the amount of information is insufficient with the sound alone. As described above, the
例えば、動作制御データ挿入者は、動作制御データのIDとキーワードだけからなる動作制御データを音に挿入し、図3に示す全ての情報からなる動作制御データを映像に挿入することができる。この場合、ロボット100は、音に挿入する動作制御データと映像に挿入する動作制御データとが対応しているか否かを、動作制御データのIDが同一か否かによって判定することができる。前述したように、動作制御データをコンテンツに挿入する方法にはいくつかの方法があるが、どの方法で挿入するかは事前に取り決めておき、コンテンツ配信装置300が配信するコンテンツへの動作制御データの挿入方法をロボット100は把握しているものとする。
For example, the motion control data inserter can insert motion control data including only the ID and keyword of the motion control data into the sound, and can insert motion control data including all the information shown in FIG. 3 into the video. In this case, the
制御部110の機能構成の説明の続きに戻る。動作内容決定部112は、取得部111が取得したキーワードに対するユーザ400の関心度を、キーワード関心度対応表121から求める。そして、その関心度に応じた自装置(ロボット100)の動作内容を、関心度動作内容対応表122に基づいて決定する。
Returning to the description of the functional configuration of the
動作制御部113は、動作内容決定部112が決定した動作内容に基づいて、移動部131、可動部132、表示部133及び音出力部134を制御して、自装置であるロボット100に、所定の動作、仕草及び表情を表出させ、また、声を出させる。
The
感情判定部114は、撮像部141で撮影したユーザ400の顔の認識結果と、音入力部142で収集したユーザ400の声の認識結果と、に基づき、ユーザ400の感情を判定する。感情には種々の種類があるが、感情判定部114は、主に「喜び」の感情を判定し、「喜び」の感情の大きさに応じた感情判定値を定める。例えば、顔認識による感情判定値については、顔の認識結果として、「笑い」を認識したら「7」、「通常」を認識したら「5」、「泣き」を認識したら「3」、と定めることができる。このように、ユーザ400の顔の表情を認識することによって、ユーザ400の感情を適切に判定することができる。
The
また、音認識による感情判定値については、音の大きさの認識結果に応じて定めることができる。例えば音の大きさが、「50dB以上」なら「6」、「40dB以上50dB未満」なら「5」、「30dB以上40dB未満」なら「4」、「20dB以上30dB未満」なら「3」、「10dB以上20dB未満」なら「2」、「10dB未満」なら「1」、と定めることができる。このように音の大きさを用いることによって、複雑な認識処理をしなくても、ユーザ400の感情を判定することができる。なお、音認識による感情判定値に関しては、この他に、笑い声を認識したら増やし、泣き声を認識したら減らすという処理を行うこともできる。また、音の周波数領域及び持続時間を考慮して音認識による感情判定値を増減することもできる。さらに、音声認識によって、ユーザ400の発話した文章を認識すれば、より適切な感情判定を行うことができる。
Further, the emotion determination value by sound recognition can be determined according to the recognition result of the sound volume. For example, if the sound volume is “50 dB or more”, “6”, “40 dB or more and less than 50 dB” “5”, “30 dB or more and less than 40 dB” “4”, “20 dB or more but less than 30 dB” “3”, “ It can be determined as “2” if it is “10 dB or more and less than 20 dB”, and “1” if it is “less than 10 dB”. By using the loudness in this way, it is possible to determine the emotion of the
感情判定部114は、さらに、撮像部141で撮影したユーザ400の動作の認識結果を用いてユーザ400の感情を判定しても良い。例えば、感情判定部114は、撮像部141で撮影したユーザ400の動きの量を認識して、動きの大きさに応じた感情判定値を定めることができる。そうすると、動き認識による感情判定値は、例えば、ユーザ400が大きく飛び上がる動作をしたら「7」、頷く動作をしたら「5」、じっとして動かなければ「3」と定めることができる。ロボット100とユーザ400との距離がかなり離れている場合には、ロボット100はユーザ400の顔を認識することが困難になる。しかし、この場合でも、ロボット100は、ユーザ400の動きを認識できるなら、ユーザ400の動きの量に基づいて、ユーザ400の感情を判定することができる。
The
感情判定部114は、これら複数の感情判定値に所定の演算を行って、1つの感情判定値を求めることができる。所定の演算とは、例えば、加算、乗算、平均(相加平均、相乗平均、調和平均)、最大値算出等である。所定の演算として加算を用いる場合、感情判定部114は、顔認識及び音認識によってそれぞれ定められた感情判定値を加算して1つの感情判定値を求めることができる。例えば、顔認識による感情判定値が7で、音認識による感情判定値が4の時は、この2つの値を加算して求まる11を感情判定値とすることができる。
The
関心度更新部115は、感情判定部114が求めた感情判定値に基づき、その直前に取得部111が取得していたキーワードに対するユーザ400の関心度を求め、キーワード関心度対応表121を更新する。この関心度は、感情判定値が大きければ100%に近づき、感情判定値が小さければ0%に近づくように、関心度更新部115が定める。例えば、関心度=(顔認識による感情判定値+音認識による感情判定値)÷13と定めたり、関心度=max(顔認識による感情判定値÷7,音認識による感情判定値÷6)と定めたりすることができる。ここで、max(a,b)とは、aとbのうち大きい方の値を取る。
The interest
関心度更新部115は、今回のキーワードに対する関心度がキーワード関心度対応表121に記憶されていなければ、新たにそのキーワードと関心度とをキーワード関心度対応表121に記憶させる。今回のキーワードに対する関心度が既にキーワード関心度対応表121に記憶されている場合は、関心度更新部115は、記憶済みの関心度と今回求めた関心度とで加重平均を求め、キーワード関心度対応表121に記憶させる。適切に加重平均を求めるために、キーワード関心度対応表121に、各キーワードの累積更新回数を記憶させ、更新するたびにこの値をインクリメントするようにしても良い。この場合、新たな関心度は(記憶済みの関心度×累積更新回数+今回求めた関心度)÷(累積更新回数+1)で求めることができる。そして、累積更新回数の初期値を100等、ある程度大きな値にしておくと、誤認識等による感情判定値の異常値の影響を小さくすることができる。
If the interest level for the current keyword is not stored in the keyword interest level correspondence table 121, the interest
感情判定値送信部116は、図10に示すような、「ID」、「ロボットID」、「感情判定値」を含む感情判定値送信データを、通信部135を介して、コンテンツ配信装置300に送信する。ここで、「ID」は、今回の動作制御データのID(動作制御データID)を示す。また「ロボットID」は、ロボット100のロボットIDを示す。「感情判定値」は、感情判定部114が求めた今回の感情判定値を示す。図10に示す感情判定値送信データは、顔認識による感情判定値と音認識による感情判定値とを加算した1つの感情判定値のみを含んでいる。しかし、感情判定値は1つに限るわけではなく、感情判定値送信データは、例えば「顔認識による感情判定値」、「音認識による感情判定値」及び「動き認識による感情判定値」という複数の感情判定値を含んでも良い。また、感情判定値送信部116は、感情判定値の代わりに、撮像部141が撮像した顔画像データ及び音入力部142が収集した音のデータそのものを含む感情判定値送信データを送信しても良い。この場合、該感情判定値送信データを受信したコンテンツ配信装置300が、該顔画像データ及び該音のデータを用いて、ユーザ400の今回のキーワードに対する関心度を求める。また、ロボット100が、複数のユーザ400を認識することができる場合には、認識したユーザ400を一意に識別するユーザIDを感情判定値送信データに含めても良い。
The emotion determination
以上、ロボット100の機能構成について説明した。次に、コンテンツ再生装置200について説明する。コンテンツ再生装置200は、コンテンツ配信装置300から配信されたコンテンツを再生する装置である。コンテンツ再生装置200の例としては、テレビ放送を受信して再生するテレビ受像機及び、インターネット上のコンテンツを再生するタブレット端末が挙げられる。コンテンツ再生装置200は、機能的には、図11に示すように、制御部210、記憶部220、映像出力部231、音出力部232、コンテンツ受信部233及び入力部234、を備える。
The functional configuration of the
制御部210は、CPU等を備え、記憶部220に記憶されたプログラムを実行することにより、コンテンツ再生装置200の機能を実現する。
The
記憶部220は、ROM、RAM等で構成される。ROMは制御部210のCPUが実行するプログラム及び、プログラムを実行する上で予め必要なデータを記憶する。RAMは、プログラム実行中に作成されたり変更されたりするデータが記憶される。
The
映像出力部231は、例えば、液晶ディスプレイ(LCD)又は有機ELディスプレイ等のディスプレイを備える。後述するコンテンツ受信部233が受信したコンテンツに含まれる映像データを、制御部210が映像出力部231に出力することによって、映像出力部231が備えるディスプレイに映像が表示される。
The
音出力部232は、スピーカを備える。後述するコンテンツ受信部233が受信したコンテンツに含まれる音データを、制御部210が音出力部232に出力することによって、スピーカから音が出力される。
The
コンテンツ受信部233は、コンテンツ配信装置300から配信されるコンテンツを受信するためのデバイスを備える。例えば、コンテンツが電波を介して配信される場合は、コンテンツ受信部233は、アンテナとチューナとを備える。コンテンツがIPネットワークを介して配信される場合は、コンテンツ受信部233は、IP通信モジュールを備える。
The
入力部234は、例えば、押しボタンスイッチ又はリモコン(リモートコントローラ)等の入力デバイスを備える。コンテンツ再生装置200のユーザ(コンテンツ視聴者)は、入力部234を介して、コンテンツ再生装置200にコンテンツ再生に関する指示を出すことができる。
The
以上、コンテンツ再生装置200の機能構成について説明した。次に、コンテンツ配信装置300について説明する。コンテンツ配信装置300は、コンテンツ再生装置200にコンテンツを配信する装置である。コンテンツ配信装置300の例としては、テレビ放送を放送するテレビ放送装置及び、インターネット上でコンテンツを配信するPC等が挙げられる。コンテンツ配信装置300は、機能的には、図12に示すように、制御部310、記憶部320、コンテンツ配信部331、通信部332、表示部333及び入力部334、を備える。
The functional configuration of the
制御部310は、CPU等を備える。制御部310は、記憶部320に記憶されたプログラムを実行することにより、後述する各部(感情判定値取得部311、関心度DB更新部312及び関心度DB集計部313)の機能を実現する。また、制御部310は図示しない時計部を備え、現在時刻を取得することができる。
The
記憶部320は、ROM、RAM等で構成される。ROMは制御部310のCPUが実行するプログラム及び、プログラムを実行する上で予め必要なデータを記憶する。RAMは、プログラム実行中に作成されたり変更されたりするデータが記憶される。また、記憶部320は、コンテンツDB321、動作制御データDB322、配信スケジュールDB323及び関心度DB324を記憶している。
The
コンテンツDB321は、図2に示したような、動作制御データ挿入済みのコンテンツを記憶するデータベースである。各コンテンツにはそれぞれ、コンテンツを一意に特定するIDが割り当てられている。
The
動作制御データDB322は、図13に示すように、コンテンツに挿入された各動作制御データについての「動作制御データID」、「配信日時」、「コンテンツID」及び「番組名」を記憶する。「動作制御データID」は、動作制御データのIDを示す。「配信日時」は、「動作制御データID」で示されるIDの動作制御データが配信される日時を示す。これは、コンテンツ中で、動作制御データが挿入される位置を表す。「コンテンツID」は、「動作制御データID」で示されるIDの動作制御データが挿入されたコンテンツのIDを示す。「番組名」は、「動作制御データID」で示されるIDの動作制御データが挿入されたコンテンツの番組名を示す。コンテンツ配信装置300は、動作制御データDB322を参照することによって、動作制御データのIDから、その動作制御データの配信日時並びに、その動作制御データが挿入されたコンテンツのID及び番組名を取得することができる。
As shown in FIG. 13, the operation
配信スケジュールDB323は、図14に示すように、コンテンツDB321に記憶されている各コンテンツについての「コンテンツID」、「配信日時」、「番組名」及び「動作制御データID」を記憶する。「コンテンツID」は、配信するコンテンツを一意に特定するためのID(コンテンツID)を示す。「配信日時」は、「コンテンツID」で示されるコンテンツの配信日時を示す。「番組名」は、「コンテンツID」で示されるコンテンツの番組名を示す。「動作制御データID」は、「コンテンツID」で示されるコンテンツに挿入された動作制御データのIDを示す。なお、「動作制御データID」については、配信スケジュールDB323に記憶しなくても良い。配信スケジュールDB323が動作制御データのIDも記憶すると、コンテンツID、配信日時又は番組名から、配信された動作制御データのIDを逆引きすることが可能になる。
As shown in FIG. 14, the
関心度DB324は、図15に示すように、ロボット100から送信された感情判定値送信データに基づいて、「ID」、「ロボットID」、「キーワード」、「受信日時」、「番組名」及び「感情判定値」を記憶する。「ID」は、該感情判定値送信データに含まれる動作制御データIDを示す。「ロボットID」は、該感情判定値送信データに含まれるロボットIDを示す。「キーワード」は、「ID」で示される動作制御データに含まれるキーワードを示す。「受信日時」は、該感情判定値送信データを受信した日時を示す。「番組名」は、「ID」で示される動作制御データが挿入されたコンテンツの番組名を示す。「感情判定値」は、該感情判定値送信データに含まれる感情判定値を示す。ユーザ400のキーワードに対する関心度は、感情判定値に反映されるので、関心度DB324に記憶されたデータを集計することによって、キーワード毎、ロボットID(ユーザ400)毎、番組毎、日時毎の関心度の大きさをグラフにすることができる。そして、このグラフを見ることによって、動作制御データ挿入者は、ユーザ400に好まれるキーワード、番組、日時等を知ることができる。このため、動作制御データ挿入者は、その後、より効果的な動作制御データを、より効果的な位置に挿入することができるようになる。
As shown in FIG. 15, the degree-of-
なお、図15に示す関心度DB324は、感情判定値を1つしか記憶していないが、ロボット100が送信する感情判定値送信データに応じて、複数の感情判定値を記憶しても良い。例えば、該感情判定値送信データが「顔認識による感情判定値」、「音認識による感情判定値」及び「動き認識による感情判定値」を含む場合、これら3つの値を別個に記憶しても良い。また、該感情判定値送信データが、感情判定値の代わりに、顔画像データ及び音のデータそのものを送信する場合は、関心度DB324の内容は例えば次の2種類の形態が考えられる。1つ目は、感情判定値の代わりに、ロボット100から送信されたこれらのデータ(顔画像データ及び音のデータそのもの)を関心度DB324に記憶する形態である。2つ目は、ロボット100から送信された顔画像データ及び音のデータを用いてコンテンツ配信装置300がキーワードに対するユーザ400の関心度を求め、求めた関心度を感情判定値の代わりに関心度DB324に記憶する形態である。また、ロボット100が、複数のユーザ400を認識することができる場合には、感情判定値送信データにユーザIDが含まれる場合がある。この場合は、関心度DB324にユーザIDも記憶する。これによって、コンテンツ配信装置300は、ロボットIDだけでなく、ユーザIDも用いた集計処理を行うことができる。
Although the
コンテンツ配信部331は、コンテンツ再生装置200にコンテンツを配信するためのデバイスを備える。例えば、コンテンツ配信装置300がコンテンツを、電波を介して配信する場合は、コンテンツ配信部331は、電波送信モジュールとアンテナとを備える。コンテンツ配信装置300がコンテンツを、IPネットワークを介して配信する場合は、コンテンツ配信部331は、IP通信モジュールを備える。
The
通信部332は、通信モジュールを備え、外部装置とのデータ通信を可能にする。コンテンツ配信装置300が無線で外部装置とのデータ通信を行う場合は、通信部332は、無線通信モジュール及びアンテナを備える。コンテンツ配信装置300は、通信部332を介して、ロボット100とデータ通信を行うことができる。
The
表示部333は、例えば、液晶ディスプレイ(LCD)又は有機ELディスプレイ等のディスプレイを備える。表示部333により、関心度DB集計部313が作成したグラフの表示等を行うことができる。
The
入力部334は、例えば、キーボード及びマウス等の入力デバイスを備える。コンテンツ配信装置300のユーザ(動作制御データ挿入者等)は、入力部334を介して、コンテンツ配信装置300に関心度DBの集計指示を出すことができる。
The
次に、コンテンツ配信装置300が行うコンテンツ配信処理について、図16を参照して説明する。この処理は、コンテンツ配信装置300がコンテンツを配信する時に実行される。
Next, content distribution processing performed by the
まず、制御部310は、配信スケジュールDB323を読み込み(ステップS101)、配信すべきコンテンツIDを取得する。そして、制御部310は、コンテンツDB321から、ステップS101で取得したコンテンツIDのコンテンツを読み出し(ステップS102)、コンテンツ配信部331を介してコンテンツを配信する(ステップS103)。なお、コンテンツの読み出しと配信は細かい時間単位で行っても良いし、番組単位等の大きな時間単位で行っても良い。
First, the
次に、制御部310は、コンテンツの配信を終了するか否かを判定する(ステップS104)。配信スケジュールDB323に配信するコンテンツがないか、又は、入力部334からコンテンツの配信終了の指示が入力されたなら、制御部310は、コンテンツの配信を終了する。コンテンツの配信を終了する場合は(ステップS104;Yes)、コンテンツ配信処理を終了する。コンテンツの配信を終了しない場合は(ステップS104;No)、感情判定値取得部311は、通信部332を介して、ロボット100から送信された感情判定値送信データを受信したか否かを判定する(ステップS105)。
Next, the
感情判定値送信データを受信していなければ(ステップS105;No)、ステップS101に戻る。感情判定値送信データを受信したなら(ステップS105;Yes)、感情判定値取得部311は、感情判定値送信データに含まれる感情判定値等の値を取得する(ステップS106)。そして、感情判定値取得部311は、取得した感情判定値等の値に基づいて、関心度DB324を更新し(ステップS107)、ステップS104に戻る。なお、関心度DB324の更新は、簡単には、ステップS106で取得した感情判定値等のデータを関心度DB324に追加記憶すれば良い。
If the emotion judgment value transmission data has not been received (step S105; No), the process returns to step S101. When the emotion determination value transmission data is received (step S105; Yes), the emotion determination
以上の処理により、コンテンツ配信装置300は、配信スケジュールに従って、コンテンツをコンテンツ再生装置200に配信する。
Through the above processing, the
次に、コンテンツ再生装置200が行うコンテンツ再生処理について、図17を参照して説明する。この処理は、コンテンツ再生装置200がコンテンツの再生を開始する時に実行される。
Next, content reproduction processing performed by the
まず、制御部210は、コンテンツ受信部233を介して、コンテンツを受信する(ステップS201)。次に、制御部210は、受信したコンテンツのうち映像データを映像出力部231に出力し、音データを音出力部232に出力することによって、コンテンツを再生する(ステップS202)。コンテンツ再生装置200は、このコンテンツの受信と再生とを所定の細かい時間単位で少しずつ行う。
First, the
そして、制御部210は、コンテンツの再生を終了するか否かを判定する(ステップS203)。コンテンツ配信装置300からコンテンツが配信されなくなったか又は、入力部234から再生終了の指示が入力されたなら、制御部210はコンテンツの再生を終了する。コンテンツの再生を終了する場合は(ステップS203;Yes)、コンテンツ再生処理を終了する。コンテンツの再生を終了しない場合は(ステップS203;No)、ステップS201に戻る。
Then, the
以上の処理により、コンテンツ再生装置200は、コンテンツ配信装置300から配信されるコンテンツを再生する。
Through the above processing, the
次に、ロボット100が行う動作制御処理について、図18を参照して説明する。この処理は、ロボット100が、コンテンツ再生装置200から送信される動作制御データに基づいて動作を開始する時に実行される。基本的にはロボット100は、電源を投入すると、図18に示す動作制御処理を開始する。
Next, operation control processing performed by the
まず、取得部111は、コンテンツ再生装置200が再生するコンテンツに挿入されている動作制御データを、取得可能か否かを判定する(ステップS301)。この判定は、音入力部142によって非可聴域の周波数の音波を収集可能か否か、また、撮像部141によって動作制御データの挿入された映像を撮影可能か否かによって行われる。動作制御データを取得できないなら(ステップS301;No)、制御部110は、移動部131及び可動部132を制御して、ロボット100を、コンテンツ再生装置200の近くに移動させ、コンテンツ再生装置200の方向に回転させる(ステップS302)。例えば、動作制御データが音及び映像に挿入されている場合は、ロボット100は、音入力部142によって非可聴域の周波数の音波の発生源の位置を把握することができるので、この音波を手がかりにして移動及び回転を行う。ロボット100は、音波の発生源の位置に移動し、音波の発生源の方向に回転することによって、撮像部141によって動作制御データの挿入された映像を撮影できる場所に移動することができる。制御部110は、ステップS302で移動及び回転の制御をした後、ステップS301に戻る。
First, the
取得部111が、動作制御データを取得可能なら(ステップS301;Yes)、取得部111は、動作制御データを取得し、取得した動作制御データに含まれるキーワード等のデータを取得する(ステップS303)。なお、ここで取得される動作制御データは、音入力部142によって収集された非可聴域の周波数の音波による信号で表された動作制御データ、又は、撮像部141によって撮影された映像(画像)に挿入されている動作制御データである。次に取得部111は、キーワード関心度対応表121を参照して、取得したキーワードに対応する関心度を取得する(ステップS304)。もしキーワード関心度対応表121に感情のデータも含まれているなら関心度とともに感情のデータも取得する。ここで取得した感情のデータは、動作制御データに感情のデータが含まれていない場合に、関心度動作内容対応表122を参照する際の感情のデータとして使用される。
If the
次に、取得部111は、取得した関心度の値が基準関心度閾値(例えば50%)以上であるか否かを判定する(ステップS305)。関心度の値が基準関心度閾値未満なら(ステップS305;No)、ステップS308へ進む。関心度の値が基準関心度閾値以上なら(ステップS305;Yes)、動作内容決定部112は、ステップS303で取得部111が取得した動作制御データに含まれる「動作タイミング」、「感情」及び「動作指示」を取得する。そして、関心度動作内容対応表122を参照して、関心度及び「感情」に対応する動作内容を取得する。そして、動作内容決定部112は、各部位に対する動作指示及び動作内容を合成して、ロボット100が「動作タイミング」で指定された時刻に実行を開始する動作内容を決定する(ステップS306)。その際、同じ部位に対して複数の動作指示及び動作内容が存在した場合、動作内容決定部112は、強制の動作指示、関心度動作内容対応表122に記憶されている動作内容、任意の動作指示、という優先度の高い順に、動作指示又は動作内容を採用する。
Next, the
一例として、ロボット100が、図6に示すキーワード関心度対応表121、及び、図9に示す関心度動作内容対応表122を記憶しており、図3に示す動作制御データがコンテンツに挿入されていた場合を説明する。この場合、キーワード「腕時計」に対する関心度は「90%」であることが図6に示すキーワード関心度対応表121から読み取れる。また、動作制御データに含まれる「感情」は「驚き」であることが図3から読み取れる。したがって、関心度動作内容対応表122から取得される動作内容は、「目を大きく開ける」及び「大きな音量で「ワオ」と発声」であることが図9から読み取れる。そして、動作制御データに含まれる、強制の動作指示は「尻尾を振る」、任意の動作指示は「「腕時計だよ」と発声」であることが図3から読み取れる。そうすると、眼部154に対する指示は「目を大きく開ける」のみであり、尻尾部159に対する指示は「尻尾を振る」のみであるので、これらの動作はそのまま採用される。
As an example, the
音出力部134に対する指示は、「大きな音量で「ワオ」と発声」と「「腕時計だよ」と発声」の2つが競合しているので、優先度の高い「大きな音量で「ワオ」と発声」が採用され、「「腕時計だよ」と発声」は無視される。もし、「「腕時計だよ」と発声」が強制の動作指示であったなら、逆に「「腕時計だよ」と発声」が採用され、「大きな音量で「ワオ」と発声」は無視される。
The instruction to the
ロボット100の動作内容は、このようにして、動作内容決定部112によって決定される。動作制御部113は、その決定された動作内容に従って、「動作タイミング」で指定された時刻に、移動部131、可動部132、表示部133及び音出力部134を制御することによって動作制御を行う(ステップS307)。その際、ロボット100は、ユーザ400に近づいてから動作を開始しても良い。ロボット100がユーザ400に近づく方法としては、例えば、音入力部142でユーザ400の声の方向を把握して、その方向に移動する方法がある。また、センサ部140に人感センサを備える場合には、人感センサを用いてユーザ400の存在する方向を把握して、その方向に移動する方法もある。ロボット100は、ユーザ400に近づいてから動作を開始することによって、ロボット100の動作をユーザ400により強く印象づけることができる。
The operation content of the
次に、感情判定部114は、ユーザ400の顔の認識が可能か否かを判定する(ステップS308)。ここで、感情判定部114は、撮像部141によりユーザ400の顔を撮影でき、撮影したユーザ400の顔の表情を認識できる場合に、ユーザ400の顔の認識が可能と判定する。ユーザ400の顔の認識ができないなら(ステップS308;No)、制御部110は、移動部131及び可動部132を制御して、ロボット100を、ユーザ400の近くに移動させ、ユーザ400の顔を撮影できる方向に回転させる(ステップS309)。例えば、ロボット100は、音入力部142でユーザ400の声の方向を把握して、その方向に移動することができる。また、センサ部140に人感センサを備える場合には、ロボット100は、人感センサを用いてユーザ400の近くに移動することもできる。制御部110は、ステップS309で移動及び回転の制御をした後、ステップS308に戻る。
Next, the
感情判定部114は、ユーザ400の顔の認識が可能なら(ステップS308;Yes)、ユーザ400の顔の表情、音声、動き等に基づいて、ユーザ400の感情を判定し(ステップS310)、前述した感情判定値を求める。そして、関心度更新部115は、感情判定部114が求めた感情判定値に基づき、取得部111がステップS303で取得したキーワードに対するユーザ400の関心度を求める(ステップS311)。これは、前述したように、例えば、関心度=(顔認識による感情判定値+音認識による感情判定値)÷13として求めることができる。
If the
そして、関心度更新部115は、前述したように、キーワード関心度対応表121を更新する(ステップS312)。これにより、当初はキーワード関心度対応表121に記憶されていなかったキーワードに対するユーザ400の関心度も、キーワード関心度対応表121に記憶される。また、ユーザ400の関心が変化した場合、キーワード関心度対応表121の記憶内容もそれに追従して変化することになる。
Then, as described above, the interest
次に、感情判定値送信部116は、感情判定部114が求めた感情判定値に基づき、図10に示すような感情判定値送信データを、通信部135を介して、コンテンツ配信装置300に送信する(ステップS313)。
Next, emotion determination
そして、制御部110は、ロボット100の動作を終了するか否かを判定する(ステップS314)。ユーザ400がロボット100の電源を落とした時又は、ロボット100の備えるバッテリーの残量が閾値を下回った時に、ロボット100は動作を終了する。ロボット100が動作を終了するなら(ステップS314;Yes)、動作制御処理を終了する。ロボット100が動作を終了しないなら(ステップS314;No)、ステップS301に戻る。
Then, the
以上の動作制御処理により、ロボット100は、ユーザ400の関心度の高いキーワードがコンテンツに含まれる場合に、事前にそのことをユーザ400に知らせる種々の動作を行うことができる。そして、その後のユーザ400の感情を判定した値をコンテンツ配信装置300に送信することができる。また、関心度更新部115によって、キーワード関心度対応表121が更新されるので、当初記憶されていないキーワードも、ユーザ400が関心を示すとキーワード関心度対応表121に記憶される。このことによって、それ以後、ロボット100は、該キーワードがコンテンツに含まれることをユーザ400に知らせることができるようになる。
Through the above-described operation control processing, the
次に、ロボット100が送信した感情判定値を関心度DB324に蓄積したコンテンツ配信装置300が行う関心度DB集計処理について、図19を参照して説明する。この処理は、コンテンツ配信装置300のユーザ(動作制御データ挿入者等)が、入力部334を介して、関心度DBの集計指示を出すと開始される。
Next, the interest level DB tabulation process performed by the
まず、関心度DB集計部313は、入力部334を介して入力されたユーザの指示が「キーワード別集計」であるか否かを判定する(ステップS401)。「キーワード別集計」であるなら(ステップS401;Yes)、関心度DB集計部313は、関心度DB324を参照して、キーワード毎に、感情判定値から算出される関心度を集計する(ステップS402)。関心度は、ロボット100の関心度更新部115と同様に、例えば、関心度=感情判定値÷13として求めることができる。関心度の集計は、関心度の平均値算出、中央値算出、最頻値算出等により、行うことができる。そして、関心度DB集計部313は、集計した関心度のグラフを作成し、表示部333に表示する(ステップS403)。その後、関心度DB集計部313は、集計を終了するか否かを判定する(ステップS404)。ユーザから入力部334を介してさらに集計指示が入力されている場合は、集計を終了せず(ステップS404;No)、ステップS401に戻る。ユーザから指示された集計を全て終了した場合は(ステップS404;Yes)、関心度DB集計部313は、関心度DB集計処理を終了する。
First, the degree-of-interest
入力部334を介して入力されたユーザの指示が「キーワード別集計」でないなら(ステップS401;No)、関心度DB集計部313は、入力部334を介して入力されたユーザの指示が「ロボットID別集計」であるか否かを判定する(ステップS405)。「ロボットID別集計」であるなら(ステップS405;Yes)、関心度DB集計部313は、関心度DB324を参照して、ロボットID毎に、感情判定値から算出される関心度を集計し(ステップS406)、ステップS403に進む。
If the user's instruction input via the
入力部334を介して入力されたユーザの指示が「ロボットID別集計」でないなら(ステップS405;No)、関心度DB集計部313は、入力部334を介して入力されたユーザの指示が「番組別集計」であるか否かを判定する(ステップS407)。「番組別集計」であるなら(ステップS407;Yes)、関心度DB集計部313は、関心度DB324を参照して、番組名毎に、感情判定値から算出される関心度を集計し(ステップS408)、ステップS403に進む。なお、番組別集計の際には、関心度DB324に記憶されているロボットIDの種類数をカウントすることによって、該番組を視聴しているユーザ400(ロボット100のユーザ400)の人数を把握することができる。したがって、この人数を、ロボット100の台数で割ることによって、該番組の視聴率(音声による番組の場合は聴取率)を算出することができる。
If the user's instruction input via the
入力部334を介して入力されたユーザの指示が「番組別集計」でないなら(ステップS407;No)、関心度DB集計部313は、入力部334を介して入力されたユーザの指示が「日時別集計」であるか否かを判定する(ステップS409)。「日時別集計」であるなら(ステップS409;Yes)、関心度DB集計部313は、関心度DB324を参照して、受信日時毎に、感情判定値から算出される関心度を集計し(ステップS410)、ステップS403に進む。受信日時毎の集計については、受信日時が正確に一致するもの毎に限る必要はなく、時間帯毎の関心度の平均値等を集計しても良い。
If the user's instruction input via the
入力部334を介して入力されたユーザの指示が「日時別集計」でないなら(ステップS409;No)、ステップS404に進む。
If the user's instruction input via the
以上の、関心度DB集計処理により、コンテンツ配信装置300は、表示部333に、関心度DB324の集計結果を表示することができる。その結果、コンテンツ配信業者、コンテンツ制作者、コンテンツ配信のスポンサー等は、コンテンツの視聴者(ユーザ400)がどのようなキーワード又は番組等に関心を示すのかを知ることができる。したがって、動作制御データ挿入者は、その後、この集計結果を参考にすることにより、コンテンツの視聴者(ユーザ400)により効果的な動作制御データを挿入することができるようになる。
The
以上説明したように、動作制御システム1000によれば、ユーザ400は、ロボット100の動作、表情、声等によって、関心を持っているコンテンツが放送されることを自然に知ることができる。また、コンテンツ配信装置300を用いてコンテンツを配信するコンテンツ配信業者は、ロボット100から送信された感情判定値に基づく関心度を集計することができるので、コンテンツに挿入する動作制御データをより効果的な内容に更新することができる。
As described above, according to the
(変形例)
前述した動作制御システム1000では、動作制御データはコンテンツの映像及び音声に挿入されているため、ロボット100は、動作制御データを取得するためにコンテンツ再生装置200の出力する音及び映像を取得する必要がある。もしロボット100が、コンテンツ再生装置200の出力する音及び映像を取得できなかった場合には、動作制御データを取得できず、動作制御データ挿入者が期待している動作を行うことができない。そこで、コンテンツ再生装置200の出力する音及び映像を取得できない場合でも、動作制御データを取得できるようにする変形例を説明する。
(Modification)
In the
本発明の実施形態の変形例に係る動作制御システム1001は、図20に示すように、ロボット101と、コンテンツ再生装置201と、コンテンツ配信装置301と、を備える。コンテンツ配信装置301は、放送網(電波等)又はIPネットワークを介して、コンテンツ再生装置201にコンテンツを配信する。コンテンツ再生装置201は、コンテンツ配信装置301から配信されたコンテンツを再生する。動作制御システム1001で用いるコンテンツには、図21に示すように、映像及び音声には動作制御データは挿入されておらず、データ部分に動作制御データが挿入されている。動作制御データは、図3に示すように、コンテンツに関連するキーワード等が含まれており、ロボット101の動作内容を決定するために使用される点は、動作制御システム1000と同じである。
An
動作制御システム1001では、コンテンツ再生装置201は、コンテンツのデータ部分に挿入されている動作制御データをロボット101に送信する。そして、ロボット101は、コンテンツ再生装置201によってコンテンツの再生とともに送信される動作制御データを取得する。これらの点以外は、動作制御システム1001は、動作制御システム1000と同じである。
In the
ロボット101の外観及び機能構成はロボット100と同じである。ロボット101がロボット100と相違する点は、コンテンツ再生装置201の出力する動作制御データの取得方法のみである。ロボット101の取得部111は、コンテンツ再生装置201から送信される動作制御データを、通信部135を介して取得し、該動作制御データに含まれているキーワードを取得する。したがって、ロボット101は、動作制御データを取得するためにコンテンツ再生装置201の方へ移動したり向きを変えたりする必要はない。また、ロボット101は、コンテンツ再生装置201が再生する映像を撮影するコンテンツ撮像部を備える必要はなく、コンテンツ再生装置201が再生する音を収集するコンテンツ音入力部を備える必要もない。
The appearance and functional configuration of the
コンテンツ再生装置201は、図22に示すように、コンテンツ再生装置200に、通信部235、動作制御データ取得部211及び動作制御データ送信部212が追加された構成になっている。
As shown in FIG. 22, the
通信部235は、通信モジュールを備え、外部装置とのデータ通信を可能にする。コンテンツ再生装置201が無線で外部装置とのデータ通信を行う場合は、通信部235は、無線通信モジュール及びアンテナを備える。コンテンツ再生装置201は、通信部235を介して、ロボット101とデータ通信を行う。
The
動作制御データ取得部211は、コンテンツ受信部233が受信したコンテンツのデータ部分に挿入されている動作制御データを取得する。
The operation control
動作制御データ送信部212は、動作制御データ取得部211が取得した動作制御データを、通信部235を介して、ロボット101に送信する。
The motion control
コンテンツ配信装置301の機能構成はコンテンツ配信装置300と同じである。コンテンツ配信装置301がコンテンツ配信装置300と相違する点は、コンテンツDB321が記憶しているコンテンツに挿入されている動作制御データが、コンテンツの映像及び音声部分ではなく、データ部分に挿入されている点のみである。コンテンツ配信装置301が行うコンテンツ配信処理は、図16を参照して説明した、コンテンツ配信装置300が行うコンテンツ配信処理と同じである。
The functional configuration of the
コンテンツ再生装置201が行うコンテンツ再生処理について、図23を参照して説明する。この処理は、図17を参照して説明したコンテンツ再生装置200が行うコンテンツ再生処理の、ステップS201とステップS202の間に、ステップS204及びステップS205を追加した処理になっている。そこで、ここでは、ステップS204及びステップS205について説明する。
The content reproduction process performed by the
ステップS204では、動作制御データ取得部211は、制御部210がコンテンツ受信部233を介して受信したコンテンツのデータ部分から、動作制御データを取得する。動作制御データは、コンテンツ配信装置301が配信するコンテンツのデータ部分に予め挿入されているため、動作制御データ取得部211は、コンテンツのデータ部分を確認することによって、挿入されている動作制御データを取得することができる。
In step S <b> 204, the operation control
ステップS205では、動作制御データ送信部212は、動作制御データ取得部211が取得した動作制御データを、通信部235を介して、ロボット101に送信する。
In step S <b> 205, the motion control
その他の処理については、図17を参照して説明したコンテンツ再生装置200が行うコンテンツ再生処理と同じである。このコンテンツ再生処理によって、コンテンツ再生装置201は映像出力部231及び音出力部232からコンテンツを再生するとともに、通信部235を介して、ロボット101に動作制御データを送信することができる。したがって、ロボット101は、通信部135を介して動作制御データを取得することができ、動作制御データを取得するために、映像の撮影及び/又は音の収集をする必要はない。
Other processes are the same as the content reproduction process performed by the
次に、ロボット101が行う動作制御処理について、図24を参照して説明する。この処理は、図18を参照して説明したロボット100が行う動作制御処理と一部を除いて同じであるので、相違点のみを説明する。
Next, operation control processing performed by the
まず、取得部111は、コンテンツ再生装置201が送信する動作制御データを受信したか否かを判定する(ステップS315)。動作制御データを受信していなければ(ステップS315;No)、ステップS315に戻る。
First, the
動作制御データを受信したなら(ステップS315;Yes)、取得部111は、受信した動作制御データに含まれるキーワード等のデータを取得する(ステップS303)。また、ステップS314での動作終了か否かの判定で、動作終了しない場合は(ステップS314;No)、ステップS315に戻る。その他の処理は、図18を参照して説明したロボット100の動作制御処理と同じである。
If the operation control data is received (step S315; Yes), the
以上の動作制御処理により、ロボット101は、コンテンツ再生装置201の出力する映像の撮影及び音の収集をしなくても、コンテンツ再生装置201の出力する動作制御データを取得できる。そして、ユーザ400の関心度の高いキーワードがコンテンツに含まれる場合に、事前にそのことをユーザ400に自然に知らせる種々の動作を行うことができる。
Through the above-described operation control processing, the
なお、本発明の実施形態に係るロボット100,101の各機能は、通常のPC等のコンピュータによっても実施することができる。具体的には、上記実施形態では、ロボット100,101が行う動作制御処理のプログラムが、記憶部120のROMに予め記憶されているものとして説明した。しかし、プログラムを、USB(Universal Serial Bus)メモリ、フレキシブルディスク、HDD(Hard Disk Drive)、CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto−Optical Disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、前述の各機能を実現することができるコンピュータを構成してもよい。また、このプログラムは、ネットワークを介してコンピュータにダウンロードされてもよい。
Note that the functions of the
また、このコンピュータはロボット100,101に内蔵してもよいし、ロボット100,101とは別個に存在してもよい。すなわち、図25に示すように、ロボット102と通信可能な外部のサーバ500に制御部510及び記憶部520を設けてもよい。そして、クラウドコンピューティング技術により、ロボット102とサーバ500とが役割分担をして動作することができる。例えば、ロボット102の制御部110は、撮像部141及び音入力部142等で取得したデータを、通信部135を介して外部のサーバ500に送信する。そして、制御部110は、演算処理を該サーバ500にさせた後に、サーバ500が行った演算処理の結果を、通信部135を介して受信し、可動部132等を制御してもよい。図25では、サーバ500の制御部510が取得部111、動作内容決定部112、感情判定部114及び関心度更新部115を備え、ロボット102の制御部110が、動作制御部113及び感情判定値116を備える構成を示している。しかし、これらの各部は、サーバ500の制御部510とロボット102の制御部110とのどちらかに備わっていればよい。各部をサーバ500の制御部510が備えるかロボット102の制御部110が備えるかについては、任意である。ロボット102の記憶部120と、サーバ500の記憶部520についても同様である。
The computer may be built in the
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to the specific embodiment which concerns, This invention includes the invention described in the claim, and its equivalent range It is. Hereinafter, the invention described in the scope of claims of the present application will be appended.
(付記1)
コンテンツに挿入されている挿入データを取得する取得部と、
前記取得部が取得した前記挿入データに対するユーザの関心度に基づいて、自装置の動作内容を決定する動作内容決定部と、
前記動作内容決定部が決定した動作内容に基づいて前記自装置を動作させる動作制御部と、
を備えるロボット。
(Appendix 1)
An acquisition unit for acquiring insertion data inserted in the content;
An operation content determination unit that determines the operation content of the device based on the degree of interest of the user with respect to the insertion data acquired by the acquisition unit;
An operation control unit for operating the device based on the operation content determined by the operation content determination unit;
Robot equipped with.
(付記2)
前記挿入データは前記コンテンツに関連するキーワードを含み、
前記取得部は、前記挿入データに含まれる前記キーワードを取得し、
前記動作内容決定部は、前記取得部が取得した前記キーワードに対する前記ユーザの関心度に基づいて、前記自装置の動作内容を決定する、
付記1に記載のロボット。
(Appendix 2)
The insertion data includes keywords related to the content;
The acquisition unit acquires the keyword included in the insertion data,
The operation content determination unit determines the operation content of the device based on the degree of interest of the user with respect to the keyword acquired by the acquisition unit.
The robot according to appendix 1.
(付記3)
前記挿入データが挿入されている前記コンテンツを見た又は聴いた時の前記ユーザの感情を判定する感情判定部と、
前記感情判定部が判定した前記ユーザの感情に基づいて、前記挿入データに対する前記ユーザの関心度を更新する関心度更新部と、
をさらに備え、
前記動作内容決定部は、前記関心度更新部が更新した前記ユーザの関心度に基づいて、前記自装置の動作内容を決定する、
付記1又は2に記載のロボット。
(Appendix 3)
An emotion determination unit that determines the emotion of the user when viewing or listening to the content in which the insertion data is inserted;
Based on the emotion of the user determined by the emotion determination unit, an interest level update unit that updates the interest level of the user with respect to the insertion data;
Further comprising
The operation content determination unit determines the operation content of the device based on the interest level of the user updated by the interest level update unit.
The robot according to appendix 1 or 2.
(付記4)
前記感情判定部が判定した感情を数値化した値である感情判定値を、コンテンツ配信装置に送信する感情判定値送信部をさらに備える、
付記3に記載のロボット。
(Appendix 4)
An emotion determination value transmission unit that transmits an emotion determination value, which is a value obtained by quantifying the emotion determined by the emotion determination unit, to the content distribution device;
The robot according to appendix 3.
(付記5)
画像を撮影する撮像部をさらに備え、
前記感情判定部は、前記撮像部が撮影した前記ユーザの画像に基づいて前記ユーザの感情を判定する、
付記3又は4に記載のロボット。
(Appendix 5)
It further includes an imaging unit that captures an image,
The emotion determination unit determines the user's emotion based on the user's image captured by the imaging unit;
The robot according to appendix 3 or 4.
(付記6)
前記感情判定部は、前記撮像部が撮影した前記ユーザの顔の表情を認識することによって、前記ユーザの感情を判定する、
付記5に記載のロボット。
(Appendix 6)
The emotion determination unit determines the emotion of the user by recognizing the facial expression of the user taken by the imaging unit.
The robot according to appendix 5.
(付記7)
音を収集する音入力部をさらに備え、
前記感情判定部は、前記音入力部が収集した前記ユーザの声の大きさを認識することによって、前記ユーザの感情を判定する、
付記3から6のいずれか1つに記載のロボット。
(Appendix 7)
A sound input unit for collecting sounds;
The emotion determination unit determines the user's emotion by recognizing the loudness of the user's voice collected by the sound input unit,
The robot according to any one of appendices 3 to 6.
(付記8)
コンテンツ再生装置が再生する映像を撮影するコンテンツ撮像部をさらに備え、
前記取得部は、前記コンテンツ撮像部が撮影した画像に挿入されている前記挿入データを取得する、
付記1から7のいずれか1つに記載のロボット。
(Appendix 8)
It further includes a content imaging unit that captures video that is played back by the content playback device,
The acquisition unit acquires the insertion data inserted in an image captured by the content imaging unit;
The robot according to any one of appendices 1 to 7.
(付記9)
コンテンツ再生装置が再生する非可聴域の音を収集するコンテンツ音入力部をさらに備え、
前記取得部は、前記コンテンツ音入力部が収集した非可聴域の音に挿入されている前記挿入データを取得する、
付記1から8のいずれか1つに記載のロボット。
(Appendix 9)
A content sound input unit that collects non-audible sound reproduced by the content reproduction device;
The acquisition unit acquires the insertion data inserted in a non-audible range sound collected by the content sound input unit,
The robot according to any one of appendices 1 to 8.
(付記10)
前記挿入データは前記自装置を動作させる時刻を示す動作タイミング情報を含み、
前記取得部は、前記挿入データに含まれる前記動作タイミング情報を取得し、
前記動作制御部は、前記取得部が取得した前記動作タイミング情報に示される時刻に前記自装置の動作を開始させる、
付記1から9のいずれか1つに記載のロボット。
(Appendix 10)
The insertion data includes operation timing information indicating a time for operating the device.
The acquisition unit acquires the operation timing information included in the insertion data,
The operation control unit starts the operation of the device at a time indicated by the operation timing information acquired by the acquisition unit;
The robot according to any one of appendices 1 to 9.
(付記11)
前記挿入データは前記ユーザに抱かせたい感情を示す感情情報を含み、
前記取得部は、前記挿入データに含まれる前記感情情報を取得し、
前記動作内容決定部は、前記取得部が取得した前記感情情報に示される感情を抱かせるような動作として記憶されている動作内容を、前記自装置の動作内容として決定する、
付記1から10のいずれか1つに記載のロボット。
(Appendix 11)
The insertion data includes emotion information indicating emotions that the user wants to hold,
The acquisition unit acquires the emotion information included in the insertion data,
The operation content determination unit determines an operation content stored as an operation that causes an emotion indicated in the emotion information acquired by the acquisition unit as an operation content of the own device.
The robot according to any one of appendices 1 to 10.
(付記12)
前記挿入データは前記ロボットに対する動作指示を示す動作指示情報を含み、
前記取得部は、前記挿入データに含まれる前記動作指示情報を取得し、
前記動作内容決定部は、前記取得部が取得した前記挿入データに対する前記ユーザの関心度に基づく動作内容と前記動作指示情報に示される動作指示とを合成して、前記自装置の動作内容を決定する、
付記1から11のいずれか1つに記載のロボット。
(Appendix 12)
The insertion data includes operation instruction information indicating an operation instruction for the robot,
The acquisition unit acquires the operation instruction information included in the insertion data,
The operation content determination unit determines the operation content of the device itself by combining the operation content based on the user's interest level with respect to the insertion data acquired by the acquisition unit and the operation instruction indicated in the operation instruction information. To
The robot according to any one of appendices 1 to 11.
(付記13)
前記自装置を移動させる移動部をさらに備え、
前記動作制御部は、前記動作内容決定部が決定した動作内容に基づいて前記自装置を動作させる前に、前記ユーザに近づくように前記移動部を制御する、
付記1から12のいずれか1つに記載のロボット。
(Appendix 13)
A moving unit for moving the device;
The operation control unit controls the moving unit to approach the user before operating the device based on the operation content determined by the operation content determination unit.
The robot according to any one of appendices 1 to 12.
(付記14)
挿入データが挿入されたコンテンツを配信するコンテンツ配信装置と、
前記コンテンツ配信装置が配信したコンテンツを再生する際に前記挿入データも出力するコンテンツ再生装置と、
前記コンテンツ再生装置が出力した前記挿入データに対するユーザの関心度に基づく動作を実行するロボットと、
を備える動作制御システム。
(Appendix 14)
A content distribution device that distributes the content in which the insertion data is inserted;
A content reproduction device that outputs the insertion data when reproducing the content distributed by the content distribution device;
A robot that performs an operation based on the degree of interest of the user with respect to the insertion data output by the content reproduction device;
An operation control system comprising:
(付記15)
コンテンツに挿入されている挿入データを取得する取得ステップと、
前記取得ステップで取得した前記挿入データに対するユーザの関心度に基づいて、動作内容を決定する動作内容決定ステップと、
前記動作内容決定ステップで決定した動作内容に基づいて自装置を動作させる動作制御ステップと、
を含む動作制御方法。
(Appendix 15)
An acquisition step of acquiring insertion data inserted into the content;
An operation content determination step for determining an operation content based on a user's interest in the insertion data acquired in the acquisition step;
An operation control step for operating the device based on the operation content determined in the operation content determination step;
An operation control method including:
(付記16)
コンピュータを、
コンテンツに挿入されている挿入データを取得する取得部、
前記取得部が取得した前記挿入データに対するユーザの関心度に基づいて、動作内容を決定する動作内容決定部、
前記動作内容決定部が決定した動作内容に基づいて自装置を動作させる動作制御部、
として機能させるためのプログラム。
(Appendix 16)
Computer
An acquisition unit for acquiring insertion data inserted in the content;
An operation content determination unit that determines an operation content based on a degree of interest of the user with respect to the insertion data acquired by the acquisition unit;
An operation control unit for operating the device based on the operation content determined by the operation content determination unit;
Program to function as.
100,101,102…ロボット、110,210,310,510…制御部、111…取得部、112…動作内容決定部、113…動作制御部、114…感情判定部、115…関心度更新部、116…感情判定値送信部、120,220,320,520…記憶部、121…キーワード関心度対応表、122…関心度動作内容対応表、123…ロボットID、131…移動部、132…可動部、133,333…表示部、134…音出力部、135,235,332,531…通信部、140…センサ部、141…撮像部、142…音入力部、151…頭部、152…胴部、153…耳部、154…眼部、155…鼻部、156…口部、157…手部、158…足部、159…尻尾部、200,201…コンテンツ再生装置、211…動作制御データ取得部、212…動作制御データ送信部、231…映像出力部、232…音出力部、233…コンテンツ受信部、234,334…入力部、300,301…コンテンツ配信装置、311…感情判定値取得部、312…関心度DB更新部、313…関心度DB集計部、321…コンテンツDB、322…動作制御データDB、323…配信スケジュールDB、324…関心度DB、331…コンテンツ配信部、400…ユーザ、500…サーバ、1000,1001…動作制御システム
DESCRIPTION OF SYMBOLS 100,101,102 ... Robot, 110,210,310,510 ... Control part, 111 ... Acquisition part, 112 ... Motion content determination part, 113 ... Motion control part, 114 ... Emotion determination part, 115 ... Interest level update part, 116: emotion judgment value transmission unit, 120, 220, 320, 520 ... storage unit, 121 ... keyword interest level correspondence table, 122 ... interest level action content correspondence table, 123 ... robot ID, 131 ... moving unit, 132 ... movable unit 133,333 ... display unit, 134 ... sound output unit, 135,235,332,531 ... communication unit, 140 ... sensor unit, 141 ... imaging unit, 142 ... sound input unit, 151 ... head, 152 ...
Claims (16)
前記取得部が取得した前記挿入データに対するユーザの関心度に基づいて、自装置の動作内容を決定する動作内容決定部と、
前記動作内容決定部が決定した動作内容に基づいて前記自装置を動作させる動作制御部と、
を備えるロボット。 An acquisition unit for acquiring insertion data inserted in the content;
An operation content determination unit that determines the operation content of the device based on the degree of interest of the user with respect to the insertion data acquired by the acquisition unit;
An operation control unit for operating the device based on the operation content determined by the operation content determination unit;
Robot equipped with.
前記取得部は、前記挿入データに含まれる前記キーワードを取得し、
前記動作内容決定部は、前記取得部が取得した前記キーワードに対する前記ユーザの関心度に基づいて、前記自装置の動作内容を決定する、
請求項1に記載のロボット。 The insertion data includes keywords related to the content;
The acquisition unit acquires the keyword included in the insertion data,
The operation content determination unit determines the operation content of the device based on the degree of interest of the user with respect to the keyword acquired by the acquisition unit.
The robot according to claim 1.
前記感情判定部が判定した前記ユーザの感情に基づいて、前記挿入データに対する前記ユーザの関心度を更新する関心度更新部と、
をさらに備え、
前記動作内容決定部は、前記関心度更新部が更新した前記ユーザの関心度に基づいて、前記自装置の動作内容を決定する、
請求項1又は2に記載のロボット。 An emotion determination unit that determines the emotion of the user when viewing or listening to the content in which the insertion data is inserted;
Based on the emotion of the user determined by the emotion determination unit, an interest level update unit that updates the interest level of the user with respect to the insertion data;
Further comprising
The operation content determination unit determines the operation content of the device based on the interest level of the user updated by the interest level update unit.
The robot according to claim 1 or 2.
請求項3に記載のロボット。 An emotion determination value transmission unit that transmits an emotion determination value, which is a value obtained by quantifying the emotion determined by the emotion determination unit, to the content distribution device;
The robot according to claim 3.
前記感情判定部は、前記撮像部が撮影した前記ユーザの画像に基づいて前記ユーザの感情を判定する、
請求項3又は4に記載のロボット。 It further includes an imaging unit that captures an image,
The emotion determination unit determines the user's emotion based on the user's image captured by the imaging unit;
The robot according to claim 3 or 4.
請求項5に記載のロボット。 The emotion determination unit determines the emotion of the user by recognizing the facial expression of the user taken by the imaging unit.
The robot according to claim 5.
前記感情判定部は、前記音入力部が収集した前記ユーザの声の大きさを認識することによって、前記ユーザの感情を判定する、
請求項3から6のいずれか1項に記載のロボット。 A sound input unit for collecting sounds;
The emotion determination unit determines the user's emotion by recognizing the loudness of the user's voice collected by the sound input unit,
The robot according to any one of claims 3 to 6.
前記取得部は、前記コンテンツ撮像部が撮影した画像に挿入されている前記挿入データを取得する、
請求項1から7のいずれか1項に記載のロボット。 It further includes a content imaging unit that captures video that is played back by the content playback device,
The acquisition unit acquires the insertion data inserted in an image captured by the content imaging unit;
The robot according to any one of claims 1 to 7.
前記取得部は、前記コンテンツ音入力部が収集した非可聴域の音に挿入されている前記挿入データを取得する、
請求項1から8のいずれか1項に記載のロボット。 A content sound input unit that collects non-audible sound reproduced by the content reproduction device;
The acquisition unit acquires the insertion data inserted in a non-audible range sound collected by the content sound input unit,
The robot according to any one of claims 1 to 8.
前記取得部は、前記挿入データに含まれる前記動作タイミング情報を取得し、
前記動作制御部は、前記取得部が取得した前記動作タイミング情報に示される時刻に前記自装置の動作を開始させる、
請求項1から9のいずれか1項に記載のロボット。 The insertion data includes operation timing information indicating a time for operating the device.
The acquisition unit acquires the operation timing information included in the insertion data,
The operation control unit starts the operation of the device at a time indicated by the operation timing information acquired by the acquisition unit;
The robot according to any one of claims 1 to 9.
前記取得部は、前記挿入データに含まれる前記感情情報を取得し、
前記動作内容決定部は、前記取得部が取得した前記感情情報に示される感情を抱かせるような動作として記憶されている動作内容を、前記自装置の動作内容として決定する、
請求項1から10のいずれか1項に記載のロボット。 The insertion data includes emotion information indicating emotions that the user wants to hold,
The acquisition unit acquires the emotion information included in the insertion data,
The operation content determination unit determines an operation content stored as an operation that causes an emotion indicated in the emotion information acquired by the acquisition unit as an operation content of the own device.
The robot according to any one of claims 1 to 10.
前記取得部は、前記挿入データに含まれる前記動作指示情報を取得し、
前記動作内容決定部は、前記取得部が取得した前記挿入データに対する前記ユーザの関心度に基づく動作内容と前記動作指示情報に示される動作指示とを合成して、前記自装置の動作内容を決定する、
請求項1から11のいずれか1項に記載のロボット。 The insertion data includes operation instruction information indicating an operation instruction for the robot,
The acquisition unit acquires the operation instruction information included in the insertion data,
The operation content determination unit determines the operation content of the device itself by combining the operation content based on the user's interest level with respect to the insertion data acquired by the acquisition unit and the operation instruction indicated in the operation instruction information. To
The robot according to any one of claims 1 to 11.
前記動作制御部は、前記動作内容決定部が決定した動作内容に基づいて前記自装置を動作させる前に、前記ユーザに近づくように前記移動部を制御する、
請求項1から12のいずれか1項に記載のロボット。 A moving unit for moving the device;
The operation control unit controls the moving unit to approach the user before operating the device based on the operation content determined by the operation content determination unit.
The robot according to any one of claims 1 to 12.
前記コンテンツ配信装置が配信したコンテンツを再生する際に前記挿入データも出力するコンテンツ再生装置と、
前記コンテンツ再生装置が出力した前記挿入データに対するユーザの関心度に基づく動作を実行するロボットと、
を備える動作制御システム。 A content distribution device that distributes the content in which the insertion data is inserted;
A content reproduction device that outputs the insertion data when reproducing the content distributed by the content distribution device;
A robot that performs an operation based on the degree of interest of the user with respect to the insertion data output by the content reproduction device;
An operation control system comprising:
前記取得ステップで取得した前記挿入データに対するユーザの関心度に基づいて、動作内容を決定する動作内容決定ステップと、
前記動作内容決定ステップで決定した動作内容に基づいて自装置を動作させる動作制御ステップと、
を含む動作制御方法。 An acquisition step of acquiring insertion data inserted into the content;
An operation content determination step for determining an operation content based on a user's interest in the insertion data acquired in the acquisition step;
An operation control step for operating the device based on the operation content determined in the operation content determination step;
An operation control method including:
コンテンツに挿入されている挿入データを取得する取得部、
前記取得部が取得した前記挿入データに対するユーザの関心度に基づいて、動作内容を決定する動作内容決定部、
前記動作内容決定部が決定した動作内容に基づいて自装置を動作させる動作制御部、
として機能させるためのプログラム。 Computer
An acquisition unit for acquiring insertion data inserted in the content;
An operation content determination unit that determines an operation content based on a degree of interest of the user with respect to the insertion data acquired by the acquisition unit;
An operation control unit for operating the device based on the operation content determined by the operation content determination unit;
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016238785A JP2018098545A (en) | 2016-12-08 | 2016-12-08 | Robot, operation control system, operation control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016238785A JP2018098545A (en) | 2016-12-08 | 2016-12-08 | Robot, operation control system, operation control method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018098545A true JP2018098545A (en) | 2018-06-21 |
Family
ID=62633234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016238785A Pending JP2018098545A (en) | 2016-12-08 | 2016-12-08 | Robot, operation control system, operation control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018098545A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119364A (en) * | 2019-01-25 | 2020-08-06 | Necパーソナルコンピュータ株式会社 | Interactive robot and controller of the same |
JP2021018482A (en) * | 2019-07-17 | 2021-02-15 | 本田技研工業株式会社 | Robot management device, robot manufacturing method and robot management system |
-
2016
- 2016-12-08 JP JP2016238785A patent/JP2018098545A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119364A (en) * | 2019-01-25 | 2020-08-06 | Necパーソナルコンピュータ株式会社 | Interactive robot and controller of the same |
JP7051728B2 (en) | 2019-01-25 | 2022-04-11 | Necパーソナルコンピュータ株式会社 | Interactive robot and its control device |
JP2021018482A (en) * | 2019-07-17 | 2021-02-15 | 本田技研工業株式会社 | Robot management device, robot manufacturing method and robot management system |
JP7273638B2 (en) | 2019-07-17 | 2023-05-15 | 本田技研工業株式会社 | ROBOT MANAGEMENT DEVICE, ROBOT MANAGEMENT METHOD AND ROBOT MANAGEMENT SYSTEM |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11858118B2 (en) | Robot, server, and human-machine interaction method | |
JP6775557B2 (en) | Video distribution system, video distribution method, and video distribution program | |
US20180124475A1 (en) | Systems and Methods for Enhanced Television Interaction | |
JP6594646B2 (en) | Robot, robot control method, and robot system | |
WO2022227408A1 (en) | Virtual reality interaction method, device and system | |
US20160110922A1 (en) | Method and system for enhancing communication by using augmented reality | |
CN109416562B (en) | Apparatus, method and computer readable medium for virtual reality | |
JP2017005709A (en) | Broadcast haptics architectures | |
CN105700675A (en) | video gameplay haptics | |
CN108629821A (en) | Animation producing method and device | |
JP7416903B2 (en) | Video distribution system, video distribution method, and video distribution program | |
EP4306192A1 (en) | Information processing device, information processing terminal, information processing method, and program | |
JP2018098545A (en) | Robot, operation control system, operation control method, and program | |
KR102430547B1 (en) | Apparatus for creation of contents of game play | |
US11656683B2 (en) | Signal generation device, signal generation method, and reproduction device | |
KR102128285B1 (en) | Device and method for controlling thereof | |
JPWO2020158440A1 (en) | A recording medium that describes an information processing device, an information processing method, and a program. | |
CN110753233B (en) | Information interaction playing method and device, electronic equipment and storage medium | |
US20170296918A1 (en) | Interactive game system | |
US20150254887A1 (en) | Method and system for modeling emotion | |
CN111435546A (en) | Model action method and device, sound box with screen, electronic equipment and storage medium | |
JP2021096583A (en) | Program, information processing device, and information processing method | |
CN118226946A (en) | Audio presentation method and device | |
CN116322507A (en) | Sex demand interactive platform system |