JP2018055428A - 関心維持システム及びサーバ - Google Patents
関心維持システム及びサーバ Download PDFInfo
- Publication number
- JP2018055428A JP2018055428A JP2016191117A JP2016191117A JP2018055428A JP 2018055428 A JP2018055428 A JP 2018055428A JP 2016191117 A JP2016191117 A JP 2016191117A JP 2016191117 A JP2016191117 A JP 2016191117A JP 2018055428 A JP2018055428 A JP 2018055428A
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- server
- interest
- unit
- child
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000010191 image analysis Methods 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 13
- 238000012423 maintenance Methods 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 14
- 239000012141 concentrate Substances 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 66
- 230000008569 process Effects 0.000 description 64
- 230000009471 action Effects 0.000 description 22
- 230000004044 response Effects 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 11
- 230000007423 decrease Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000005252 bulbus oculi Anatomy 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000000474 nursing effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
- H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Ophthalmology & Optometry (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【解決手段】子育て支援サービス提供システム1は、端末2とサーバ3とを含む。端末2は、カメラ14と、動作制御及びカメラ14により撮像して得られた画像データを含む端末利用状況データをサーバ3へ送信する処理を行う。サーバ3は、受信した画像データに対して画像解析を行い、端末2を観ているユーザを認識し、認識されたユーザの視線を判定し、視線に基づいて、端末2に対する関心度を判定する。サーバ3は、判定された関心度が所定の閾値以下になると、端末2における動作を別の動作に変更するためのさせるための変更指示を端末2へ送信する。
【選択図】図7
Description
このような通信システムあるいはロボットを使用したサービスの提供は、介護、教育などの分野だけでなく、様々な分野で行われている。
(構成)
本実施の形態は、サービス提供システム、特に、サーバから端末へコンテンツを提供する子育て支援サービス提供のための関心維持システムに関する。
端末2は、通信機能を有し、ネットワーク4を介して受信したコンテンツを、ユーザが視聴できるように出力可能な端末装置である。システム1は、端末2とサーバ3とを含み、後述するように、端末2に対するユーザである子供Cの関心を維持する関心維持システムを構成する。
さらに、データベースDBには、後述するルールベースシステムにおいて用いられる各種ルール情報rDBも記憶されている。
すなわち、サービス提供者は、子育て支援サービスの提供を受けることについての契約をユーザと締結する。サーバ3は、契約者であるユーザからのサービス要求を受信すると、認証処理後、受信したサービス要求に応じて、子育て支援サービス提供のためのプログラムAPcを実行し、データベースDBから所定のコンテンツを読み出して、通信部3bから、ネットワーク4を介して端末2へコンテンツデータの送信を行う。
サーバ5は、子育て支援サービスのための複数の専任スタッフを管理するシステムのサーバである。サーバ5は、サーバ3からの所定のコマンドを受信すると、複数の専任スタッフの中から一人を選定して、選定された専任スタッフに、コマンドにおいて指示された対応を取るように指示するプログラムを有している。各専任スタッフへの指示は、受信したコマンドに応じた対応指示の電子メールの送信あるいは音声指示情報の送信により行われる。
端末2は、薄い板状の形状を有するタブレット端末であり、タッチパネル付きで映像を表示可能な表示部12、スピーカ13、カメラ14及びマイク15を有している。また、端末2は、無線LAN、WIFI等の無線通信機能を有している。ここでは、端末2は、タブレット端末であるが、ノートパソコン、専用装置でもよい。
子育て支援サービスの契約時に親から提供された、子供Cの年齢、性別、興味のあるもの等の情報がサーバ3に登録される。よって、サーバ3では、ユーザの子供Cに適したコンテンツの候補が抽出可能となる。
なお、端末用プログラムは、サーバ3からダウンロードされてもよい。
図5は、端末2の画面の表示例を示す図である。
すなわち、制御部16は、通信部17を介して受信したサーバ3からのデータに応じて、端末2におけるコンテンツの出力動作の制御を行う動作制御部を構成する。
その結果、子供Cは、端末2を用いてコンテンツを視聴することができる。
カメラ画像データと音声データの送信処理により、コンテンツを視聴する子供Cの顔の画像データと、子供Cの発する声などの音声データが、サーバ3へ送信される。
サービスの終了と判定されたときは(S3:YES)、処理は終了する。
サービスの終了と判定されるまで、端末2は、サーバ3からのコンテンツデータを受信する処理と、カメラ画像データ及び音声データを送信する処理が継続して行われる。
さらに、サーバ3は、送信したコンテンツを視聴しているユーザの子供Cの関心度を判定する関心度判定処理を実行する(S13)。
図8は、関心度判定処理の流れの例を示すフローチャートである。
ユーザの端末2からは、画像データと音声データがリアルタイムでサーバ3へ送信されている。よって、サーバ3は、メディア知識処理プログラムMPを用いて、画像解析、音声解析などを実行する。
次に、サーバ3は、画像認識処理で認識された人物の顔から眼球の位置を特定する眼球位置特定処理を実行する(S22)。眼球の位置は、顔認識処理により認識された顔の画像情報から得ることができ、顔の中の2つの眼の位置が特定される。
そして、サーバ3は、S21からS24において認識あるいは判定された眼球位置、視線方向及び瞬きの情報とから、端末2のコンテンツを視聴しているユーザの子供Cの関心度を判定する関心度判定処理を実行する(S25)。
すなわち、関心度は、所定時間当たり、視線が端末2に向いている時間の長さあるいは割合により規定される。
よって、S25の処理は、ユーザの視線、すなわち視線方向を判定し、その視線に基づいて、端末2に対する関心度を判定する関心度判定部を構成する。
図7に戻り、サーバ3は、S13で判定した関心度が所定の閾値TH以下であるか否かを判定する(S14)。以下の説明では、関心度の移動平均値が、関心度INTで示される。
図9は、縦軸は、関心度INTに対応し、横軸は、時間tに対応する。図9に示すように、コンテンツの送信した直後は、関心度INTは高いが、時間tの経過に伴い、関心度INTが下がってきて、時刻t1において閾値TH以下になっている。
関心度INTが閾値TH以下であるとき(S14:NO)、サーバ3は、コンテンツ変更処理を実行する(S15)。S15は、送信するコンテンツを、現在選択して送信しているコンテンツとは、異なる他のコンテンツに変更する処理である。これは、現在送信しているコンテンツに対する子供Cの関心度が低くなったので、コンテンツを変更することによって、子供Cの関心度を高めるためである。S15では、現在送信しているコンテンツの次の順番のコンテンツが選択される。
サービス終了でなければ(S16:NO)、処理は、S12に戻り、S15で変更されたコンテンツの送信処理が行われる。S15の処理によりコンテンツが変更されると、子供Cが新たなコンテンツに興味を覚える可能性がある。
よって、関心度INTが所定の閾値TH以下になると、シナリオで設定された、現在送信しているコンテンツの次の順位のコンテンツが選択されて送信されるので、子供Cの関心度INTが、所定の閾値TH以上に維持される。
サービス終了であれば(S16:YES)、処理は終了する。
なお、サーバ3は、S15のコンテンツ変更処理において、送信するコンテンツを予め設定したシナリオの順で変更するのではなく、専任スタッフを管理するサーバ5に対して、担当する専任スタッフのライブ映像を送信させるようにしてもよい。
また、S12の後、S13からS15の処理による関心度判定に基づくコンテンツ変更処理と並行して、S17からS19の処理による行動判定に基づく対応処理が実行される。対応処理は、ここでは、ルールベースシステムを利用して行われる。
図10は、行動判定処理の流れの例を示すフローチャートである。
図10の処理は、メディア知識処理プログラムMPを用いて行われる。
さらに、サーバ3は、音声解析処理を実行する(S32)。S32の音声解析処理では、人物の音声認識、音を発した物の推定などのための解析処理が実行される。
S33の行動判定では、S31の画像解析結果から、例えば、ユーザである子供Cの動作、S23で説明したような視線方向、S24で説明したような瞬き、などの推定処理と、S32の音声解析結果から、例えば、子供Cの発している声、その大きさ、などの推定処理が実行されて、子供Cの行動が判定される。
そして、対応要である場合(S18:YES)、サーバ3は、所定のアクションを実行する対応処理を実行する(S19)。
ルールベースシステムでは、1又は2以上のルールと、各ルールが真となったときに対応したアクションとが予め定められる。各ルールは、1又は2以上のイベントの発生の有無により規定される。すなわち、各アクションは、所定の1又は2以上のイベントの発生があったとき(すなわち真のとき)のときに実行される処理である。すなわち、所定のルールが真と判定されたときに所定のアクションが実行される。
サーバ3は、所定の複数のルール中に、ルールが真となったものがあるか否かを判定することにより、対応要か否かを判定する(S18)。対応要と判定されたときは(S18:YES)、サーバ3は、対応処理を実行する(S19)。対応処理は、真となったルールについて予め設定されたアクションを実行する処理である。
なお、対応要と判定されないときは(S18:NO)、処理は、S16へ移行する。
そして、所定の通知には、端末2に表示されるコンテンツを、専任スタッフのライブ映像に切り換えさせるようにサーバ5へ指示するための通知も含まれる。すなわち、所定の通知は、端末2における動作を、別の動作に変更する処理を、所定の装置であるサーバ5にさせるためのサーバ5への通知である。その結果、例えば、映像コンテンツを端末2に表示しているときに子供Cの姿が画像データから見えなくなったりした場合、あるいは映像コンテンツを変更しても関心度INTが所定の閾値TH以上にならない場合等に、表示部12の表示をコンテンツから専任スタッフのライブ映像に変更させる処理をサーバ5及び端末2にさせることができる。
以上説明したルールとアクションは、例示である。
他にも、サーバ3に、1又は2以上のイベントの発生パターンのルールと、各ルールに応じたアクションを複数定義しておくことにより、ユーザの関心度に応じたアクション、あるいはサービスの提供に即したアクションを、ユーザに対して行うことができる。
コンテンツの変更をした結果、関心度INTが所定の閾値TH以下にならず(S14:NO)、いずれのルールも真とならなければ(S18:NO)、子供Cは興味を持ってコンテンツを視聴し続けていることになる。
以上のように、ユーザが子育て支援サービスを要求すると、サーバ3は、その要求に応じて、その子供Cの興味のあるコンテンツを端末2へ送信する。
関心度INTが低下して所定の閾値TH以下になると、子供Cの関心度INTを高めるために別のコンテンツを送信する。
よって、子供Cの視線に基づいて関心度INTを監視して、関心度INTが低下すると、コンテンツの変更を行うことにより、子供Cが端末2に集中してコンテンツを観るように仕向けることができる。
上述した実施形態の提供サービスは、タブレット端末などの端末2を利用して、子供Cに映像コンテンツなどを観せることにより子供Cの関心を集める子育て支援サービスであるが、端末2は、映像コンテンツなどを観せる以外の手段で子供Cの関心を集められれば構わないので、ロボットでもよい。
端末2がロボット31の場合、サーバ3は、会話データをロボットに送信する。子供Cは、話をするロボット31に興味を持って観ることになる。そのとき、サーバ3は、ロボットに設けたカメラ14により子供Cの画像から視線を判定する。
そして、上述したように、視線から関心度INTを判定し、所定の閾値TH以下になると、別の話題の会話データを送信することにより、子供Cを端末2であるロボットに集中させることができる。腕などを動かすことができるロボットの場合、関心度INTが所定の閾値TH以下になると、サーバ3は、別の動きデータをロボット31へ送信する。
すなわち、ロボット31の制御部16は、通信部17を介して受信したサーバ3からの動きデータあるいは動作の指示に応じて、ロボット31における動作の制御を行う動作制御部を構成する。
なお、このようなロボットを用いたサービスは、介護施設などでのリハビリにロボットを用いる場合にも適用することができる。
図12は、家電機器の一例である掃除機の外観図である。
端末2が掃除機41の場合、サーバ3は、会話データ及び動きデータをロボットに送信する。子供Cは、話をしたり動いたりする掃除機41に興味を持って観ることになる。そのとき、サーバ3は、掃除機41に設けたカメラにより子供Cの画像から視線を判定する。
すなわち、掃除機41の制御部16は、通信部17を介して受信したサーバ3からの動きデータあるいは動作の指示に応じて、掃除機41における動作の制御を行う動作制御部を構成する。
そして、関心度INTが下がり続けたり、ユーザが端末から離れてしまうなどの状況が発生すると、専任スタッフあるいは親への連絡がされる。
Claims (14)
- 端末とサーバとを含み、前記端末に対するユーザの関心を維持する関心維持システムであって、
前記端末は、
第1の通信部と、
カメラと、
前記第1の通信部を介して受信した前記サーバからのデータあるいは指示に応じて、前記端末における第1の動作の制御を行う動作制御部と、
前記カメラにより撮像して得られた画像データを含む端末利用状況データを、前記第1の通信部により前記サーバへ送信する処理を行う送信処理部と、
を有し、
前記サーバは、
第2の通信部と、
前記第2の通信部を介して受信した前記画像データに対して、画像解析を行い、前記端末を観ている前記ユーザを認識する画像解析部と、
前記画像解析部において認識された前記ユーザの視線を判定し、前記視線に基づいて、前記端末に対する関心度を判定する関心度判定部と、
前記関心度判定部において判定された前記関心度が所定の閾値以下になると、前記端末における前記第1の動作を第2の動作に変更するためのさせるための変更指示を、前記第2の通信部により前記端末へ送信する動作変更指示送信部と、
を有する関心維持システム。 - 前記関心度は、所定時間当たり、前記視線が前記端末に向いている時間の長さあるいは割合により規定される請求項1に記載の関心維持システム。
- 前記サーバは、
前記画像データに基づき所定のイベントの発生の有無を判定するイベント判定部と、
前記イベント判定部により前記所定のイベントの発生があったと判定されたとき、前記所定の通知を送信する通知部と、
を有する請求項1又は2に記載の関心維持システム。 - 前記端末は、マイクを有し、
前記利用状況データは、前記マイクにより取得された音声データを含み、
前記イベント判定部は、前記画像データに加えて、前記第2の通信部を介して受信した前記音声データに基づき前記所定のイベントの発生の有無を判定する請求項3に記載の関心維持システム。 - 前記所定の通知は、前記端末における前記第1若しくは前記第2の動作を、第3の動作に変更する処理を、所定の装置にさせるための前記所定の装置への通知である請求項3又は4に記載の関心維持システム。
- 前記端末は、映像を表示する表示部を有し、
前記第1の動作は、第1の映像コンテンツを前記表示部に表示する動作であり、
前記第2の動作は、第2の映像コンテンツを前記表示部に表示する動作である請求項1から5のいずれか1つに記載の関心維持システム。 - 前記第1の映像コンテンツ及び前記第2の映像コンテンツは、前記サーバから送信される請求項6に記載の関心維持システム。
- 前記端末は、ロボットであり、
前記第1及び前記第2の動作は、前記ロボットの動き若しくは音声出力である請求項1から5のいずれか1つに記載の関心維持システム。 - 前記端末は、床上を自走する掃除機であり、
前記第1及び前記第2の動作は、前記掃除機の動き若しくは音声出力である請求項1から5のいずれか1つに記載の関心維持システム。 - 端末に対するユーザの関心を維持する関心維持システムのためのサーバであって、
通信部と、
前記通信部を介して受信した前記端末からの画像データに対して、画像解析を行い、前記端末を観ている前記ユーザを認識する画像解析部と、
前記画像解析部において認識された前記ユーザの視線を判定し、前記視線に基づいて、前記端末に対する関心度を判定する関心度判定部と、
前記関心度判定部において判定された前記関心度が所定の閾値以下になると、前記端末における第1の動作を第2の動作に変更するためのさせるための変更指示を、前記通信部により前記端末へ送信する動作変更指示送信部と、
を有するサーバ。 - 前記関心度は、所定時間当たり、前記視線が前記端末に向いている時間の長さあるいは割合により規定される請求項10に記載のサーバ。
- 前記サーバは、
前記画像データに基づき所定のイベントの発生の有無を判定するイベント判定部と、
前記イベント判定部により前記所定のイベントの発生があったと判定されたとき、前記所定の通知を送信する通知部と、
を有する請求項10又は11に記載のサーバ。 - 前記イベント判定部は、前記画像データに加えて、前記通信部を介して受信した音声データに基づき前記所定のイベントの発生の有無を判定する請求項12に記載のサーバ。
- 前記所定の通知は、前記端末における前記第1若しくは前記第2の動作を、第3の動作に変更する処理を、所定の装置にさせるための前記所定の装置への通知である請求項12又は13に記載のサーバ。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016191117A JP6933455B2 (ja) | 2016-09-29 | 2016-09-29 | 関心維持システム及びサーバ |
PCT/JP2017/033773 WO2018061888A1 (ja) | 2016-09-29 | 2017-09-19 | 関心維持システム及びサーバ |
CN201780060525.6A CN109804407B (zh) | 2016-09-29 | 2017-09-19 | 关心维持系统以及服务器 |
US16/368,187 US10997400B2 (en) | 2016-09-29 | 2019-03-28 | Interest maintaining system and server |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016191117A JP6933455B2 (ja) | 2016-09-29 | 2016-09-29 | 関心維持システム及びサーバ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055428A true JP2018055428A (ja) | 2018-04-05 |
JP6933455B2 JP6933455B2 (ja) | 2021-09-08 |
Family
ID=61759683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016191117A Active JP6933455B2 (ja) | 2016-09-29 | 2016-09-29 | 関心維持システム及びサーバ |
Country Status (4)
Country | Link |
---|---|
US (1) | US10997400B2 (ja) |
JP (1) | JP6933455B2 (ja) |
CN (1) | CN109804407B (ja) |
WO (1) | WO2018061888A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111580670A (zh) * | 2020-05-12 | 2020-08-25 | 黑龙江工程学院 | 一种基于虚拟现实的园林景观实现方法 |
JP7507400B2 (ja) | 2020-06-25 | 2024-06-28 | パナソニックIpマネジメント株式会社 | 対象者関心推定システム、対象者関心推定装置、対象者関心推定方法、及び、プログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10425247B2 (en) * | 2017-12-12 | 2019-09-24 | Rovi Guides, Inc. | Systems and methods for modifying playback of a media asset in response to a verbal command unrelated to playback of the media asset |
CN110503027A (zh) * | 2019-08-20 | 2019-11-26 | 合肥凌极西雅电子科技有限公司 | 一种基于数据采集与分析的儿童兴趣、性格分析系统和方法 |
JPWO2023106088A1 (ja) * | 2021-12-07 | 2023-06-15 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250322A (ja) * | 2004-03-08 | 2005-09-15 | Matsushita Electric Ind Co Ltd | 表示装置 |
JP2006293979A (ja) * | 2005-03-18 | 2006-10-26 | Advanced Telecommunication Research Institute International | コンテンツ提供システム |
JP2012014455A (ja) * | 2010-06-30 | 2012-01-19 | Toshiba Corp | 情報表示装置、情報表示方法 |
WO2013186911A1 (ja) * | 2012-06-15 | 2013-12-19 | 株式会社日立製作所 | 刺激呈示システム |
JP2014115897A (ja) * | 2012-12-11 | 2014-06-26 | Fujitsu Ltd | 情報処理装置、管理装置、情報処理方法、管理方法、情報処理プログラム、管理プログラム及びコンテンツ提供システム |
JP2015012496A (ja) * | 2013-06-28 | 2015-01-19 | Kddi株式会社 | 携帯端末、携帯端末制御方法およびコンピュータプログラム |
JP2016109897A (ja) * | 2014-12-08 | 2016-06-20 | シャープ株式会社 | 電子機器、発話制御方法、およびプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000347692A (ja) * | 1999-06-07 | 2000-12-15 | Sanyo Electric Co Ltd | 人物検出方法、人物検出装置及びそれを用いた制御システム |
JP4874332B2 (ja) * | 2006-05-18 | 2012-02-15 | 株式会社Vis総研 | コンテンツに対する利用者応答を評価する制御装置 |
JP5239343B2 (ja) * | 2008-01-10 | 2013-07-17 | 日産自動車株式会社 | 車載用ナビゲーション装置および車載用ナビゲーション装置における運転者の関心度推定方法 |
JP2009246408A (ja) * | 2008-03-28 | 2009-10-22 | Toshiba Corp | 対話装置、画像処理モジュール、画像処理方法およびプログラム |
JP4282091B1 (ja) * | 2008-09-04 | 2009-06-17 | 株式会社モバイルビジネスプロモート | 端末装置、情報処理方法及びプログラム |
JP2011243141A (ja) * | 2010-05-21 | 2011-12-01 | Nec System Technologies Ltd | 操作情報処理装置、方法及びプログラム |
PL394570A1 (pl) * | 2011-04-15 | 2012-10-22 | Robotics Inventions Spólka Z Ograniczona Odpowiedzialnoscia | Robot do podlóg podniesionych i sposób serwisowania podlóg podniesionych |
US20140002352A1 (en) * | 2012-05-09 | 2014-01-02 | Michal Jacob | Eye tracking based selective accentuation of portions of a display |
EP3036620B1 (en) * | 2013-08-23 | 2017-03-29 | Tobii AB | Systems and methods for providing audio to a user based on gaze input |
EP2933067B1 (en) * | 2014-04-17 | 2019-09-18 | Softbank Robotics Europe | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method |
JP6053847B2 (ja) | 2014-06-05 | 2016-12-27 | Cocoro Sb株式会社 | 行動制御システム、システム及びプログラム |
US10242379B2 (en) * | 2015-01-30 | 2019-03-26 | Adobe Inc. | Tracking visual gaze information for controlling content display |
-
2016
- 2016-09-29 JP JP2016191117A patent/JP6933455B2/ja active Active
-
2017
- 2017-09-19 WO PCT/JP2017/033773 patent/WO2018061888A1/ja active Application Filing
- 2017-09-19 CN CN201780060525.6A patent/CN109804407B/zh active Active
-
2019
- 2019-03-28 US US16/368,187 patent/US10997400B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250322A (ja) * | 2004-03-08 | 2005-09-15 | Matsushita Electric Ind Co Ltd | 表示装置 |
JP2006293979A (ja) * | 2005-03-18 | 2006-10-26 | Advanced Telecommunication Research Institute International | コンテンツ提供システム |
JP2012014455A (ja) * | 2010-06-30 | 2012-01-19 | Toshiba Corp | 情報表示装置、情報表示方法 |
WO2013186911A1 (ja) * | 2012-06-15 | 2013-12-19 | 株式会社日立製作所 | 刺激呈示システム |
JP2014115897A (ja) * | 2012-12-11 | 2014-06-26 | Fujitsu Ltd | 情報処理装置、管理装置、情報処理方法、管理方法、情報処理プログラム、管理プログラム及びコンテンツ提供システム |
JP2015012496A (ja) * | 2013-06-28 | 2015-01-19 | Kddi株式会社 | 携帯端末、携帯端末制御方法およびコンピュータプログラム |
JP2016109897A (ja) * | 2014-12-08 | 2016-06-20 | シャープ株式会社 | 電子機器、発話制御方法、およびプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111580670A (zh) * | 2020-05-12 | 2020-08-25 | 黑龙江工程学院 | 一种基于虚拟现实的园林景观实现方法 |
CN111580670B (zh) * | 2020-05-12 | 2023-06-30 | 黑龙江工程学院 | 一种基于虚拟现实的园林景观实现方法 |
JP7507400B2 (ja) | 2020-06-25 | 2024-06-28 | パナソニックIpマネジメント株式会社 | 対象者関心推定システム、対象者関心推定装置、対象者関心推定方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN109804407A (zh) | 2019-05-24 |
JP6933455B2 (ja) | 2021-09-08 |
US10997400B2 (en) | 2021-05-04 |
WO2018061888A1 (ja) | 2018-04-05 |
CN109804407B (zh) | 2023-07-18 |
US20190228216A1 (en) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018061888A1 (ja) | 関心維持システム及びサーバ | |
KR102264600B1 (ko) | 적응적 통지 네트워크용 시스템 및 방법 | |
US11424947B2 (en) | Grouping electronic devices to coordinate action based on context awareness | |
JP6739907B2 (ja) | 機器特定方法、機器特定装置及びプログラム | |
JP6503557B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US8672482B2 (en) | Method and apparatus for communication between humans and devices | |
US10511818B2 (en) | Context aware projection | |
CN112136102B (zh) | 信息处理装置、信息处理方法以及信息处理系统 | |
JP2017009867A (ja) | 制御装置、その方法及びプログラム | |
CN115136570A (zh) | 物联网设备的集成 | |
US20150288533A1 (en) | Method and device for remote intelligent control | |
US20190130337A1 (en) | Disturbance event detection in a shared environment | |
US20140325579A1 (en) | System for broadcasting, streaming, and sharing of live video | |
JPWO2018043115A1 (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
JP5990311B2 (ja) | サーバ、報知方法、プログラム、制御対象機器、及び報知システム | |
JP2020064376A (ja) | 情報処理システムおよびプログラム | |
US20230244437A1 (en) | Systems and methods to adjust loudness of connected and media source devices based on context | |
WO2022209227A1 (ja) | 情報処理端末、情報処理方法、およびプログラム | |
US20180241752A1 (en) | Method and device for dynamically updating functionality of a device | |
CA2423142C (en) | Method and apparatus for communication between humans and devices | |
Bjelica et al. | Set-top box-based communication client with the automatic operation profile selection | |
US20210194716A1 (en) | Methods and devices to manage action of remote electronic devices | |
JP5833066B2 (ja) | サーバ、報知方法、報知システム、及びプログラム | |
JP2015148920A (ja) | コンテンツ出力のためのデバイス情報処理装置、コンテンツ出力のためのデバイス情報処理方法、およびコンテンツ出力のためのデバイス情報処理プログラム | |
CN115529842A (zh) | 对发话设备的发话进行控制的方法、对发话设备的发话进行控制的服务器、发话设备以及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190919 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20191004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210720 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6933455 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |