JP2018136766A - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
JP2018136766A
JP2018136766A JP2017031076A JP2017031076A JP2018136766A JP 2018136766 A JP2018136766 A JP 2018136766A JP 2017031076 A JP2017031076 A JP 2017031076A JP 2017031076 A JP2017031076 A JP 2017031076A JP 2018136766 A JP2018136766 A JP 2018136766A
Authority
JP
Japan
Prior art keywords
task
user
information processing
information
persons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017031076A
Other languages
English (en)
Inventor
拓也 池田
Takuya Ikeda
拓也 池田
脩 繁田
Osamu Shigeta
脩 繁田
誠司 鈴木
Seiji Suzuki
誠司 鈴木
彩耶 川井
Aya KAWAI
彩耶 川井
やすし 的場
Yasushi MATOBA
やすし 的場
一郎 椎尾
Ichiro Shiio
一郎 椎尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017031076A priority Critical patent/JP2018136766A/ja
Priority to PCT/JP2018/004291 priority patent/WO2018155199A1/ja
Priority to US16/485,884 priority patent/US20200019233A1/en
Publication of JP2018136766A publication Critical patent/JP2018136766A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】対面でのコミュニケーションを促すことができるようにする。【解決手段】本技術の一側面に係る情報処理装置は、複数の人物を識別し、複数の人物が一緒に行う特定の動作を検出し、特定の動作が検出された場合、複数の人物の組み合わせに応じた処理を行う。例えば、タスク管理アプリケーションの実行中、タスクの登録は、タスクを担当するユーザ同士がハイタッチや握手などの動作を行うことに応じて行われる。タスクを終え、そのタスクを完了させる際にも、タスクを行ったユーザ同士がハイタッチや握手などの動作を行うことが求められる。本技術は、プロジェクタから映像を投影させて情報を提示するシステムに適用することができる。【選択図】図１

Description

本技術は、情報処理装置、情報処理方法、プログラムに関し、特に、対面でのコミュニケーションを促すことができるようにした情報処理装置、情報処理方法、プログラムに関する。
近年、家族が集まる機会はあるものの、スマートフォンなどを各自が使用することによって会話が減少していることが問題になっている。
家族が暮らしていく上では、食事の準備、掃除、洗濯、買い物を含む家事や、旅行の計画などの様々なタスクがあるが、それらのタスクを誰がやるのかですら、面と向かって話して決めるのではなく、SNS上のやりとりで決めてしまうこともある。
ビジネスの場面でも、タスク管理などの作業が、ネットワーク上のサーバが提供するツールを用いて行われることがある。
特開２００５−２２２２４６号公報
上述したようなツールは、いつでもどこでも閲覧したり更新したりすることができるため、効率的かつ便利なものではであるが、その反面、face to faceでのコミュニケーションが不足しがちになる。
本技術はこのような状況に鑑みてなされたものであり、対面でのコミュニケーションを促すことができるようにするものである。
本技術の一側面の情報処理装置は、複数の人物を識別する個人識別部と、前記複数の人物が一緒に行う特定の動作を検出する動作検出部と、前記特定の動作が検出された場合、前記複数の人物の組み合わせに応じた処理を行う処理制御部とを備える。
前記動作検出部には、近くにいる前記複数の人物が行う前記特定の動作を検出させることができる。
前記動作検出部には、前記複数の人物が触れ合って行う動作を前記特定の動作として検出させることができる。
前記動作検出部には、前記複数の人物が所定の言葉を発する動作を前記特定の動作として検出させることができる。
前記個人識別部には、予め登録しておいた前記複数の人物を、センサにより検出された情報に基づいて、または、前記複数の人物による入力操作に基づいて識別させることができる。
前記処理制御部には、タスク管理に用いられる管理画面において登録対象のタスクが選択され、前記特定の動作が検出された場合、前記登録対象のタスクを、前記特定の動作を行った前記複数の人物が協力して行うタスクとして登録させることができる。
前記処理制御部には、登録したタスクの内容、期限、協力して行う人物、および、タスク終了時の動作を表す情報を含むタスク情報を記憶させることができる。
前記処理制御部には、前記タスク情報により表される人物が、前記特定の動作としての、前記タスク終了時の動作を行ったことが検出された場合、前記タスク情報により表される内容のタスクが終了したものとして管理させることができる。
前記処理制御部には、前記特定の動作が検出された場合の前記管理画面の表示が、前記複数の人物の組み合わせに応じて変わるように前記管理画面の表示を制御させることができる。
前記処理制御部には、投影装置によって投影される前記管理画面の表示を制御させることができる。
前記処理制御部には、制御対象となる機器のロックを解除する処理を行わせることができる。
本技術の一側面においては、複数の人物が識別され、前記複数の人物が一緒に行う特定の動作が検出される。また、前記特定の動作が検出された場合、前記複数の人物の組み合わせに応じた処理が行われる。
本技術によれば、対面でのコミュニケーションを促すことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る情報処理システムの使用状態の例を示す図である。 テーブルに投影された画面の操作の例を示す図である。 特定の動作の例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 情報処理装置の基本的な処理について説明するフローチャートである。 動作の例を示す図である。 動作の他の例を示す図である。 情報処理装置のタスク管理処理について説明するフローチャートである。 タスク情報とユーザ関連情報のデータ構造の例を示す図である。 タスク管理画面の構成例を示す図である。 タスク登録時の画面遷移の例を示す図である。 タスク登録時の画面遷移の例を示す図１２に続く図である。 タスク管理画面の表示例を示す図である。 タスク完了時の画面遷移の例を示す図である。 タスク完了時の画面遷移の例を示す図１５に続く図である。 情報処理システムの他の構成例を示す図である。 回路構成の例を示す図である。 情報処理システムの構成例を示す図である。 図１９の情報処理システムを実現する情報処理装置の機能構成例を示すブロック図である。 情報処理装置の機器制御処理について説明するフローチャートである。 制限情報のデータ構造の例を示す図である。 仮想空間におけるコミュニケーションの例を示す図である。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．想定する基本システム構成
２．基本となる処理の流れ
３．情報処理システムの適用例（タスク管理に適用した例）
４．情報処理システムの適用例（ペアレンタルロックに適用した例）
５．効果と変形例
［１．想定する基本システム構成］
＜＜１．１ 使用状態の例＞＞
図１は、本技術の一実施形態に係る情報処理システムの使用状態の例を示す図である。
図１の情報処理システム１は、例えば家の部屋の中で家族により用いられるものである。情報処理システム１は、映像を投影して情報を提示するために用いられる。図１の例においては、部屋に置かれたテーブルＴの天板表面が映像の投影面として用いられている。テーブルＴの周りには、家族であるユーザＵ１乃至Ｕ４が座っているものとする。
図１に示すように、情報処理システム１は、情報処理装置１１、映像表示装置１２、およびセンサ装置１３から構成される。
図１の例においては、プロジェクタである映像表示装置１２は、光の照射方向をテーブルＴに向けた状態で部屋の天井付近に設置されている。映像表示装置１２は、情報処理装置１１による制御に従って、情報処理装置１１が実行するアプリケーションの画面などの所定の映像Ｖ１をテーブルＴに投影する。
センサ装置１３は、映像表示装置１２の投影面を含む範囲の状況を検出可能な状態で設置される。図１の例においては、センサ装置１３は映像表示装置１２の近傍に設置されている。センサ装置１３は、例えば、双眼のカメラや赤外線深度センサなどを搭載し、三次元画像を取得可能なデプスセンサである。三次元画像により、人を含む各物体の形状、各物体までの距離などが表される。
センサ装置１３は、三次元画像により表される、各物体の形状や距離を表すデプス情報をセンサデータとして情報処理装置１１に送信する。センサ装置１３から送信されたセンサデータは、人検出および動作検出などに用いられる。
テーブルＴに投影された画面の操作は、例えば図２に示すように、ユーザが、テーブルＴの上に手を伸ばし、画面を構成するアイコンやボタンなどに触れることによって行われる。センサ装置１３が送信するセンサデータは、このような、テーブルＴに投影された画面に対するユーザの操作の検出などにも用いられる。
部屋の所定の位置に設置された情報処理装置１１と映像表示装置１２の間、情報処理装置１１とセンサ装置１３の間の情報の送受信は、有線の通信により、または、無線LAN(Local Area Network)、Bluetooth（登録商標）などの所定の規格の無線による通信を介して行われる。
情報処理装置１１は、センサ装置１３から送信されたセンサデータに基づいて、検出範囲にいる人の検出を行った後、人登録情報を参照し、検出した人を識別する。また、情報処理装置１１は、動作登録情報を参照することによって、識別した人が、特定の動作を行ったか否かを判定する。情報処理装置１１は、「誰が、何の動作を行ったか」の判断結果に応じて処理の内容を決定し、決定した処理を実行する。
このような構成を有する情報処理システム１においては、人と人が直接対面し、特定の動作を一緒に行うことをトリガーとして処理を行うシステムが実現される。
すなわち、情報処理システム１の利用者であるユーザＵ１乃至Ｕ４は、図３に示すようにハイタッチなどの特定の動作を行うことによって、アプリケーションの機能を利用することになる。図３の例においてはユーザＵ１とユーザＵ２が右手を挙げ、ハイタッチを行っている。
情報処理システム１においては、ハイタッチを行ったユーザがユーザＵ１とユーザＵ２の組み合わせであり、一緒に行う特定の動作としてのハイタッチが行われたという判断結果をトリガーとして、所定の処理が行われる。
このように、情報処理システム１を、対象者が同じ空間にいないと動作しないシステムとすることにより、対面でのコミュニケーションを促進することが可能になる。また、アプリケーションの機能を利用するために特定の動作を一緒に行うことが求められるため、それぞれのユーザは、達成感や協力感といったものを感じ、チームワークを深めることが可能になる。
なお、図１の例においては、情報を提示する機器としてプロジェクタである映像表示装置１２が設けられているが、天板に大型のディスプレイが設けられたテーブル型のディスプレイが映像表示装置１２として設けられるようにしてもよい。
また、ユーザの動きがデプスセンサであるセンサ装置１３の出力に基づいて検出されるものとしているが、ユーザが身に着けたセンサの出力に基づいて検出されるようにしてもよいし、テーブルＴに設置されたセンサの出力に基づいて検出されるようにしてもよい。
情報処理システム１が公共機関などの民家以外の建物の中で用いられるようにしてもよいし、屋外で用いられるようにしてもよい。また、映像表示装置１２の投影面として、テーブルの天板表面ではなく、壁面、床面などの、ユーザの操作を検出可能な各種の平面が用いられるようにしてもよい。平面ではなく、自動車の表面、椅子の表面などの各種の面を投影面とするようにしてもよい。投影面の位置に応じて、映像表示装置１２とセンサ装置１３の設置位置は適宜変更される。
映像表示装置１２の機能がセンサ装置１３に搭載され、映像表示装置１２の機能とセンサ装置１３の機能が１つの装置により実現されるようにしてもよい。
＜＜１．２ 各装置の構成例＞＞
図４は、情報処理装置１１のハードウェア構成例を示すブロック図である。
図４に示すように、情報処理装置１１は、CPU３１、ROM３２、RAM３３、入力部３５、出力部３６、記憶部３７、および通信部３８が、バス３４を介して接続されることによって構成される。
CPU(Central Processing Unit)３１は、例えばROM(Read Only Memory)３２に格納されているプログラムをRAM(Random Access Memory)３３上で実行し、情報処理装置１１の全体の動作を制御する。
入力部３５は、キーボード、マウスなどよりなり、情報処理システム１のユーザによる操作を受け付ける。
出力部３６は、図示せぬディスプレイやスピーカなどより構成される。アプリケーションの画面のデータが通信部３８からではなく出力部３６から出力されるようにしてもよい。この場合、出力部３６は、画面のビデオデータを出力するインタフェースとして機能する。
記憶部３７は、ハードディスクやフラッシュメモリなどにより構成される。記憶部３７は、CPU３１により実行されるプログラムなどの各種の情報を記憶する。
通信部３８は、有線または無線による通信を、映像表示装置１２、センサ装置１３との間で行う。例えば、通信部３８は、センサ装置１３から送信されてきたセンサデータを受信する。また、通信部３８は、映像表示装置１２に対してアプリケーションの画面のデータを送信する。通信部３８は、適宜、インターネットを介して外部の機器と通信を行う。
図５は、情報処理装置１１の機能構成例を示すブロック図である。図５に示す情報処理装置１１の機能部のうちの少なくとも一部は、図４のCPU３１により所定のプログラムが実行されることによって実現される。
図５に示すように、情報処理装置１１においては、人検出部５１、人識別部５２、人登録情報記憶部５３、動作検出部５４、動作判定部５５、動作登録情報記憶部５６、処理制御部５７、映像表示制御部５８、および制御部７１が実現される。センサ装置１３から送信され、通信部３８において受信されたセンサデータは人検出部５１と動作検出部５４に入力される。
人検出部５１は、センサデータとして入力されたデプス情報に基づいて、テーブルＴの周囲にいるユーザを検出する。例えば、ユーザの検出は、デプス情報により表される、頭部、片、腕などの、人の体の部位の形状に基づいて行われる。人検出部５１は、検出したそれぞれのユーザの位置を表す情報を人識別部５２に出力する。人識別部５２に対してはセンサデータも供給される。
人識別部５２は、人登録情報記憶部５３に記憶されている人登録情報を参照し、人検出部５１により検出されたユーザを識別する。例えば、ユーザの識別は、デプス情報により表される、身長や肩幅などの身体的特徴に基づいて行われる。この場合、人登録情報記憶部５３には、各ユーザの身体的特徴を表す情報が人登録情報として記憶されている。人識別部５２は、テーブルＴの周囲にいるユーザが誰であるのかを表す識別情報を処理制御部５７に出力する。
人登録情報記憶部５３は、情報処理システム１を利用する各ユーザの人登録情報を記憶する。情報処理システム１を利用する各ユーザは、初期登録時などの所定のタイミングで、自身の身体的特徴を表す人登録情報を情報処理装置１１に登録させておく必要がある。人登録情報の登録は、例えば、初期登録時に検出されたデプス情報などに基づいて行われる。
動作検出部５４は、センサデータとして入力されたデプス情報の時系列に基づいて、テーブルＴの周囲にいるユーザの動作を検出する。例えば、ユーザの動作の検出は、デプス情報に基づいて人の手を認識し、認識した手の位置を追跡することによって行われる。動作検出部５４は、どのような動作をユーザが行っているのかを表す情報を動作判定部５５に出力する。
動作判定部５５は、動作登録情報記憶部５６に記憶されている動作登録情報を参照し、特定の動作がユーザにより行われたか否かを判定する。例えば、動作登録情報記憶部５６には、ハイタッチや握手などの、特定の動作を複数のユーザが一緒になって行うときの手の位置の時系列変化を表す情報が動作登録情報として記憶されている。動作判定部５５は、特定の動作が行われたと判定した場合、ユーザが行った動作を表す識別情報を処理制御部５７に出力する。
動作登録情報記憶部５６は、動作登録情報を記憶する。動作登録情報記憶部５６には、例えば、複数の動作の判定に用いられる動作登録情報が記憶されている。
処理制御部５７は、人識別部５２から供給されたユーザの識別情報と、動作判定部５５から供給された動作の識別情報に基づいて、テーブルＴの周囲にいて、特定の動作を行ったユーザが誰であるのかを認識する。処理制御部５７は、特定の動作を行ったユーザの組み合わせに基づいて、実行する処理の内容を決定する。
処理制御部５７は、特定の動作を行ったユーザの組み合わせに応じた処理を実行する。処理制御部５７は、適宜、映像表示制御部５８を制御し、処理の結果を画面の表示に反映させる。
映像表示制御部５８は、処理制御部５７から供給された情報に基づいて、表示中の画面を更新し、更新後の画面のビデオデータを映像表示装置１２に送信する。映像表示装置１２においては、映像表示制御部５８から供給されたビデオデータに基づいて画面の表示が行われる。
制御部７１は、情報処理装置１１に対するユーザの入力操作を検出するなどの各種の処理を行う。
［２．基本となる処理の流れ］
ここで、図６のフローチャートを参照して、以上のような構成を有する情報処理装置１１の基本的な処理について説明する。
図６の処理の開始前、ユーザの登録処理が行われ、センサ装置１３から出力されたセンサデータに基づいて、各ユーザの身体的特徴を表す情報が人登録情報として人登録情報記憶部５３に記憶される。
ステップＳ１において、人検出・個人識別処理が行われる。人検出・個人識別処理により、センサデータとして入力されたデプス情報に基づいて、テーブルＴの周りにいるとして検出されたユーザが識別される。
ステップＳ２において、人識別部５２は、識別したユーザが、登録された人物であるか否かを判定する。登録された人物ではないとステップＳ２において判定された場合、ステップＳ１に戻り、以上の処理が繰り返される。
一方、識別したユーザが登録された人物であるとステップＳ２において判定された場合、処理はステップＳ３に進む。登録された人物であるとして判定されたユーザの識別情報が処理制御部５７に供給される。
ステップＳ３において、動作検出処理が行われる。動作検出処理により、センサデータとして入力されたデプス情報に基づいて、各ユーザの動作が検出される。
ステップＳ４において、動作判定部５５は、特定の動作がユーザにより行われたか否かを判定する。特定の動作が行われていないとステップＳ４において判定された場合、ステップＳ３に戻り、以上の処理が繰り返される。
一方、特定の動作が行われたとステップＳ４において判定された場合、処理はステップＳ５に進む。ユーザにより行われた動作の識別情報が処理制御部５７に供給される。
ステップＳ５において、特定の動作を行ったユーザの組み合わせに基づいて所定の処理が行われる。すなわち、処理制御部５７は、ハイタッチなどを行ったユーザが誰と誰であるのかに応じて処理を行う。処理が行われることによって、アプリケーションの画面表示の更新などが行われる。
ステップＳ６において、処理制御部５７は、処理を終了するか否かを判定する。処理を終了しないとステップＳ６において判定された場合、ステップＳ３に戻り、以上の処理が繰り返される。一方、例えばアプリケーションの終了が指示されたことから、処理を終了するとステップＳ６において判定された場合、処理は終了される。
以上のような基本的な処理が、所定のアプリケーションの実行時においても行われる。アプリケーションの実行時には、図６に示す各ステップの処理以外の各種の処理も行われる。
以下、ステップＳ１において行われる人検出・個人識別処理、ステップＳ３において行われる動作検出処理の詳細について説明する。
＜＜２．１ 人検出・個人識別処理＞＞
＜２．１．１ 人検出＞
ステップＳ１において行われる人検出は、センサ装置１３により検出された、テーブルＴの上を含む、テーブルＴの周囲の状況を表すデプス情報に基づいて人検出部５１により行われる。
センサ装置１３が、テーブルＴの周囲の状況を撮影範囲に含むカメラを有している場合、カメラによって撮影した画像を解析することによって、ユーザの検出が行われるようにしてもよい。例えば、画像を解析することによって、顔の特徴となる部位が検出され、その検出結果に基づいて、テーブルＴの周りにユーザがいるか否かが判定される。
全方位カメラもしくは複数のカメラが例えばテーブルＴの中央に設置され、これらのカメラによって撮影された画像を用いてユーザの検出が行われるようにしてもよい。
また、テーブルＴの周りに置かれた椅子の座面に圧力センサを設置し、そのセンサ値の時系列変化に基づいて、ユーザの検出が行われるようにしてもよい。
これらの検出手段を複数統合してユーザの検出が行われるようにしてもよい。これにより、ユーザの検出精度を向上させることが可能になる。
＜２．１．２ 個人識別＞
ステップＳ１において行われる個人識別は、センサ装置１３により検出されたデプス情報により表される、身長や肩幅などの身体的特徴に基づいて人識別部５２により行われる。
上述したようにセンサ装置１３がカメラを有している場合、カメラによって撮影した画像を解析することによって、ユーザの識別が行われるようにしてもよい。例えば、画像を解析することによって、顔の部位の特徴量が検出され、その検出結果を予め登録された特徴量と比較することによって、ユーザが識別される。この場合、人登録情報記憶部５３には、各ユーザの顔の特徴量を表す情報が人登録情報として登録される。
また、上述したように椅子の座面に圧力センサが設けられている場合、圧力センサにより検出されたセンサ値（体重）に基づいてユーザの識別が行われるようにしてもよい。この場合、人登録情報記憶部５３には、各ユーザの体重を表す情報が人登録情報として登録される。
誰がどこにいるのかの選択に用いられる画面（UI(User Interface)）が映像表示装置１２により表示され、情報処理システム１の利用開始前に、各ユーザに能動的に選択させることによってユーザの識別が行われるようにしてもよい。
センサ装置１３が、テーブルＴの周囲の音を集音する音声入力機器（マイクロホン）を有している場合、マイクロホンによって検出された音声に対して音声認識が行われ、ユーザの検出と識別が行われるようにしてもよい。各ユーザに、情報処理システム１の利用開始前に例えば「○○です」といったように自身の名前を言わせるようにしてもよい。この場合、センサ装置１３から送信されてきた音声データは例えば人識別部５２に供給され、音声認識に用いられる。
また、情報処理装置１１と各ユーザが持つスマートフォンなどの携帯端末の間（情報処理装置１１が実行するアプリケーションと携帯端末の間）で通信が行われ、携帯端末から情報処理装置１１に対して送信された情報に基づいて、ユーザの検出と識別が行われるようにしてもよい。この場合、人登録情報記憶部５３には、各ユーザが使用する識別情報などが人登録情報として登録される。SNSサービスのアカウント情報とアプリケーションを対応付けた情報がデータベース化され、人登録情報記憶部５３に登録されるようにしてもよい。
情報処理装置１１が実行するアプリケーションが、アカウント名やパスワードなどのユーザの情報を管理しておき、ログイン時にユーザにより入力された情報に基づいてユーザの検出と識別が行われるようにしてもよい。
これらの識別手段を複数統合してユーザの識別が行われるようにしてもよい。これにより、ユーザの識別精度を向上させることが可能になる。
＜２．２ 動作検出処理＞
ステップＳ３において行われる動作検出は、デプス情報の時系列に基づいて、人の手を認識し、その位置を追跡することによって動作検出部５４により行われる。例えば、ハイタッチの検出は、高い位置で複数のユーザが手を合わせたか否かを判定することにより行われる。
図７は、動作検出部５４が検出する動作の例を示す図である。
図７Ａに示すハイタッチや図７Ｃに示す握手の他に、拳と拳を突き合わせるいわゆるグータッチ（図７Ｂ）、あるユーザが立てた指を他のユーザが握るいわゆるこの指止まれ（図７Ｄ）などの触れ合う動作が検出される。
オッケーサイン（図７Ｅ）、ピース（図７Ｆ）、親指を立てる（図７Ｇ）などの、触れ合わない動作が検出されるようにしてもよい。このような触れ合わない動作を複数のユーザが一緒に行ったことをトリガーとして所定の処理が行われるようにすることも可能である。例えばオッケーサインを向き合って同時に行うことも、対面でのコミュニケーションとなる。
挙手、ガッツポーズ、複数のユーザが手をかざして重ねる、などの他の動作が検出されるようにしてもよい。
国や地域によってジェスチャーなどの動作の意味が異なる。情報処理システム１が用いられる国や地域の文化に合わせた動作が検出されるようにしてもよい。例えば、中国においては図８Ａ乃至Ｃに示すような動作が検出されるようにしてもよい。また、アメリカにおいては図８Ｃ、図８Ｄに示すような動作が検出されるようにしてもよい。
また、テーブルＴに表示された画面に対する動作（操作）が検出されるようにしてもよい。この場合、テーブルＴの表面と手との距離がデプス情報に基づいて検出され、所定の箇所に複数のユーザが一緒にタッチ（接触）したか、などが判断される。
センサ装置１３が、テーブルＴの周囲の音を集音するマイクロホンを有している場合、合い言葉を発する動作が検出されるようにしてもよい。この場合、センサ装置１３から送信されてきた音声データは例えば動作検出部５４に供給され、音声認識が行われる。動作判定部５５は、音声認識の結果に基づいて、所定の合い言葉が発せられたか否かを判定し、所定の合い言葉が発せられたと判定した場合、その内容を表す識別情報を処理制御部５７に出力する。
合い言葉を発する動作とハイタッチなどの動作を組み合わせた動作が検出されるようにしてもよい。これにより動作のバリエーションを増やすことが可能になる。
また、情報処理装置１１と各ユーザが持つ携帯端末の間で通信が行われ、携帯端末に表示された画面に対する操作が、ユーザの動作として動作検出部５４により検出されるようにしてもよい。この場合、携帯端末の画面には所定のボタンなどが表示され、ボタンに対する操作が行われたときに、そのことを表す情報が情報処理装置１１に対して送信される。
これらの検出手段を複数統合してユーザの動作が検出されるようにしてもよい。これにより、ユーザの動作の検出精度を向上させることが可能になる。
［３．情報処理システムの適用例（タスク管理に適用した例）］
ここで、情報処理システム１を、タスクを管理するアプリケーションであるタスク管理アプリケーションを実行するシステムに適用した場合について説明する。タスク（ToDo）は、やらなければいけないこと、忘れてはいけないことなどを表す。
タスク管理アプリケーションを情報処理装置１１が実行することによって実現される情報処理システム１を家族間で利用することにより、タスク管理を通して、家族間のコミュニケーションの促進を図ることが可能になる。
図９のフローチャートを参照して、タスク管理アプリケーションを実行する情報処理装置１１のタスク管理処理について説明する。
ステップＳ１１において、人検出・個人識別処理が行われる。ステップＳ１１において行われる人検出・個人識別処理は、図６のステップＳ１の処理に対応する処理である。
すなわち、センサデータとして入力されたデプス情報に基づいて、テーブルＴの周りにいるユーザが検出され、検出されたユーザの識別が行われる。人登録情報記憶部５３には、家族を構成するそれぞれのユーザを識別するための人登録情報が記憶されている。
家族の一員であるとして登録されているユーザ全員が識別された場合、ステップＳ１２以降の処理が行われる。ステップＳ１２の以降の各処理の詳細については適宜まとめて後述する。
ステップＳ１２において、処理内容の選択処理が行われる。タスク管理のための処理として、例えば、タスク登録処理、タスク完了処理、タスクキャンセル処理が用意されている。
タスク登録処理は、新たなタスクを登録するときに行われる処理である。タスク完了処理は、登録済みのタスクを完了するときに行われる処理である。タスクキャンセル処理は、登録済みのタスクをキャンセルするときに行われる処理である。
ステップＳ１３において、制御部７１は、選択された処理の内容を判定する。タスク登録処理が選択されたとステップＳ１３において判定された場合、処理はステップＳ１４に進む。
ステップＳ１４において、タスク内容の入力処理が行われる。
タスク内容が入力された場合、ステップＳ１５において、タスク期限の入力処理が行われる。
タスク期限が入力された場合、ステップＳ１６において、タスク登録用の動作の検出処理が行われる。
タスク登録用の動作をユーザが行ったことが検出された場合、ステップＳ１７において、タスク登録処理が行われる。
一方、タスク完了処理が選択されたとステップＳ１３において判定された場合、処理はステップＳ１８に進む。
ステップＳ１８において、完了するタスクの選択処理が行われる。
完了するタスクが選択された場合、ステップＳ１９において、タスク完了用の動作の検出処理が行われる。
タスク完了用の動作をユーザが行ったことが検出された場合、ステップＳ２０において、タスク完了処理が行われる。
一方、タスクキャンセル処理が選択されたとステップＳ１３において判定された場合、処理はステップＳ２１に進む。
ステップＳ２１において、キャンセルするタスクの選択処理が行われる。
キャンセルするタスクが選択された場合、ステップＳ２２において、タスクキャンセル用の動作の検出処理が行われる。
タスクキャンセル用の動作をユーザが行ったことが検出された場合、ステップＳ２３において、タスクキャンセル処理が行われる。
ステップＳ１７のタスク登録処理、ステップＳ２０のタスク完了処理、またはステップＳ２３のタスクキャンセル処理が行われた場合、ステップＳ２４において、処理を終了するか否かが判定される。
処理を終了しないとステップＳ２４において判定された場合、ステップＳ１２に戻り、以上の処理が繰り返される。一方、処理を終了するとステップＳ２４において判定された場合、タスク管理アプリケーションの実行が終了され、処理は終了となる。
＜＜３．１ 処理内容の選択処理＞＞
ステップＳ１２において行われる処理内容の選択は、テーブルＴに投影されたタスク管理画面を用いて行われる。タスク管理画面には、それぞれの処理を選択するために用いられるボタンが表示される。
処理内容の選択は、タスク管理画面に表示されたボタンに対して、家族全員が手をかざしたりタッチしたりすることによって行われる。タスク管理画面に表示されたボタンに対するユーザの操作は例えば動作検出部５４により検出される。
処理内容の選択が音声を用いて行われるようにしてもよい。この場合、ユーザは、「タスクを登録」、「タスクを完了」、「タスクをキャンセル」などの、処理内容を表す言葉を発することになる。例えば動作検出部５４は、マイクロホンによって検出された音声に対して音声認識を行う。制御部７１は、動作検出部５４による音声認識の結果を取得し、ユーザによる選択を受け付ける。
過去に登録されたタスクの履歴情報が保持されている場合、履歴情報に基づいて、登録すべきタスクの内容が選択され、制御部７１による制御によってユーザに通知されるようにしてもよい。例えば、毎週登録されている「週に１度行う庭の水やり」などの定期的なタスクが登録されていない場合、そのことが通知され、通知に対してユーザにより操作が行われたときに、タスク登録処理が選択される。
定期的なタスクの通知は、例えば、発話装置（スピーカ）から音声を出力することにより、または、通知内容を表す情報をタスク管理画面に表示させることにより行われる。期限が近いタスクがあることがユーザに対して通知されるようにしてもよい。
＜＜３．２ タスク登録処理＞＞
＜３．２．１ タスク内容の入力処理＞
ステップＳ１４において行われるタスク内容の入力は、テーブルＴに投影されたタスク管理画面を用いて行われる。タスク管理画面には、文字入力を行うためのボタンなどが表示される。制御部７１は、ボタンなどに対して操作が行われたことが動作検出部５４により検出された場合、ユーザの操作に応じてタスク内容の入力を受け付ける。
タスク内容の入力が音声によって行われるようにしてもよい。また、入力部３５を構成するマスクやキーボードに対する操作によってタスク内容が入力されるようにしてもよい。
＜３．２．２ タスク期限の入力処理＞
ステップＳ１５において行われるタスク期限の入力は、テーブルＴに投影されたタスク管理画面を用いて行われる。タスク管理画面には例えばカレンダーが表示される。制御部７１は、カレンダーに対して操作が行われたことが動作検出部５４により検出された場合、ユーザにより選択された日にちを期限とするようにしてタスク期限の入力を受け付ける。
タスク期限の入力が音声によって行われるようにしてもよい。
入力されたタスク期限の情報がユーザの携帯端末に対して送信され、携帯端末にインストールされているカレンダーアプリケーション等の各種のアプリケーションが管理するスケジュール情報に自動的に反映されるようにしてもよい。
＜３．２．３ タスク登録用の動作検出処理＞
ステップＳ１６において行われるタスク登録用の動作検出処理により、どのユーザが、予め決められたタスク登録用の動作を行ったかが検出される。この例においては、タスク登録用の動作を行ったユーザが、タスクの担当者として設定される。
ステップＳ１６において行われるタスク登録用の動作検出処理は、図６のステップＳ３の処理に対応する処理である。すなわち、上記２．２で説明した処理と同様の処理が行われ、ユーザの動作が動作検出部５４により検出される。また、検出された動作が、タスク登録用の動作であるか否かが動作判定部５５により判定され、その判定結果が処理制御部５７に出力される。
処理制御部５７は、タスク登録用の動作を行ったユーザを人識別部５２による識別結果に基づいて特定し、特定したユーザを、タスクの担当者として設定する。例えばハイタッチを行って触れ合ったユーザ同士が、タスクの担当者として設定されることになる。情報処理システム１においては、複数のユーザが協力して行うタスクが管理される。
＜３．２．４ タスク登録処理＞
ステップＳ１７において行われるタスク登録処理により、タスク情報が処理制御部５７により生成され、管理される。タスク情報は、記憶部３７に記憶して管理される。タスク情報のデータ構造については後述する。
このように、タスク登録処理時、タスク登録用の動作を行った複数のユーザをタスクの担当者として設定し、登録する処理が行われる。また、適宜、タスク管理画面に、担当者として設定されたことを表す情報が表示される。
タスク登録用の動作を行ったユーザをタスクの担当者として登録するとともに、タスク登録用の動作が行われることに応じてタスク管理画面を表示する処理が、図６のステップＳ５において行われる処理に相当する。これらの処理は、タスク登録用の動作を行ったユーザの組み合わせに応じて内容が変わる処理である。
タスク登録処理が行われた後、処理はステップＳ２４に進み、それ以降の処理が行われる。
＜＜３．３ タスク完了処理＞＞
＜３．３．１ タスクの選択処理＞
ステップＳ１８において行われるタスクの選択は、テーブルＴに投影されたタスク管理画面を用いて行われる。タスク管理画面には、登録済みのタスクを表すアイコン（画像）や文字などの情報が表示される。制御部７１は、アイコンなどに対して操作が行われたことが動作検出部５４により検出された場合、ユーザにより選択されたタスクを完了対象とするようにしてタスクの選択を受け付ける。
完了するタスクの選択が音声によって行われるようにしてもよい。
＜３．３．２ タスク完了用の動作検出処理＞
ステップＳ１９において行われるタスク完了用の動作検出処理により、どのユーザが、予め決められたタスク完了用の動作を行ったかが検出される。この例においては、タスクが完了させるためには、タスクを行ったユーザが、タスク完了用の動作を一緒に行う必要がある。
ステップＳ１９において行われるタスク完了用の動作検出処理は、図６のステップＳ３の処理に対応する処理である。すなわち、上記２．２で説明した処理と同様の処理が行われ、ユーザの動作が動作検出部５４により検出される。また、検出された動作が、タスク完了用の動作であるか否かが動作判定部５５により判定され、その判定結果が処理制御部５７に出力される。
処理制御部５７は、タスク完了用の動作を行ったユーザを人識別部５２による識別結果に基づいて特定し、特定したユーザが、タスクの担当者として設定されているユーザと一致するか否かを判定する。例えばタスク完了用の動作がハイタッチであり、ハイタッチを行って触れ合ったユーザが、タスクの担当者として設定されていた場合、処理制御部５７は、タスク完了用の動作を行ったユーザと担当者として設定されているユーザが一致すると判定する。
タスク完了用の動作を行ったユーザと担当者として設定されているユーザが一致しない場合、処理制御部５７は、処理を行わないか、エラーであることのフィードバックを行う。エラーであることのフィードバックは、例えば映像表示装置１２を制御してそのことを表す情報を表示させることにより、または音声により行われる。
＜３．３．３ タスク完了処理＞
ステップＳ２０において行われるタスク完了処理は、タスク完了用の動作を行ったユーザが、タスクの担当者として設定されているユーザと一致すると判定された場合に行われる。タスク完了処理により、処理制御部５７は、完了対象として選択されたタスクを削除するようにタスク情報を更新する。
全てのタスクが完了した場合、そのことを表すエフェクト画像がタスク管理画面に表示されるようにしてもよい。
タスク情報が更新された後、タスクが残っている場合は、再度、タスクの選択処理（ステップＳ１８）に戻り、以上の処理が繰り返されるようにしてもよい。また、タスク情報が更新された後、タスクの入力処理（ステップＳ１４）に進むようにしてもよいし、未完了タスク・期限切れのタスクがある場合は、タスク期限の入力処理（ステップＳ１５）に進むようにしてもよい。
このように、タスク完了処理時、タスク完了用の動作を行ったユーザが担当者となっていたタスクを完了させる処理が行われる。また、適宜、タスク管理画面に、タスクが完了したことを表す情報が表示される。
タスク完了用の動作を行ったユーザのタスク情報を更新するとともに、タスク完了用の動作が行われることに応じてタスク管理画面を表示する処理が、図６のステップＳ５において行われる処理に相当する。これらの処理は、タスク完了用の動作を行ったユーザの組み合わせに応じて内容が変わる処理である。
＜＜３．４ タスクキャンセル処理＞＞
＜３．４．１ タスクの選択処理＞
ステップＳ２１において行われるタスクの選択は、テーブルＴに投影されたタスク管理画面を用いて行われる。タスク管理画面には、登録済みのタスクを表すアイコンや文字などの情報が表示される。制御部７１は、アイコンなどに対して操作が行われたことが動作検出部５４により検出された場合、ユーザにより選択されたタスクをキャンセル対象とするようにしてタスクの選択を受け付ける。
キャンセルするタスクの選択が音声によって行われるようにしてもよい。
＜３．４．２ タスクキャンセルの動作＞
ステップＳ２２において行われるタスクキャンセル用の動作検出処理により、どのユーザが、予め決められたタスクキャンセル用の動作を行ったかが検出される。この例においては、タスクをキャンセルするためには、タスクをキャンセルするユーザが、タスクキャンセル用の動作を行う必要がある。
ステップＳ２２において行われるタスク完了用の動作検出処理は、図６のステップＳ３の処理に対応する処理である。すなわち、上記２．２で説明した処理と同様の処理が行われ、ユーザの動作が動作検出部５４により検出される。また、検出された動作が、タスクキャンセル用の動作であるか否かが動作判定部５５により判定され、その判定結果が処理制御部５７に出力される。
処理制御部５７は、タスクキャンセル用の動作を行ったユーザを人識別部５２による識別結果に基づいて特定し、特定したユーザが、タスクの担当者として設定されているユーザと一致するか否かを判定する。
タスクキャンセル用の動作を、キャンセル対象のタスクを表すアイコンをタスク管理画面に表示されたゴミ箱に移動させる動作とすることが可能である。アイコンを移動させる動作を行ったユーザが、タスクの担当者として設定されていた場合、処理制御部５７は、タスクキャンセル用の動作を行ったユーザと担当者として設定されているユーザが一致すると判定する。
タスクキャンセル用の動作として、所定の言葉を発するという動作が用いられるようにしてもよい。例えば、タスク名を発した後に「ゴミ箱へ」といった言葉を発する動作によってタスクのキャンセルが行われるようにすることが可能である。
タスクキャンセル用の動作を行ったユーザと担当者として設定されているユーザが一致しない場合、処理制御部５７は、処理を行わないか、エラーであることのフィードバックを行う。エラーであることのフィードバックは、例えば映像表示装置１２を制御してそのことを表す情報を表示させることにより、または音声により行われる。
＜３．４．３ タスクキャンセル処理＞
ステップＳ２３において行われるタスクキャンセル処理は、タスクキャンセル用の動作を行ったユーザが、タスクの担当者として設定されているユーザと一致すると判定された場合に行われる。タスクキャンセル処理により、処理制御部５７は、キャンセル対象として選択されたタスクを削除するようにタスク情報を更新する。
タスク情報が更新された後、タスクが残っている場合は、再度、タスクの選択処理（ステップＳ２１）に戻り、以上の処理が繰り返されるようにしてもよい。全てのタスクがキャンセルされた場合は、タスクの入力処理（ステップＳ１４）に進むようにしてもよい。
このように、タスクキャンセル処理時、タスクキャンセル用の動作を行ったユーザが担当者となっていたタスクをキャンセルする処理が行われる。また、適宜、タスク管理画面の表示が、タスクをキャンセルさせたことを表すように更新される。
タスクキャンセル用の動作を行ったユーザのタスク情報を更新するとともに、タスクキャンセル用の動作が行われることに応じてタスク管理画面を表示する処理が、図６のステップＳ５において行われる処理に相当する。これらの処理は、タスクキャンセル用の動作を行ったユーザの組み合わせに応じて内容が変わる処理である。
＜＜３．５ データ構造＞＞
図１０は、タスク情報とユーザ関連情報のデータ構造の例を示す図である。
図１０Ａに示すように、タスク情報には、タスク名、定期的なタスクであるか否か、期限、担当者、完了日時、タスクの分配量、および、タスク登録用／タスク完了用／タスクキャンセル用のそれぞれの動作を表す情報が含まれる。タスク毎に、タスク登録用／タスク完了用／タスクキャンセル用のそれぞれの動作が紐付けて管理されることになる。なお、タスクの分配量は、担当者間のタスクの分担を表し、タスク管理画面を用いてユーザにより入力される。
このようなタスク情報がタスク登録処理において生成され、ユーザ関連情報と対応付けて処理制御部５７により管理される。
図１０Ｂに示すように、ユーザ関連情報には、個人識別情報、性別、年齢、未完了のタスク、完了したタスク、および、家族ステータスを表す情報が含まれる。個人識別情報は、名前、ユーザ名、パスワード、センサ装置１３により検出されたセンサデータに基づいて個人識別を行う際に必要となる特徴情報などである。また、家族ステータスは、父、母、長女、次男などの続柄を表す。
このような各情報を含むユーザ関連情報が例えば記憶部３７に記憶され、制御部７１により管理される。ユーザ関連情報に含まれる個人識別情報のうちの特徴情報が、人登録情報として人登録情報記憶部５３に記憶される。
＜＜３．６ その他の機能＞＞
＜３．６．１ 処理内容ごとに動作を割り当てる機能＞
タスク管理アプリケーションの初期設定時などの所定のタイミングで、タスク登録処理を行うための動作、タスク完了処理を行うための動作、タスクキャンセル処理を行うための動作をそれぞれ設定することができるようにしてもよい。
例えば、タスク登録処理を行うための動作として指切りの動作を割り当てるといったように、処理内容に合う意味の動作を割り当てることにより、ユーザは、タスク登録処理を直感的に開始させることができる。日本においては、指切りは約束を結ぶときに使われる動作であり、タスク登録に合う意味の動作といえる。
同様に、タスク完了処理を行うための動作としてハイタッチの動作を割り当て、タスクキャンセル処理を行うための動作として、両手をクロスしてバツ印を作る動作を割り当てるようにしてもよい。
担当者の人数に応じて動作が割り当てられるようにしてもよい。例えば、担当者が２人であるタスクの処理に対しては、握手などの２人で一緒に行う動作が割り当てられる。また、３人以上であるタスクの処理に対しては、ハイタッチやオッケーサインなどの、複数人で一緒に行うことができる動作が割り当てられる。
＜３．６．２ 動作のカスタマイズ＞
各処理のトリガーとなる動作は、初期データとして予め設定されているようにしてもよいし、タスク管理アプリケーションが動作を登録する機能を有している場合、初期設定時などの所定のタイミングでユーザにより登録されるようにしてもよい。
動作の登録時、ユーザは、センサ装置１３によるセンシングが可能な範囲で、登録したい動作を行う。動作検出部５４は、センサ装置１３から送信されるセンサデータに基づいて動作を検出し、検出した動作のデータを動作登録情報記憶部５６に記憶させることによって、処理のトリガーとなる動作として登録する。
各ユーザが登録させた動作データを管理するサーバが用意され、そのサーバから、動作データをインターネットを介してダウンロードすることができるようにしてもよい。
＜３．６．３ 担当者変更機能＞
担当者として設定済みのユーザと非担当者のユーザが所定の動作を行うことによって、担当者が変更されるようにしてもよい。例えば、処理制御部５７は、担当者のユーザと非担当者のユーザが握手などの所定の動作を行ったと判定した場合、担当者のユーザと非担当者のユーザを入れ替えるようにタスク情報を更新する。
このように、担当者の変更などの各種の処理に対しても、対象者が対面してコミュニケーションをとることが求められるようにすることが可能である。
＜３．６．４ タスクの提案機能＞
各家庭に設けられている情報処理システム１が管理しているユーザ関連情報をインターネット上のサーバにおいて活用し、サーバによる制御に従って、タスクの提案が行われるようにしてもよい。これにより、例えば、ある家庭に対して、他の家庭で登録されたタスクを提案することが可能になる。
＜＜３．７ タスク管理時のUI表現の例＞＞
図１１は、タスク管理画面の構成例を示す図である。
図１１に示すように、タスク管理画面１０１は略正方形状の画面であり、操作領域１０１−１乃至１０１−４の４つの略正方形状の領域から構成される。操作領域１０１−１は、例えば矢印＃１の方向に座るユーザＵ１用の領域であり、操作領域１０１−２は、例えば矢印＃２の方向に座るユーザＵ２用の領域である。操作領域１０１−３は、例えば矢印＃３の方向に座るユーザＵ３用の領域であり、操作領域１０１−４は、例えば矢印＃４の方向に座るユーザＵ４用の領域である。
操作領域１０１−１乃至１０１−４の各領域には、菱形状の配置領域１１１−１乃至１１１−４が表示される。図１１の例においては配置領域１１１−１乃至１１１−４に何も表示されていないが、ユーザによる操作に応じて、タスクを表す画像などが配置される。
図１２、図１３は、タスク登録時の画面遷移の例を示す図である。
例えば、ユーザＵ２が登録対象のタスクとして「掃除」を入力した場合（図９のステップＳ１４）、図１２の左端に示すように、配置領域１１１−２には、掃除のタスクを表す画像が表示される。
登録対象のタスクの入力は、上述したようにタスク管理画面１０１に表示されたボタンや音声により行われる。掃除のタスクを表す画像が操作領域１０１−２に表示されており、それを配置領域１１１−２に移動させる操作によってタスクの入力が行われるようにしてもよい。
続けて、ユーザＵ４が登録対象のタスクとして掃除を入力した場合、矢印＃１１の先に示すように、配置領域１１１−４には、掃除のタスクを表す画像が表示される。
掃除のタスクに対しては、適宜、ユーザＵ２とユーザＵ４によりそれぞれ期限が入力される（図９のステップＳ１５）。
ユーザＵ２とユーザＵ４が登録対象のタスクとして同じ掃除のタスクを入力した状態で、例えばハイタッチを行った場合、そのことが検出され（図９のステップＳ１６）、矢印＃１２の先に示すように、配置領域１１１−２と配置領域１１１−４を直線Ｌ１で結ぶような演出が行われる。
このような演出も、特定の動作を行ったユーザの組み合わせに応じて行われる処理に含まれる（図９のステップＳ１７）。
図１２の右端に示すタスク管理画面１０１が表示されている状態で、ユーザＵ１とユーザＵ２が登録対象のタスクとして掃除を入力した場合、図１３の左端に示すように、配置領域１１１−１と配置領域１１１−４には、それぞれ、掃除のタスクを表す画像が表示される
この状態で例えばユーザＵ１とユーザＵ３がハイタッチを行い、続けて、ユーザＵ１とユーザＵ２がハイタッチを行った場合、矢印＃１３の先に示すように、それぞれのタイミングで、配置領域１１１−１と配置領域１１１−３を直線Ｌ２で結ぶ演出が行われ、配置領域１１１−１と配置領域１１１−２を直線Ｌ３で結ぶ演出が行われる。
続けて、ユーザＵ４が、ユーザＵ１，Ｕ２，Ｕ３とそれぞれハイタッチを行った場合、各配置領域を直線で結ぶ演出が行われる。その後、タスク管理画面１０１の状態は、矢印＃１４の先に示すように、配置領域１１１−１乃至１１１−４の近傍にアイコンＩ１−１乃至Ｉ１−４が表示される状態になる。アイコンＩ１−１乃至Ｉ１−４は、それぞれ、配置領域１１１−１乃至１１１−４に表示されていた画像を縮小した画像であり、掃除のタスクが登録されていることを表す。
このように、タスクの登録は、誰と誰が担当者として登録されたのかが直感的に分かるようなUIを用いて行われる。直線で結ばれた表示領域を使っているユーザ同士が、担当者として登録されたことになる。
図１４は、タスク管理画面１０１の表示例を示す図である。
図１４に示すタスク管理画面１０１の状態は、登録済みのタスクが一覧表示されている状態を示す。操作領域１０１−１乃至１０１−４に表示されている各アイコンは、それぞれタスクを表す。上述したような表示を用いたタスクの登録が繰り返されることによって、タスク管理画面１０１には、登録済みのタスクを表すアイコンが複数表示される。操作領域１０１−１乃至１０１−４の所定の位置には、掃除のタスクを表すアイコンＩ１−１乃至Ｉ１−４がそれぞれ表示されている。
図１５、図１６は、タスク完了時の画面遷移の例を示す図である。
例えば、ユーザＵ１乃至Ｕ４がそれぞれ、掃除のタスクを終え、完了対象のタスクとして掃除を選択した場合（図９のステップＳ１８）、図１５の左端に示すように、アイコンＩ１−１乃至Ｉ１−４は、それぞれ、操作領域１０１−１乃至１０１−４の、ユーザに近い隅に表示される。
すなわち、図１４に示す状態は、ユーザＵ３だけが、完了対象のタスクを入力していない状態を表す。ユーザＵ３が完了対象のタスクとして掃除を選択した場合、アイコンＩ１−３が、図１５の左端に示すように操作領域１０１−３の隅に移動する。
完了対象のタスクの選択は、上述したようにタスク管理画面１０１に表示されたボタンや音声により行われる。掃除のタスクを表すアイコンを各表示領域の隅に移動させる操作によってタスクの入力が行われるようにしてもよい。例えば、アイコンに指の先をタッチさせ、その状態のまま手を動かすことによって、アイコンの位置が移動するような表示が行われる。
ユーザＵ１乃至Ｕ４が完了対象のタスクとして同じ掃除のタスクを選択した状態で、例えばユーザＵ２とユーザＵ３がハイタッチを行った場合、そのことが検出され（図９のステップＳ１９）、矢印＃２１の先に示すように、アイコンＩ１−２とアイコンＩ１−３を直線Ｌ１１で結ぶような演出が行われる。
このような演出も、特定の動作を行ったユーザの組み合わせに応じて行われる処理に含まれる（図９のステップＳ２０）。
続けて、ユーザＵ１とユーザＵ３がハイタッチを行い、そのことが検出された場合、矢印＃２２の先に示すように、アイコンＩ１−１とアイコンＩ１−３を直線Ｌ１２で結ぶような演出が行われる。
同様に、それぞれのユーザ同士がハイタッチを行い、そのことが検出された場合、図１６の左端に示すように、アイコンＩ１−１乃至Ｉ１−４をそれぞれ直線で結ぶ演出が行われる。
家族全員がハイタッチを行い、図１６の左端の表示が行われた後、矢印＃２３の先に示すように、アイコンＩ１−１乃至Ｉ１−４が画面の中央に移動し、各アイコンが消えるようなアニメーションが表示される。アイコンが消えるアニメーションとともに、例えば、花火のアニメーションが表示され、家族全員でタスクを終えたことを祝福するような演出が行われる。
各演出の終了後、タスク管理画面１０１の状態は、矢印＃２４の先に示すように、各ユーザのスコアを表示する状態になる。スコアは、登録済みのタスクの数に対する、完了したタスクの数の割合を表す。このような表示から、各ユーザは、終わっていないタスクの数を確認することができる。
タスク管理画面１０１の表示が以上のようにして切り替えられることにより、各ユーザは、家族とコミュニケーションをとりながら、タスクの管理を直感的に行うことができる。
タスク管理画面１０１における各タスクの表現の仕方は適宜変更可能である。例えば、各タスクの期限や各タスクの内容の重要度に応じて、タスクを表すアイコンの大きさや色が変更されるようにしてもよい。例えば、期限が近いタスクのアイコンほど大きく表示されたり、目立つ色で強調して表示されたりする。
＜＜３．８ 触れ合う動作の検出例＞＞
以上においては、主に、ハイタッチや握手などの触れ合う動作の検出がセンサ装置１３により検出されたセンサデータに基づいて行われるものとしたが、他の方法によって行われるようにしてもよい。
図１７は、情報処理システム１の他の構成例を示す図である。
図１７に示す構成のうち、図１等を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１７の例においては、テーブルＴにはタスク管理画面１０１が投影されている。ユーザＵ１乃至Ｕ４は、タスク管理画面１０１を用いて、上述したようにしてタスク管理を行う。
図１７に斜線を付して示すように、例えばテーブルＴの天板の隅などの所定の位置には電極Ａ乃至Ｄが設けられる。電極Ａ乃至Ｄは、それぞれ、センサ装置１３の代わりに設けられた検出装置２０１に接続される。検出装置２０１は、電圧の変動から、誰と誰が触れ合う動作を行ったのかを検出可能な装置である。検出装置２０１は、例えばテーブルＴの天板の裏側などに取り付けられる。
タスク管理画面１０１を用いてタスク管理を行うユーザＵ１乃至Ｕ４は、それぞれ、片方の手を近くにある電極に触れた状態でタスク管理画面１０１の操作を行い、適宜、空いている方の手を使って、ハイタッチや握手などの触れ合う動作を行う。例えば、ユーザＵ１は片方の手を電極Ａに触れ、ユーザＵ２は片方の手を電極Ｂに触れる。また、ユーザＵ３は片方の手を電極Ｃに触れ、ユーザＵ４は片方の手を電極Ｄに触れる。
検出装置２０１による検出結果は、無線により、または有線の通信を介して情報処理装置１１に送信される。検出装置２０１が送信する検出結果は、例えば情報処理装置１１の処理制御部５７に入力され、触れ合う動作を行ったユーザの特定に用いられる。
図１８は、検出装置２０１の構成を含む回路構成の例を示す図である。
図１８に示すように、検出装置２０１を構成する検出部２１１の出力端子には抵抗Ｒ１（プルアップ抵抗）が接続され、その先に、フォトカプラ（Photocoupler）リレーを構成するフォトカプラPc１乃至Pc８が設けられる。フォトカプラPc１とフォトカプラPc５、フォトカプラPc２とフォトカプラPc６、フォトカプラPc３とフォトカプラPc７、フォトカプラPc４とフォトカプラPc８はそれぞれ直列に接続される。
フォトカプラPc１とフォトカプラPc５の間には電極Ａが接続され、フォトカプラPc２とフォトカプラPc６の間には電極Ｂが接続される。また、フォトカプラPc３とフォトカプラPc７の間には電極Ｃが接続され、フォトカプラPc４とフォトカプラPc８の間には電極Ｄが接続される。点線で囲んで示すフォトカプラリレーと各電極は、抵抗Ｒ２として表される。抵抗Ｒ２は、ユーザＵ１乃至Ｕ４の体を経由した身体電気抵抗となる。
抵抗Ｒ１と抵抗Ｒ２の間の電圧が、検出部２１１の入力端子（アナログ入力端子）に入力される。検出部２１１は、入力端子に入力される電圧の変動を表す情報を情報処理装置１１に送信する。
このような構成を有する回路においては、フォトカプラリレーのオン／オフの組み合わせを所定のパターンで高速に切り替えて、電圧変動が検出される。例えば、あるタイミングでは、上段に示すフォトカプラPc１乃至Pc４のうちの１つと、下段に示すフォトカプラPc５乃至Pc８のうちの１つが同時にオンとなり、それ以外の６つのフォトカプラがオフとなるようにオン／オフが切り替えられる。
例えば、フォトカプラPc１とフォトカプラPc６がオンになっているタイミングで電圧の降下が検出された場合、そのことは、電極Ａに触れているユーザＵ１と、電極Ｂに触れているユーザＵ２が、空いている方の手で触れ合う動作を行ったことを表す。
また、フォトカプラPc３とフォトカプラPc８がオンになっているタイミングで電圧の降下が検出された場合、そのことは、電極Ｃに触れているユーザＵ３と、電極Ｄに触れているユーザＵ４が、空いている方の手で触れ合う動作を行ったことを表す。
検出部２１１は、このような電圧降下を表す情報を情報処理装置１１に送信する。情報処理装置１１においては、検出装置２０１から送信されてきた情報に基づいて、誰と誰が触れ合う動作を行ったのかが特定されることになる。
このように、電極に手を触れた状態のユーザ同士が接触したときに生じる、身体電気抵抗による電圧値の低下に基づいて、誰と誰が触れ合う動作を行ったのかが特定されるようにしてもよい。
［４．情報処理システムの適用例（ペアレンタルロックに適用した例）］
次に、情報処理システム１を、ペアレンタルロックを管理するアプリケーションである制限管理アプリケーションを実行するシステムに適用した場合について説明する。
制限管理アプリケーションを情報処理装置１１が実行することによって実現される情報処理システム１を親子で利用することにより、ペアレンタルロックを通して、親子間のコミュニケーションの促進を図ることが可能になる。例えば、子どもがお菓子を食べるという行動を、親が制限する場合について説明する。
図１９は、ペアレンタルロックを実現する情報処理システム１の構成例を示す図である。
図１９に示す構成のうち、図１等を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図２０以降においても同様である。
図１９に示す情報処理システム１においては、制御対象の機器として、扉の開閉機構を有する冷蔵庫３０１が設けられる。冷蔵庫３０１は、無線により、または有線の通信を介して情報処理装置１１と通信を行い、情報処理装置１１による制御に従って、扉の開閉を行う。冷蔵庫３０１の近傍には、デプスセンサなどよりなるセンサ装置１３が設けられる。
例えば、冷蔵庫３０１の開閉を制御することによって、冷蔵庫３０１の中にあるアイスを食べるという子どもＵ１２の行動が適宜制限される。親Ｕ１１は、ハイタッチなどの特定の動作を子どもＵ１２と一緒に行うことによって、お菓子を食べるという子どもＵ１２の行動を承認する。
反対に、親Ｕ１１は、ハイタッチなどの特定の動作を行わないことによって、お菓子を食べるという子どもＵ１２の行動を制限する。親Ｕ１１が承認者、子どもＵ１２が非承認者という関係になる。
情報処理装置１１は、センサ装置１３から送信されてきたセンサデータに基づいて、親Ｕ１１と子どもＵ１２が特定の動作を行ったことを検出した場合、扉のロックを解除するように冷蔵庫３０１を制御する。このような情報処理装置１１による制御は、冷蔵庫３０１の扉を誰が開けようとしているのかが認識され、子どもＵ１２が扉を開けようとしている場合に行われる。
図２０は、図１９の情報処理システム１を実現する情報処理装置１１の機能構成例を示すブロック図である。
図２０に示すように、情報処理装置１１には、図５の映像表示制御部５８に代えて機器制御部３１１が設けられる。機器制御部３１１は、通信部３８を制御して冷蔵庫３０１と通信を行い、処理制御部５７による判定結果に基づいて、冷蔵庫３０１の扉のロック状態の保持／解除を制御する。
図２１のフローチャートを参照して、制限管理アプリケーションを実行する情報処理装置１１の機器制御処理について説明する。
ステップＳ５１において、人検出・個人識別処理が行われる。ステップＳ５１において行われる人検出・個人識別処理は、図６のステップＳ１の処理に対応する処理である。
すなわち、センサデータとして入力されたデプス情報に基づいて、冷蔵庫３０１の周りにいるユーザが検出され、検出されたユーザの識別が行われる。人登録情報記憶部５３には、親Ｕ１１と子どもＵ１２を含む、家族を構成するそれぞれのユーザを識別するための人登録情報が記憶されている。
ステップＳ５２において、処理制御部５７は、冷蔵庫３０１の周りにいるユーザが、承認者として設定されている親Ｕ１１であるか、または、非承認者として設定されている子どもＵ１２であるかを判定する。
冷蔵庫３０１の周りにいるユーザが承認者として設定されている親Ｕ１１であるとステップＳ５２において判定された場合、ステップＳ５３においてロックが解除される。すなわち、機器制御部３１１は、冷蔵庫３０１を制御し、扉のロックを解除させる。
一方、冷蔵庫３０１の周りにいるユーザが非承認者として設定されている子どもＵ１２であるとステップＳ５２において判定された場合、ステップＳ５４において、非承認者である子どもＵ１２により、承認者である親Ｕ１１の呼び出しが行われる。ステップＳ５４において、情報処理装置１１は、親Ｕ１１が呼び出されるのを待機する。親Ｕ１１が呼び出されたことは、ステップＳ５１の人検出・個人識別処理と同様の処理によって特定される。
親Ｕ１１が呼び出された場合、ステップＳ５５において、ロック解除用の動作の検出処理が行われる。
親Ｕ１１と子どもＵ１２がロック解除用の動作を行ったことが検出された場合、ステップＳ５６において、ロック解除処理が行われる。
ステップＳ５３またはステップＳ５６においてロックが解除された後、ステップＳ５７において、処理を終了するか否かが判定される。処理を終了しないとステップＳ５７において判定された場合、ステップＳ５２に戻り、以上の処理が繰り返される。一方、処理を終了するとステップＳ５７において判定された場合、処理は終了される。
以上の処理により、ロック解除用の特定の動作を一緒に行ったユーザの組み合わせに応じた処理が行われるシステムが実現される。特定の動作を行ったユーザの組み合わせが、承認者の親Ｕ１１と非承認者の子どもＵ１２の組み合わせであるときには、ロックを解除する処理が行われ、それ以外のユーザの組み合わせであるときには、そのようなロックを解除する処理が行われない。これにより、ペアレンタルロックを通して、親子間のコミュニケーションの促進を図ることが可能になる。
＜＜４．１ 登録＞＞
情報処理システム１を用いたペアレンタルロックの前処理として、制御対象となる機器の登録、制御する機能の登録などの各種の設定が必要になる。
＜４．１．１ 制御対象機器の登録＞
制限管理アプリケーションを実行する情報処理装置１１と制御対象となる機器である冷蔵庫３０１が、ネットワークを介して接続される。情報処理装置１１は、冷蔵庫３０１と通信を行うことによって例えば冷蔵庫３０１の機能に関する情報を受信し、冷蔵庫３０１を制御するための機器情報を登録する。
＜４．１．２ ロック機能の登録＞
制限管理アプリケーションを実行する情報処理装置１１は、例えば承認者としての親Ｕ１１による操作に応じて冷蔵庫３０１と通信を行い、アイスなどの所定の物を入れた際にロックする機能の設定を冷蔵庫３０１に対して行う。音声による操作に応じてこのような設定が行われるようにしてもよい。
冷蔵庫３０１に入れる物に関係なく、ユーザ関連情報に含まれる年齢や性別などに基づいて、ロック機能が設定されるようにしてもよい。ロックを解除する条件（例えば、子どもＵ１２が担当する家事や宿題）が設定されるようにしてもよい。
＜４．１．３ 承認者、権限の指定、代理人権限の委譲＞
誰が承認者となるのか、誰が非承認者となるのか、および、承認者の権限が例えば親Ｕ１１による操作に応じて設定される。情報処理装置１１は、これらの設定内容を表す制限情報を管理する。承認者等の設定は、例えば、冷蔵庫３０１のボタンを操作することにより、または親Ｕ１１が携帯端末を操作することによって行われる。
ユーザ関連情報に含まれる年齢や性別などに基づいて、承認者や権限の内容が自動的に決定されるようにしてもよい。例えば、所定の年齢以上の人に対しては、冷蔵庫３０１の扉を開ける権限が認められる。
承認者、非承認者等の設定が音声による操作に応じて行われるようにしてもよい。承認者としての親Ｕ１１が代理人となる人を設定し、承認者の権限が代理人にも認められるようにしてもよい。
＜＜４．２ 非承認者の利用＞＞
＜４．２．１ アプリケーションの開始＞
非承認者である子どもＵ１２が冷蔵庫３０１の近くにいて、冷蔵庫３０１の扉を開けようとしていることが検出された場合に制限管理アプリケーションが起動するようにしてもよい。制限管理アプリケーションが起動した後、ステップＳ５４以降の処理が行われる。
子どもＵ１２が所定の操作を行うことによって制限管理アプリケーションを起動させることができるようにしてもよい。例えば、音声による操作によって、制限管理アプリケーションの起動が行われる。このとき、宿題や担当している家事を子どもＵ１２が行ったかなどの条件を満たしているか否かのチェックが行われるようにしてもよい。
＜４．２．２ 承認者の呼び出し＞
ステップＳ５４において行われる承認者の呼び出しは、例えば、スマートフォンを用いて、子どもＵ１２が親Ｕ１１に対して通知をかけることによって行われる。家の中にあるスピーカを用いた館内放送によって承認者の呼び出しが行われるようにしてもよい。非承認者が直接呼び出してもよい。
＜４．２．３ ロック解除用の動作検出処理＞
ステップＳ５５において行われるロック解除用の動作検出処理は、図６のステップＳ３の処理に対応する処理である。すなわち、上記２．２で説明した処理と同様の処理が行われ、呼び出された親Ｕ１１と子どもＵ１２の動作が動作検出部５４により検出される。また、検出された動作が、ロック解除用の動作であるか否かが動作判定部５５により判定され、その判定結果が処理制御部５７に出力される。
処理制御部５７は、人識別部５２により識別された親Ｕ１１と子どもＵ１２が、ロック解除用の動作を行った場合、そのことを表す情報を機器制御部３１１に出力する。
ハイタッチなどのロック解除用の動作を行う前に、親Ｕ１１が、ロック解除のための上述した条件を確認するようにしてもよい。
＜４．２．４ ロック解除処理＞
ステップＳ５６において行われるロック解除処理により、機器制御部３１１により、冷蔵庫３０１の扉のロックが解除される。これにより、子どもＵ１２は、冷蔵庫３０１の扉を開け、中のアイスを取り出すことができる。
冷蔵庫３０１の扉のロック解除の状態は、例えば一定時間だけ継続される。一定時間経過後、再度ロックされた状態になる。
＜＜４．３ データ構造＞＞
図２２は、制限情報のデータ構造の例を示す図である。
図２２に示すように、制限情報には、登録機器、承認者、非承認者、ロック解除時間、ロック解除回数、ロック解除用の動作、および、承認を得るための条件を表す情報が含まれる。承認を得るための条件は、例えば、宿題を行うこと、タスクを行うこと、日常の動作の評価（歯磨き、野菜食べる、○時までに寝るなど）である。
［５．効果と変形例］
以上のように、情報処理システム１を用いることによって、人と人による対面でのコミュニケーションの機会を増やすことが可能になる。触れ合う動作などを行うためには当然会話が必要になるから、以上の処理は、会話を行う機会をも増やすことに繋がることになる。
一緒の動作を行うことによってタスクを登録してからタスクを一緒に行い、その後、一緒の動作を行うことによってタスクを完了させるといったように一緒の行動をとる機会が多いため、情報処理システム１のユーザは達成感や協力感を得ることができる。これにより、ユーザ同士の仲がよくなったり、チームワークがよくなったりすることが期待できる。
トリガーとなる動作として各種の動作を用いることができるし、トリガーとなる動作に応じて情報処理装置１１により行われる処理として各種の処理を用いることができる。例えば、居酒屋に情報処理システム１が設けられている場合、乾杯時のグラスを突き合わせる動作をトリガーとして、写真の撮影が行われるようにしてもよい。乾杯の動作を行ったユーザの組み合わせが男性の組み合わせであるときには動画の撮影が行われ、女性の組み合わせであるときには静止画の撮影が行われるといったように、ユーザの組み合わせに応じて処理の内容を変えるようにしてもよい。
また、制限管理アプリケーションの機能により、特定の人物が特定の行動を一人で行うことを制限することが可能になる。制限の対象となる機器は、冷蔵庫に限られるものではなく、各種の機器とすることが可能である。
例えば、ゲーム機や金庫が制限の対象として用いられるようにしてもよい。金庫の扉のロック解除といったようにセキュリティに関する処理については、登録された複数人のユーザが金庫の周囲に揃ったときに扉のロックが解除されるといったような制御が行われるようにしてもよい。
＜構成の変形例＞
情報処理装置１１がネットワーク上の装置として設けられ、情報処理装置１１と映像表示装置１２、情報処理装置１１とセンサ装置１３の間の通信がそれぞれインターネットなどのネットワークを介して行われるようにしてもよい。
上述したように映像表示装置１２の機能とセンサ装置１３の機能が１つの装置に搭載されるようにするだけでなく、情報処理装置１１の機能までが、１つの装置に搭載されるようにしてもよい。
また、図５等に示す情報処理装置１１の構成が、複数の装置上で実現されるようにしてもよい。この場合、図５に示す情報処理装置１１の構成を分担して実現する複数の装置はネットワークを介して接続される。
＜その他の例＞
以上においては、特定の動作を行うユーザが、テーブルＴの周りといったように近くにいるものとしたが、互いに遠隔にいるユーザが一緒の動作を行うことによって、その動作をトリガーとした処理が行われるようにしてもよい。
例えば、ユーザＵ１とユーザＵ２が遠隔にいて、特定の動作を同じタイミングで一緒に行ったことを検出した場合、情報処理装置１１は、特定の動作を行ったユーザＵ１とユーザＵ２の組み合わせに応じた処理を行うことになる。この場合、情報処理装置１１は、ユーザＵ１がいる空間に設置されたセンサ装置１３から送信されてきたセンサデータに基づいてユーザＵ１の動作を検出し、ユーザＵ２がいる空間に設置されたセンサ装置１３から送信されてきたセンサデータに基づいてユーザＵ２の動作を検出することになる。
対面で行うものではないものの、このような処理によっても、ユーザ同士のコミュニケーションを促すことが可能になる。
同じ仮想空間にいるユーザが特定の動作を行うことをトリガーとして所定の処理が行われるようにしてもよい。
図２３は、同じ仮想空間にいるユーザの例を示す図である。
図２３の例においては、互いに離れた環境（場所）である環境Ａ乃至Ｃが示されており、それぞれの環境にユーザＡ乃至Ｃがいるものとする。仮想空間は、例えばサーバによって実現される仮想的な空間である。
例えば、ユーザＡ乃至Ｃは、VR(Virtual Reality)やAR(Augmented Reality)に対応したHMD(Head Mounted Display)を装着しているユーザや、仮想空間の映像が投影された環境にいるユーザである。ユーザＡ乃至Ｃは、それぞれが有している装置を操作して仮想空間のコミュニティに参加し、同じコミュニティに参加している他のユーザとコミュニケーションを図ることができる。
このような状況において複数のユーザが特定の動作を行うことに応じて、以上のような各種の処理が行われるようにしてもよい。
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU１００１、ROM１００２、RAM１００３は、バス１００４により相互に接続される。
バス１００４には、さらに、入出力インタフェース１００５が接続される。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
複数の人物を識別する個人識別部と、
前記複数の人物が一緒に行う特定の動作を検出する動作検出部と、
前記特定の動作が検出された場合、前記複数の人物の組み合わせに応じた処理を行う処理制御部と
を備える情報処理装置。
（２）
前記動作検出部は、近くにいる前記複数の人物が行う前記特定の動作を検出する
前記（１）に記載の情報処理装置。
（３）
前記動作検出部は、前記複数の人物が触れ合って行う動作を前記特定の動作として検出する
前記（１）または（２）に記載の情報処理装置。
（４）
前記動作検出部は、前記複数の人物が所定の言葉を発する動作を前記特定の動作として検出する
前記（１）または（２）に記載の情報処理装置。
（５）
前記個人識別部は、予め登録しておいた前記複数の人物を、センサにより検出された情報に基づいて、または、前記複数の人物による入力操作に基づいて識別する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記処理制御部は、タスク管理に用いられる管理画面において登録対象のタスクが選択され、前記特定の動作が検出された場合、前記登録対象のタスクを、前記特定の動作を行った前記複数の人物が協力して行うタスクとして登録する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記処理制御部は、登録したタスクの内容、期限、協力して行う人物、および、タスク終了時の動作を表す情報を含むタスク情報を記憶する
前記（６）に記載の情報処理装置。
（８）
前記処理制御部は、前記タスク情報により表される人物が、前記特定の動作としての、前記タスク終了時の動作を行ったことが検出された場合、前記タスク情報により表される内容のタスクが終了したものとして管理する
前記（７）に記載の情報処理装置。
（９）
前記処理制御部は、前記特定の動作が検出された場合の前記管理画面の表示が、前記複数の人物の組み合わせに応じて変わるように前記管理画面の表示を制御する
前記（６）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記処理制御部は、投影装置によって投影される前記管理画面の表示を制御する
前記（６）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記処理制御部は、制御対象となる機器のロックを解除する処理を行う
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（１２）
複数の人物を識別し、
前記複数の人物が一緒に行う特定の動作を検出し、
前記特定の動作が検出された場合、前記複数の人物の組み合わせに応じた処理を行う
ステップを含む情報処理方法。
（１３）
コンピュータに、
複数の人物を識別し、
前記複数の人物が一緒に行う特定の動作を検出し、
前記特定の動作が検出された場合、前記複数の人物の組み合わせに応じた処理を行う
ステップを含む処理を実行させるプログラム。
１ 情報処理システム， １１ 情報処理装置， １２ 映像表示装置， １３ センサ装置， ５１ 検出部， ５２ 人識別部， ５３ 人登録情報記憶部， ５４ 動作検出部， ５５ 動作判定部， ５６ 動作登録情報記憶部， ５７ 処理制御部， ５８ 映像表示制御部， ７１ 制御部， ３１１ 機器制御部

Claims (13)

  1. 複数の人物を識別する個人識別部と、
    前記複数の人物が一緒に行う特定の動作を検出する動作検出部と、
    前記特定の動作が検出された場合、前記複数の人物の組み合わせに応じた処理を行う処理制御部と
    を備える情報処理装置。
  2. 前記動作検出部は、近くにいる前記複数の人物が行う前記特定の動作を検出する
    請求項１に記載の情報処理装置。
  3. 前記動作検出部は、前記複数の人物が触れ合って行う動作を前記特定の動作として検出する
    請求項１に記載の情報処理装置。
  4. 前記動作検出部は、前記複数の人物が所定の言葉を発する動作を前記特定の動作として検出する
    請求項１に記載の情報処理装置。
  5. 前記個人識別部は、予め登録しておいた前記複数の人物を、センサにより検出された情報に基づいて、または、前記複数の人物による入力操作に基づいて識別する
    請求項１に記載の情報処理装置。
  6. 前記処理制御部は、タスク管理に用いられる管理画面において登録対象のタスクが選択され、前記特定の動作が検出された場合、前記登録対象のタスクを、前記特定の動作を行った前記複数の人物が協力して行うタスクとして登録する
    請求項１に記載の情報処理装置。
  7. 前記処理制御部は、登録したタスクの内容、期限、協力して行う人物、および、タスク終了時の動作を表す情報を含むタスク情報を記憶する
    請求項６に記載の情報処理装置。
  8. 前記処理制御部は、前記タスク情報により表される人物が、前記特定の動作としての、前記タスク終了時の動作を行ったことが検出された場合、前記タスク情報により表される内容のタスクが終了したものとして管理する
    請求項７に記載の情報処理装置。
  9. 前記処理制御部は、前記特定の動作が検出された場合の前記管理画面の表示が、前記複数の人物の組み合わせに応じて変わるように前記管理画面の表示を制御する
    請求項６に記載の情報処理装置。
  10. 前記処理制御部は、投影装置によって投影される前記管理画面の表示を制御する
    請求項６に記載の情報処理装置。
  11. 前記処理制御部は、制御対象となる機器のロックを解除する処理を行う
    請求項１に記載の情報処理装置。
  12. 複数の人物を識別し、
    前記複数の人物が一緒に行う特定の動作を検出し、
    前記特定の動作が検出された場合、前記複数の人物の組み合わせに応じた処理を行う
    ステップを含む情報処理方法。
  13. コンピュータに、
    複数の人物を識別し、
    前記複数の人物が一緒に行う特定の動作を検出し、
    前記特定の動作が検出された場合、前記複数の人物の組み合わせに応じた処理を行う
    ステップを含む処理を実行させるプログラム。
JP2017031076A 2017-02-22 2017-02-22 情報処理装置、情報処理方法、プログラム Pending JP2018136766A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017031076A JP2018136766A (ja) 2017-02-22 2017-02-22 情報処理装置、情報処理方法、プログラム
PCT/JP2018/004291 WO2018155199A1 (ja) 2017-02-22 2018-02-08 情報処理装置、情報処理方法、プログラム
US16/485,884 US20200019233A1 (en) 2017-02-22 2018-02-08 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017031076A JP2018136766A (ja) 2017-02-22 2017-02-22 情報処理装置、情報処理方法、プログラム

Publications (1)

Publication Number Publication Date
JP2018136766A true JP2018136766A (ja) 2018-08-30

Family

ID=63253242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017031076A Pending JP2018136766A (ja) 2017-02-22 2017-02-22 情報処理装置、情報処理方法、プログラム

Country Status (3)

Country Link
US (1) US20200019233A1 (ja)
JP (1) JP2018136766A (ja)
WO (1) WO2018155199A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023148800A1 (ja) * 2022-02-01 2023-08-10 日本電気株式会社 制御装置、制御システム、制御方法及びプログラム
WO2023162499A1 (ja) * 2022-02-24 2023-08-31 株式会社Ｎｔｔドコモ 表示制御装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11281439B2 (en) * 2018-07-25 2022-03-22 Avaya Inc. System and method for creating a contextualized after call workflow
US20220180257A1 (en) * 2020-12-08 2022-06-09 Avaya Management L.P. Dynamic generation of custom post-call workflow
CN113596418B (zh) * 2021-07-06 2024-07-12 北京云思智学科技有限公司 辅助批改的投影方法、装置、系统和计算机程序产品

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070046643A1 (en) * 2004-08-06 2007-03-01 Hillis W Daniel State-Based Approach to Gesture Identification
US20070112926A1 (en) * 2005-11-03 2007-05-17 Hannon Brett Meeting Management Method and System
US9325749B2 (en) * 2007-01-31 2016-04-26 At&T Intellectual Property I, Lp Methods and apparatus to manage conference call activity with internet protocol (IP) networks
EP2201761B1 (en) * 2007-09-24 2013-11-20 Qualcomm Incorporated Enhanced interface for voice and video communications
US20090187834A1 (en) * 2008-01-17 2009-07-23 Disney Enterprises, Inc. Method and system for implementing a single user computer application in a multi-user session
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
EP3734426A1 (en) * 2012-11-09 2020-11-04 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
JP2015088086A (ja) * 2013-11-01 2015-05-07 ソニー株式会社 情報処理装置および情報処理方法
US20150249718A1 (en) * 2014-02-28 2015-09-03 Chris Huybregts Performing actions associated with individual presence
CN106933465B (zh) * 2015-12-31 2021-01-15 北京三星通信技术研究有限公司 一种基于智能桌面的内容显示方法和智能桌面终端
US10395220B2 (en) * 2016-04-20 2019-08-27 International Business Machines Corporation Auto-generation of actions of a collaborative meeting

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023148800A1 (ja) * 2022-02-01 2023-08-10 日本電気株式会社 制御装置、制御システム、制御方法及びプログラム
WO2023162499A1 (ja) * 2022-02-24 2023-08-31 株式会社Ｎｔｔドコモ 表示制御装置

Also Published As

Publication number Publication date
US20200019233A1 (en) 2020-01-16
WO2018155199A1 (ja) 2018-08-30

Similar Documents

Publication Publication Date Title
WO2018155199A1 (ja) 情報処理装置、情報処理方法、プログラム
US20230082492A1 (en) User interface for managing controllable external devices
US10311383B2 (en) Device, method, and graphical user interface for meeting space management and interaction
Shafer et al. Interaction issues in context-aware intelligent environments
KR102179470B1 (ko) 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스
US11937021B2 (en) Camera and visitor user interfaces
US20180173404A1 (en) Providing a user experience with virtual reality content and user-selected, real world objects
CN105940411B (zh) 在个人设备上显示隐私信息
US11194437B2 (en) Information processing device and information processing method
CN110471582A (zh) 用于控制或呈现电子设备上的设备使用的用户界面
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN109219796A (zh) 实时视频上的数字触摸
CN110460799A (zh) 创意相机
CN108702540A (zh) 多用户设备的基于运动的配置
CN109690540B (zh) 虚拟环境中的基于姿势的访问控制
CN103076967A (zh) 处理用于改变焦点的手势
CN110457096A (zh) 多参与者实时通信用户界面
CN109828732A (zh) 一种显示控制方法及终端设备
CN105137788B (zh) 提供ui的显示装置和系统及提供显示装置的ui的方法
CN109002340A (zh) 一种锁屏方法及电子设备
US20220253808A1 (en) Virtual environment
US20230262100A1 (en) Information processing device, information processing method, program, and system
JP6055151B1 (ja) イベントを管理するためのシステム、方法、及びプログラム
Chopra Evaluating User Preferences for Augmented Reality Interactions for the Internet of Things
CN110456935A (zh) 用于调整通知的提供的设备和方法