JP2013162284A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2013162284A
JP2013162284A JP2012021887A JP2012021887A JP2013162284A JP 2013162284 A JP2013162284 A JP 2013162284A JP 2012021887 A JP2012021887 A JP 2012021887A JP 2012021887 A JP2012021887 A JP 2012021887A JP 2013162284 A JP2013162284 A JP 2013162284A
Authority
JP
Japan
Prior art keywords
screen
information
notification
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012021887A
Other languages
English (en)
Other versions
JP6065369B2 (ja
Inventor
Yusuke Miyazawa
悠介 宮沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012021887A priority Critical patent/JP6065369B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to BR112014018422A priority patent/BR112014018422A8/pt
Priority to TW102102477A priority patent/TW201346700A/zh
Priority to EP13707452.2A priority patent/EP2810155B1/en
Priority to KR20147014416A priority patent/KR20140130662A/ko
Priority to CN201380006749.0A priority patent/CN104081335A/zh
Priority to PCT/JP2013/000312 priority patent/WO2013114821A1/en
Priority to RU2014131106A priority patent/RU2014131106A/ru
Priority to US14/357,225 priority patent/US10445059B2/en
Publication of JP2013162284A publication Critical patent/JP2013162284A/ja
Application granted granted Critical
Publication of JP6065369B2 publication Critical patent/JP6065369B2/ja
Priority to US16/599,728 priority patent/US20200050428A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】現在表示されている画面以外に関連づけられた通知情報を知らせる通知音の定位情報を生成することができる。
【解決手段】情報処理装置は、現在表示されている第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向を取得する操作方向取得部と、上記操作方向に応じた上記通知音の発生位置を決定する定位情報生成部と、を有する。
【選択図】図1

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、情報処理技術の進展に伴い、ユーザの扱う情報は増大している。このため、如何にユーザが必要な情報を抽出するか、どうやってユーザに情報を提示するかが大きな関心事となっている。
情報の提示方法としては、画面表示を用いる提示方法が広く用いられている。ユーザの用いるデバイスの変化や提供する情報の変化にともなって、画面表示による情報の提供方法については、多くの人が提案してきた。しかし、画面表示を用いた情報の提示にも限界がある。そこで、音声を用いた情報の提示方法が提案されてきている。
例えば、特許文献1は、装置の現在位置から、予め設定された位置までの距離及び方向に基づいて、方向性を持った音声データを出力する方法を開示している。この装置により、聴覚のみで方向の指示を与えることができる。
特開2008−151766号公報
そこで本開示では、音声により情報を提供する場面の一例として、現在表示されている画面以外に関連づけられた通知情報を知らせる通知音の定位情報の生成について提案する。
本開示によれば、第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向を取得する操作方向取得部と、上記操作方向に応じて、上記通知音の音源位置を示す定位情報を生成する定位情報生成部と、を有する情報処理装置が提供される。
かかる構成によれば、通知音と関連づけられた第2の画面を表示させるための操作方向に応じて、通知音の定位情報が生成される。従って、この定位情報に従って出力される通知音を聞いたユーザは、第2の画面を表示させるための操作方向を認識することができる。
また、本開示によれば、第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向を取得することと、上記操作方向に応じて上記通知音の音源位置を示す定位情報を生成することと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータを、第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向を取得する操作方向取得部と、上記操作方向に応じて上記通知音の音源位置を示す定位情報を生成する定位情報生成部と、を有する情報処理装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、現在表示されている画面以外に関連づけられた通知情報を知らせる通知音の定位情報を生成することができる。
本開示の一実施形態に係る情報処理装置に実装される機能の概要を示す説明図である。 同実施形態に係る情報処理装置の機能構成を示すブロック図である。 同実施形態に係る情報処理装置の通知動作を示すフローチャートである。 同実施形態に係る情報処理装置の第1の通知例を説明するための説明図である。 同実施形態に係る情報処理装置の第1の通知例において、スクロール操作がされたときの様子を説明するための説明図である。 同実施形態に係る情報処理装置の第2の通知例を説明するための説明図である。 同実施形態に係る情報処理装置の第3の通知例を説明するための説明図である。 同実施形態に係る情報処理装置の第4の通知例において、通知画面の生成を説明するための説明図である。 図8に示される通知画面に対する操作を説明するための説明図である。 同実施形態に係る情報処理装置の第4の通知例において、通知画面の生成位置の制限について説明するための説明図である。 図10に示される通知画面に対する操作を説明するための説明図である。 同実施形態に係る情報処理装置の第4の通知例において、通知音とともに誘導情報を表示させる変形例を説明するための説明図である。 同実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 従来のアラート通知方法の一例を示す説明図である。 従来のアラート通知方法の他の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.機能構成
3.通知動作
4.第1の通知例(ホーム画面におけるアプリケーションからの通知)
5.第2の通知例(画面遷移方向の通知)
6.第3の通知例(バッファリング完了の通知)
7.第4の通知例(通知情報を持つアプリケーションの起動画面を生成)
8.ハードウェア構成例
<1.概要>
まず、図1、図14、及び図15を参照しながら、本開示において提案する技術の概要を説明する。図1は、本開示の一実施形態に係る情報処理装置に実装される機能の概要を示す説明図である。図14は、従来のアラート通知方法の一例を示す説明図である。図15は、従来のアラート通知方法の他の一例を示す説明図である。
スマートフォンの普及により、アプリケーションをダウンロードすることによって情報処理装置の機能をユーザに合わせてカスタマイズすることが一般的になってきている。また、マルチタスク対応のデバイスが普及しており、複数の機能を同時に起動することができるようになってきた。また、ディスプレイの表示領域は物理的に限られている。このため、スクロール又は画面の切替操作により、表示領域が変更される。
ところで、例えばアプリケーションが何らかのトリガにより発生した通知情報をユーザに知らせる方法が様々提案されている。例えば、図14に示されるように、スマートフォンのホーム画面は、アプリケーションのアイコンが並べられていることが多い。このようなホーム画面において、通知情報を有するアプリケーションのアイコンに通知情報の件数を数字で示すことにより通知情報があること及び通知情報の件数をユーザに知らせることができる。
また、現在表示している画面以外からの通知情報が発生した場合に通知情報をユーザに知らせる方法の一例が図15に示される。図15の方法によれば、表示される画面上に通知情報を含むポップアップウィンドウWが表示される。このポップアップウィンドウWは、例えば通知情報に対するアクションを受付けるボタンが含まれていてよい。ユーザは、このボタンを操作することによって通知情報の詳細を確認することができてもよい。
しかし、図15に示した方法では、ユーザは元々行っていた操作を中断しなければならなかった。またバックグランドで行われている処理を中断してしまうこともあった。ユーザの操作性を重視すれば、このようにユーザの所望する操作が中断されることは望ましくない。そこで、本開示では音声を用いることにより、ユーザの所望する操作を中断させることなく通知情報をユーザに提供する方法を提案する。
例えば図1に示されるように、本開示では、指向性を有する音声を用いることによって、通知情報をユーザに提供する。ここで、現在表示している画面の右側の画面に設定されたアイコンの示すアプリケーションが通知情報を有するとき、右側から通知音が聞こえてくるようにする。かかる構成により、通知音の方向によって、ユーザは通知情報を取得するための操作の方向を知ることができる。以下、このような機能を実現するための情報処理装置について説明する。
<2.機能構成>
ここで図2を参照しながら、本開示の一実施形態に係る情報処理装置10の機能構成について説明する。図2は、同実施形態に係る情報処理装置の機能構成を示すブロック図である。
情報処理装置10は、例えばスマートフォンを含む携帯電話、PHS(Personal Handyphone System)、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器、撮像装置、ナビゲーション装置、PC(Personal Computer)、家庭用映像処理装置(DVDレコーダ、ビデオデッキなど)、家庭用ゲーム機器、家電機器などの情報処理装置であってよい。
情報処理装置10は、操作部105と、操作情報取得部110と、表示部115と、表示制御部120と、音声出力部125と、音声出力制御部130とを主に有する。
(操作部105)
操作部105は、ユーザが所望の操作をするための入力信号を生成する機能を有する。操作部105は、例えばタッチパネル、マウス、キーボード、ボタン、マイク、スイッチ、レバー、及び各種センサなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成及び出力する入力制御回路などから構成されてよい。例えば操作部105は、ユーザがタッチパネルに対して行う操作を検出して当該操作に基づいて入力信号を生成及び出力することができる。また操作部105は、傾きセンサの取得する情報処理装置10の筐体の傾き情報に基づいて入力信号を生成及び出力することができる。
(操作情報取得部110)
操作情報取得部110は、ユーザにより入力された操作情報を取得する機能を有する。例えば操作情報取得部110は、操作部105から出力された入力信号を操作情報として取得することができる。情報処理装置10は、操作情報取得部110により取得された操作情報に基づいて動作することができる。なお、操作情報取得部110は、第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向を取得する操作方向取得部の一例である。
(表示部115)
表示部115は、出力装置の一例であり、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイ装置などの表示装置であってよい。表示部115は、表示制御部120の制御に従って動作することができる。
(表示制御部120)
表示制御部120は、ユーザに提供する表示画面の内容を制御する機能を有する。また表示制御部120は、操作情報取得部110により取得された操作情報に基づいて、表示画面の内容を制御することができる。例えば表示制御部120は、ユーザが行ったスクロール操作に応じて表示画面をスクロールさせることができる。また表示制御部120は、操作情報に応じて表示画面を拡大、縮小、又は画面遷移させることができる。また表示制御部120は、通知情報の発生が検知されると、通知情報と関連する画面を生成する生成部の一例である。表示制御部120は、例えばメールアプリケーションにおいて、新着メールの受信を知らせる通知情報が発生したときに、新着メールを通知する通知画面を起動して、ユーザが現在表示している画面からスクロール操作を行うと通知画面が表示されるように配置することができる。なおこのとき通知画面は、メールの本文を含む本文表示画面であってもよく、また受信メールの一覧画面であってもよい。また後述されるように、表示制御部120は、通知情報に関連する画面を表示させるための操作方向を示す誘導情報を表示させる誘導情報表示制御部の一例であってよい。また表示制御部120は、通知情報の発生が検知されると、通知情報と関連する第2の画面を生成する生成部の一例であってよい。
(音声出力部125)
音声出力部125は、音声信号を出力する機能を有する。音声出力部125は、例えばスピーカであってよい。また音声出力部125は、ヘッドホンなどの音声出力装置に音声信号を出力する出力端子であってもよい。音声出力部125は、音声出力制御部130の制御に従って動作することができる。なお、ここで用いられる音声出力装置は、音の定位情報に従って立体音響を出力することができる。
(音声出力制御部130)
音声出力制御部130は、ユーザに対する音声の出力を制御する機能を有する。また音声出力制御部130は、音源位置を示す定位情報を生成する定位情報生成部の一例である。音声出力制御部130は、第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向に応じて、通知音の音源位置を示す定位情報を生成することができる。このとき音声出力制御部130は、第1の画面と第2の画面との間の距離に応じて定位情報を生成することができる。例えば第1の画面は、現在表示されている画面であってよい。現在表示されている画面が変更されるたびに第1の画面と第2の画面との間の距離は変動する。このため、音声出力制御部130は、現在表示されている画面に変更が加えられる度に定位情報を更新することができる。音声出力制御部130は、音源位置が近いほど音量が大きくなるように音声の出力を制御することができる。
音声出力制御部130は、通知音の音源位置を単純に通知音が関連づけられた画面を表示させるための操作方向に応じた方向に固定して位置させてよい。また人間は、単純に固定された位置からの音声を聞くよりも音源位置が変動する方が音声の方向を把握しやすいという特性を有する。このため、音声出力制御部130は、例えば通知音の音源位置を変動させた後、終着点を通知音が関連づけられた画面を表示させるための操作方向に応じた方向としてもよい。例えば現在表示されている画面において、右から左へのスクロール操作に応じて通知音が関連づけられた画面が表示される場合に、音声出力制御部130は、通知音の音源位置をユーザから右に固定する定位情報を生成してもよい。またこのとき、音声出力制御部130は、通知音の音源位置を変動させた後、ユーザから右側に固定されるように定位情報を生成してもよい。
また音声出力制御部130は、情報処理装置10の傾きに応じて表示画面の向きが変更される場合には、この表示画面の向きの変更に応じて通知音の音源位置を変動させてよい。この音声出力制御部130は、通知音に立体音響処理を施す音響処理部の一例であってよい。
音声出力制御部130の生成する定位情報については、後に複数の場面を挙げて詳述される。なお、ここで通知音は、例えばメールの受信を知らせる通知音であってもよいがかかる例に限定されない。例えば動画像を再生する再生画面から動画像のリスト画面に遷移するときに、遷移の方向を通知するための通知音として、動画像の音声が用いられてもよい。この場合における動画像の音声も通知音に含まれる。
以上、本実施形態に係る情報処理装置10の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU(Central Processing Unit)などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したROM(Read Only Memory)やRAM(Random Access Memory)などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置10の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<3.通知動作>
次に、図3を参照しながら本開示の一実施形態に係る情報処理装置の通知動作について説明する。図3は、同実施形態に係る情報処理装置の通知動作を示すフローチャートである。
まず、情報処理装置10は、通知情報があるか否かを判断する(S100)。例えば情報処理装置10内部で動作するアプリケーションが何らかのトリガを検知することによりユーザに通知を行う設定がなされているとき、情報処理装置10は、通知のトリガが検知されたか否かに基づいて、通知情報があるか否かを判断することができる。
ステップS100の判断において、通知情報があると判断されたとき、音声出力制御部130は、通知情報を知らせる通知音の定位情報を生成する(S105)。そして、音声出力制御部130は、生成された定位情報に基づいて、通知音を出力させる(S107)。
次に表示制御部120は、表示画面の変化があるか否かを判断する(S110)。ここで表示画面の変化があると判断された場合には、音声出力制御部130は、定位情報を更新する(S115)。一方、ステップS110の判断において、表示画面の変化がないと判断された場合には、ステップS115の処理は省略される。
次に、音声出力制御部130は、所定時間が経過したか否かを判断する(S120)。ここで用いられる所定時間は、通知音を出力する時間として予め定められた時間であってよい。例えば所定時間は、ユーザにより情報処理装置10に予め設定された値であってよい。或いは所定時間は、アプリケーションの所定値として予め設定された値であってもよい。
ステップS120の判断において、所定時間が経過したと判断された場合には、音声出力制御部130は、通知音の出力を停止し(S125)、ステップS100から処理が繰り返される。一方、ステップS120の判断において、所定時間がまだ経過していないと判断された場合には、ステップS110の処理に戻り、所定時間が経過するまで定位情報の更新が繰り返されながら通知音が出力される。
以上説明したように、通知情報を知らせる通知音は、通知情報が関連づけられた画面と現在表示されている画面との位置関係に基づいて指向性を有する音声信号として出力される。かかる構成により、ユーザは、通知音の聞こえてくる方向から通知情報が関連づけられた画面を表示させるための操作方向を直感的に知ることができる。以下、複数の具体的な場面の例を挙げて、情報処理装置10の通知動作について説明する。
<4.第1の通知例(ホーム画面におけるアプリケーションからの通知)>
次に、図4及び図5を参照しながら、本開示の一実施形態に係る情報処理装置の第1の通知例について説明する。図4は、同実施形態に係る情報処理装置の第1の通知例を説明するための説明図である。図5は、同実施形態に係る情報処理装置の第1の通知例において、スクロール操作がされたときの様子を説明するための説明図である。
例えばホーム画面が、スクロール操作に応じて表示される画面SC1、画面SC2、画面SC3、及び画面SC4の4つの画面を含む場合について考えてみる。この4つの画面のうち、図4に示されるように画面SC2が表示されているときに、画面SC4に表示されるアイコン30により示されるアプリケーションの通知情報の発生が検知されると、音声出力制御部130は、現在表示されている画面SC2から画面SC4を表示させるための操作方向に基づいて、通知情報を知らせる通知音の定位情報を生成する。この場合、音声出力制御部130は、通知音が右側から聞こえるように定位情報を生成することができる。
また音声出力制御部130は、現在表示されている画面の表示状態を変更する操作が検知されると、この操作に応じて定位情報を更新することができる。例えば図4に示される状態において、右から左へスクロール操作が行われ、図5に示されるように画面SC3が現在表示されている画面となった場合を考えてみる。このとき、音声出力制御部130は、現在表示されている画面SC3から通知情報が関連づけられた画面SC4を表示させるための操作方向及び画面SC3と画面SC4との間の距離に基づいて定位情報を生成することができる。この場合、図4に示される状態よりも図5に示される状態の方が通知音が大きく聞こえるように制御されることが望ましい。かかる構成により、ユーザは、通知音の聞こえる方向により通知音が関連づけられた画面SC4を表示させるための操作方向を知ることができる。またユーザは、通知音の音量により現在表示されている画面から通知音が関連づけられた画面までの距離を知ることができる。
<5.第2の通知例(画面遷移方向の通知)>
次に、図6を参照しながら、本開示の一実施形態に係る情報処理装置の第2の通知例について説明する。図6は、同実施形態に係る情報処理装置の第2の通知例を説明するための説明図である。
ここでは、動画像を再生している場合において、「戻る」ボタンを押下することにより画面が横方向に遷移した場合の例が示される。このとき音声出力制御部130は、画面の遷移に合わせて音源位置を変化させることで音のアニメーションを提供することができる。このときユーザは、動画像を再生する画面が右側に遷移すると共に右側に通知音が遠ざかっていくように聞こえる。これにより、再生している画面が遷移した方向と,戻るボタンとの位置関係をユーザに示すことができる。このとき通知音には、例えば動画像の音声が用いられてもよい。或いは、通知音には別途のアラート音が用いられてもよい。
<6.第3の通知例(バッファリング完了の通知)>
次に、図7を参照しながら、本開示の一実施形態に係る情報処理装置の第3の通知例について説明する。図7は、同実施形態に係る情報処理装置の第3の通知例を説明するための説明図である。
通知音のアニメーションは、動画像の再生においてバッファリングの完了通知に用いられてもよい。例えば図7に示されるように、動画像再生画面SC21において、動画像のバッファリングにより動画像が再生できない状態となった場合を考える。こここでユーザが「戻る」ボタン又はスクロール操作などにより、動画像一覧画面SC22を表示させたとき、ユーザはこの動画像一覧画面SC22を操作することができる。そして、動画像のバッファリングにより動画像が再生できる状態となると、音声出力制御部130は、通知音が動画像再生画面SC21が遷移した方向から聞こえるように通知音を出力させることができる。ここでは音声出力制御部130は、通知音が右側から聞こえてくるように通知音の出力を制御することができる。ここで用いられる通知音は、アラート音であってもよいし動画像再生画面SC21により再生される動画像の音声であってもよい。
これによりユーザは、バッファリングの完了を知ることができる。またユーザは、動画像再生画面SC21と動画像一覧画面SC22との間をスクロール操作により遷移することができる場合に、スクロール操作の方向を知る(思い出す)ことができる。
<7.第4の通知例(通知情報を持つアプリケーションの起動画面を生成)>
次に、図8〜図12を参照しながら、本開示の一実施形態に係る情報処理装置の第4の通知例について説明する。図8は、同実施形態に係る情報処理装置の第4の通知例において、通知画面の生成を説明するための説明図である。図9は、図8に示される通知画面に対する操作を説明するための説明図である。図10は、同実施形態に係る情報処理装置の第4の通知例において、通知画面の生成位置の制限について説明するための説明図である。図11は、図10に示される通知画面に対する操作を説明するための説明図である。図12は、同実施形態に係る情報処理装置の第4の通知例において、通知音とともに誘導情報を表示させる変形例を説明するための説明図である。
上記の第1〜第3の通知例は、元々起動されていた画面からのアラート通知の例であった。ここでは、起動していないアプリケーションからの通知例について考えてみる。起動していないアプリケーションから通知があった場合に、通知に関連する画面を起動して自動的に配置することにより、ユーザは少ない操作で通知に関連する情報を確認することができるようになる。このとき、通知と共に通知に関連する画面が表示されてしまったのではユーザ操作を邪魔してしまうであろう。そこで、ここでは現在表示されている画面から、1ステップの操作(例えばいずれかの方向へのスクロール操作)により起動した画面が表示されるように、画面を配置する。
ここで、自動的に画面が配置されただけでは、ユーザはいずれの方向に操作を行えばよいか知ることができない。そこで本技術では、自動的に配置した方向を知らせる通知音を出力することによりユーザに操作方向を直感的に知らせることができる。
図8に示されるように、状態1において動画像再生画面が表示されている。ここで通知情報としてメールの受信が発生した場合に、表示制御部120は、状態2に示されるように、動画像再生画面の上下左右いずれかにメール表示画面を配置してよい。このとき音声出力制御部130は、配置された画面から指向性を持った通知音の出力を制御することができる。なおここで状態2A、状態2B、状態2C、状態2Dを区別せずまとめて指す場合に状態2と言う。以下、同様である。例えば状態2Aでは、現在表示されている画面の右側にメール表示画面が配置される。このときユーザは、右側から通知音が聞こえる。また状態2Bでは、現在表示されている画面の左側にメール表示画面が配置される。このときユーザは、左側から通知音が聞こえる。また状態2Cでは、現在表示されている画面の下側にメール表示画面が配置される。このときユーザは、下側又は後方から通知音が聞こえる。また状態2Dでは、現在表示されている画面の上側にメール表示画面が配置される。このときユーザは上側又は前方から通知音が聞こえる。なお、ここで配置される画面はメールの本文を含む表示画面としたが、本技術はかかる例に限定されない。通知と関連する画面は例えばメールの一覧画面であってもよい。
また図9に示されるように、状態2の画面からスクロール操作を行うと、状態3に示されるように、メール表示画面が表示部115に表示される。このように、通知に関する画面を自動的に配置することによって、1ステップの操作で通知情報を確認することができる。このとき、通知音の音源位置をこの通知に関する画面を表示させるための操作方向に応じて配置することにより、ユーザは通知音の方向から通知に関する画面が配置された位置、及びこの画面を表示させるための操作方向を知ることができる。
さらに、表示制御部120は、この通知に関する画面を配置する位置を制限することができる。例えば表示制御部120は、通知情報が発生したときに表示させれていた画面が受付けることのできる操作方向に基づいて、通知に関する画面を配置する位置を制限してもよい。例えば図10を参照すると、状態11において表示されている画面が画面の上下方向にスクロール操作することができる画面である場合を考えてみる。
このとき、表示制御部120が上下方向のスクロールによりメール表示画面が表示されるようにメール表示画面を配置すると、ユーザは、意図せずにメール表示画面を表示させてしまうかもしれない。すなわち、上下方向のスクロール操作が、状態11において表示されていた動画像再生画面内におけるスクロール操作であるか、メール表示画面を表示させるためのスクロール操作であるかをユーザが判別しづらい。そこで、表示制御部120は、動画像再生画面において受付けられている操作方向である上下方向と直交する方向の操作によりメール表示画面が表示されるように、メール表示画面を配置することができる(状態12)。
図11に示されるように、この状態12に示される画面においても、ユーザは聞こえてきた通知音の方向から操作方向を判断してスクロール操作を行うことにより、メール表示画面を表示させることができる(状態13)。
また、通知情報を表示させるための操作方向は、通知音に加えて所定方向へのスクロール操作を誘導する誘導情報50を表示することによりユーザに提供されてよい。例えば図12に示されるように、状態21においてユーザが地図アプリケーションを操作していたとする。このときメール受信の通知情報が発生すると、表示制御部120は、メール表示画面を現在表示されている画面の左側に配置する(状態22)。このとき、音声出力制御部130は、通知音の音源位置を左側とする。また、表示制御部120は、さらに誘導情報50を表示画面上に重畳して表示させることができる。例えば誘導情報50は、図12に示されるようにメール表示画面を表示させるための操作方向を示す矢印であってよい。ユーザがこの誘導情報50に示される方向にスクロール操作を行うと、メール表示画面が表示される(状態24)。
<8.ハードウェア構成例>
次に、図13を参照しながら、本開示の一実施形態に係る情報処理装置のハードウェア構成例について説明する。図13は、同実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
ここで、情報処理装置10の構成の一例について説明する。図13を参照すると、情報処理装置10は、例えば、電話網アンテナ817と、電話処理部819と、GPSアンテナ821と、GPS処理部823と、Wifiアンテナ825と、Wifi処理部827と、地磁気センサ829と、加速度センサ831と、ジャイロセンサ833と、気圧センサ835と、撮像部837と、CPU(Central Processing Unit)839と、ROM(Read Only Memory)841と、RAM(Random Access Memory)843と、操作部847と、表示部849と、デコーダ851と、スピーカ853と、エンコーダ855と、マイク857と、記憶部859と、接続ポート861とを有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよいことは言うまでもない。
(電話網アンテナ817)
電話網アンテナ817は、通話及び通信用の携帯電話網と無線で接続する機能を有するアンテナの一例である。電話網アンテナ817は、携帯電話網を介して受信される通話信号を電話処理部819に供給することができる。
(電話処理部819)
電話処理部819は、電話網アンテナ817により送受信される信号に対する各種の信号処理を行う機能を有する。電話処理部819は、例えばマイク857を介して入力され、エンコーダ855によりエンコードされた音声信号に対して各種の信号処理を行い、電話網アンテナ817に供給することができる。また電話処理部819は、電話網アンテナ819から供給される音声信号に対して各種の信号処理を行い、デコーダ851に供給することができる。
(GPSアンテナ821)
GPSアンテナ821は、測位衛星からの信号を受信するアンテナの一例である。GPSアンテナ821は、複数のGPS衛星からのGPS信号を受信することができ、受信したGPS信号をGPS処理部823に入力する。
(GPS処理部823)
GPS処理部823は、測位衛星から受信された信号に基づいて位置情報を算出する算出部の一例である。GPS処理部823は、GPSアンテナ821から入力された複数のGPS信号に基づいて現在の位置情報を算出し、算出した位置情報を出力する。具体的には、GPS処理部823は、GPS衛星の軌道データからそれぞれのGPS衛星の位置を算出し、GPS信号の送信時刻と受信時刻との差分時間に基づいて、各GPS衛星から当該情報処理装置10までの距離をそれぞれ算出する。そして、算出された各GPS衛星の位置と、各GPS衛星から当該情報処理装置10までの距離とに基づいて、現在の3次元位置を算出することができる。なお、ここで用いられるGPS衛星の軌道データは、例えばGPS信号に含まれていてもよい。或いは、GPS衛星の軌道データは、通信アンテナ825を介して外部のサーバから取得されてもよい。
(Wifiアンテナ825)
Wifiアンテナ825は、例えば無線LAN(Local Area Network)通信網との通信信号をWifiの仕様に従って送受信する機能を有するアンテナである。Wifiアンテナ825は、受信した信号を通信処理部827に供給することができる。
(Wifi処理部827)
Wifi処理部827は、Wifiアンテナ825から供給された信号に各種の信号処理を行う機能を有する。Wifi処理部827は、供給されたアナログ信号から生成したデジタル信号をCPU839に供給することができる。
(地磁気センサ829)
地磁気センサ829は、地磁気を電圧値として検出するセンサである。地磁気センサ829は、X軸方向、Y軸方向、及びZ軸方向の地磁気をそれぞれ検出する3軸地磁気センサであってよい。地磁気センサ829は、検出した地磁気データをCPU839に供給することができる。
(加速度センサ831)
加速度センサ831は、加速度を電圧値として検出するセンサである。加速度センサ831は、X軸方向に沿った加速度、Y軸方向に沿った加速度、及びZ軸方向に沿った加速度をそれぞれ検出する3軸加速度センサであってよい。加速度センサ831は、検出した加速度データをCPU839に供給することができる。
(ジャイロセンサ833)
ジャイロセンサ833は、物体の角度や角速度を検出する計測器の一種である。このジャイロセンサ833は、X軸、Y軸、及びZ軸周りの回転角の変化する速度(角速度)を電圧値として検出する3軸ジャイロセンサであってよい。ジャイロセンサ833は、検出した角速度データをCPU839に供給することができる。
(気圧センサ835)
気圧センサ835は、周囲の気圧を電圧値として検出するセンサである。気圧センサ835は、気圧を所定のサンプリング周波数で検出し、検出した気圧データをCPU839に供給することができる。
(撮像部837)
撮像部837は、CPU839の制御に従い、レンズを介して静止画像又は動画像を撮影する機能を有する。撮像部837は、撮影した画像を記憶部859に記憶させてもよい。
(CPU839)
CPU839は、演算処理装置及び制御装置として機能し、各種プログラムに従って携帯端末30内の動作全般を制御する。またCPU839は、マイクロプロセッサであってもよい。このCPU839は、各種プログラムに従って様々な機能を実現することができる。
(ROM841,RAM843)
ROM841は、CPU839が使用するプログラムや演算パラメータ等を記憶することができる。RAM843は、CPU839の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶することができる。
(操作部847)
操作部847は、ユーザ5が所望の操作をするための入力信号を生成する機能を有する。操作部847は、例えばタッチセンサ、マウス、キーボード、ボタン、マイク、スイッチ及びレバーなどユーザ5が情報を入力するための入力部と、ユーザ5による入力に基づいて入力信号を生成し、CPU839に出力する入力制御回路などから構成されてよい。
(表示部849)
表示部849は、出力装置の一例であり、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイ装置などの表示装置であってよい。表示部849は、ユーザ5に対して画面を表示することにより情報を提供することができる。
(デコーダ851,スピーカ853)
デコーダ851は、CPU839の制御に従い、入力されたデータのデコード及びアナログ変換などを行う機能を有する。デコーダ851は、例えば電話網アンテナ817及び電話処理部819を介して入力された音声データのデコード及びアナログ変換などを行い、音声信号をスピーカ853に出力することができる。またデコーダ851は、例えばWifiアンテナ825及びWifi処理部827を介して入力された音声データのデコード及びアナログ変換などを行い、音声信号をスピーカ853に出力することができる。スピーカ853は、デコーダ851から供給される音声信号に基づいて音声を出力することができる。
(エンコーダ855,マイク857)
エンコーダ855は、CPU839の制御に従い、入力されたデータのデジタル変換及びエンコードなどを行う機能を有する。エンコーダ855は、マイク857から入力される音声信号のデジタル変換及びエンコードなどを行い、音声データを出力することができる。マイク857は、音声を集音し、音声信号として出力することができる。
(記憶部859)
記憶部859は、データ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ここで記憶媒体としては、例えばフラッシュメモリ、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)、及びEEPROM(Electronically Erasable and Programmable Read Only Memory)などの不揮発性メモリや、HDD(Hard Disk Drive)などの磁気記録媒体などが用いられてよい。
(接続ポート861)
接続ポート861は、オーディオデバイス12と接続するための接続部である。ここでオーディオデバイス12は、例えばヘッドフォン又は情報処理装置10と別体のスピーカであってもよい。情報処理装置10は、接続ポート861を介してオーディオデバイス12から音声信号を出力することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば上記実施形態で、携帯型電子機器である情報処理装置10の内部で行われることとした機能の一部又は全部が複数の情報処理装置による分散処理で行われてもよい。発明を実施する時々の技術レベルに応じて、本技術の機能を実行するハードウェア構成については適宜変更することができる。
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向を取得する操作方向取得部と、
前記操作方向に応じて、前記通知音の音源位置を示す定位情報を生成する定位情報生成部と、
を備える、情報処理装置。
(2)
前記定位情報生成部は、前記第1の画面と前記第2の画面との間の距離に応じて前記定位情報を生成する、
前記(1)に記載の情報処理装置。
(3)
前記定位情報生成部は、経時的に前記音源位置を変化させ、前記音源位置の終着点を前記操作方向に応じた位置とする前記定位情報を生成する、
前記(1)または(2)のいずれかに記載の情報処理装置。
(4)
前記情報処理装置の筐体の傾き情報を取得する傾き情報取得部、
をさらに備え、
前記定位情報生成部は、前記傾き情報に基づいて前記音源位置が変化する前記定位情報を生成する、
前記(1)〜(3)のいずれかに記載の情報処理装置。
(5)
通知情報の発生が検知されると、前記第2の画面を生成する生成部、
をさらに備え、
前記操作方向取得部は、前記第2の画面が生成されると前記第2の画面を表示させるための前記操作方向を決定する、
前記(1)〜(4)のいずれかに記載の情報処理装置。
(6)
前記操作方向取得部は、前記第1の画面の表示状態を変化させる操作が受付けられる方向に基づいて、前記操作方向を決定する、
前記(5)に記載の情報処理装置。
(7)
前記操作方向取得部は、前記第1の画面の表示状態を変化させる操作が受付けられない方向を前記第2の画面を表示させるための前記操作方向とする、
前記(6)に記載の情報処理装置。
(8)
前記操作方向取得部が前記操作方向を決定すると、決定した前記操作方向を示す誘導情報を表示させる誘導情報表示制御部、
をさらに備える、前記(5)〜(7)のいずれかに記載の情報処理装置。
(9)
前記定位情報に基づいて、前記通知音に立体音響処理を施す音響処理部、
をさらに備える、前記(1)〜(8)のいずれかに記載の情報処理装置。
(10)
表示画面の表示状態を変化させる操作情報を取得する操作情報取得部、
をさらに備え、
前記定位情報生成部は、前記操作情報に基づいて前記第1の画面と前記第2の画面との間の距離が変化すると、前記距離の変化に追従して前記音源位置を変化させる、
前記(2)に記載の情報処理装置。
(11)
前記第2の画面は、通知情報を有するアプリケーションの起動画面であり、
前記通知音は、前記通知情報を知らせるための音である、
前記(5)〜(10)のいずれかに記載の情報処理装置。
(12)
前記第1の画面は、アプリケーションのアイコンが並んで表示される画面のうち現在表示されている画面であり、
前記第2の画面は、前記通知情報を有するアプリケーションのアイコンが表示される画面である、
前記(1)〜(4)のいずれかに記載の情報処理装置。
(13)
第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向を取得することと、
前記操作方向に応じて前記通知音の音源位置を示す定位情報を生成することと、
を含む、情報処理方法。
(14)
コンピュータを、
第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向を取得する操作方向取得部と、
前記操作方向に応じて前記通知音の音源位置を示す定位情報を生成する定位情報生成部と、
を備える、情報処理装置として機能させるためのプログラム。
10 情報処理装置
105 操作部
110 操作情報取得部(操作方向取得部、傾き情報取得部)
115 表示部
120 表示制御部(生成部)
125 音声出力部
130 音声出力制御部(定位情報生成部)

Claims (14)

  1. 第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向を取得する操作方向取得部と、
    前記操作方向に応じて、前記通知音の音源位置を示す定位情報を生成する定位情報生成部と、
    を備える、情報処理装置。
  2. 前記定位情報生成部は、前記第1の画面と前記第2の画面との間の距離に応じて前記定位情報を生成する、
    請求項1に記載の情報処理装置。
  3. 前記定位情報生成部は、経時的に前記音源位置を変化させ、前記音源位置の終着点を前記操作方向に応じた位置とする前記定位情報を生成する、
    請求項1に記載の情報処理装置。
  4. 前記情報処理装置の筐体の傾き情報を取得する傾き情報取得部、
    をさらに備え、
    前記定位情報生成部は、前記傾き情報に基づいて前記音源位置が変化する前記定位情報を生成する、
    請求項1に記載の情報処理装置。
  5. 通知情報の発生が検知されると、前記第2の画面を生成する生成部、
    をさらに備え、
    前記操作方向取得部は、前記第2の画面が生成されると前記第2の画面を表示させるための前記操作方向を決定する、
    請求項1に記載の情報処理装置。
  6. 前記操作方向取得部は、前記第1の画面の表示状態を変化させる操作が受付けられる方向に基づいて、前記操作方向を決定する、
    請求項5に記載の情報処理装置。
  7. 前記操作方向取得部は、前記第1の画面の表示状態を変化させる操作が受付けられない方向を前記第2の画面を表示させるための前記操作方向とする、
    請求項6に記載の情報処理装置。
  8. 前記操作方向取得部が前記操作方向を決定すると、決定した前記操作方向を示す誘導情報を表示させる誘導情報表示制御部、
    をさらに備える、請求項5に記載の情報処理装置。
  9. 前記定位情報に基づいて、前記通知音に立体音響処理を施す音響処理部、
    をさらに備える、請求項1に記載の情報処理装置。
  10. 表示画面の表示状態を変化させる操作情報を取得する操作情報取得部、
    をさらに備え、
    前記定位情報生成部は、前記操作情報に基づいて前記第1の画面と前記第2の画面との間の距離が変化すると、前記距離の変化に追従して前記音源位置を変化させる、
    請求項2に記載の情報処理装置。
  11. 前記第2の画面は、通知情報を有するアプリケーションの起動画面であり、
    前記通知音は、前記通知情報を知らせるための音である、
    請求項5に記載の情報処理装置。
  12. 前記第1の画面は、アプリケーションのアイコンが並んで表示される画面のうち現在表示されている画面であり、
    前記第2の画面は、前記通知情報を有するアプリケーションのアイコンが表示される画面である、
    請求項1に記載の情報処理装置。
  13. 第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向を取得することと、
    前記操作方向に応じて前記通知音の音源位置を示す定位情報を生成することと、
    を含む、情報処理方法。
  14. コンピュータを、
    第1の画面から、通知音と関連づけられた第2の画面を表示させるための操作方向を取得する操作方向取得部と、
    前記操作方向に応じて前記通知音の音源位置を示す定位情報を生成する定位情報生成部と、
    を備える、情報処理装置として機能させるためのプログラム。


JP2012021887A 2012-02-03 2012-02-03 情報処理装置、情報処理方法、及びプログラム Expired - Fee Related JP6065369B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2012021887A JP6065369B2 (ja) 2012-02-03 2012-02-03 情報処理装置、情報処理方法、及びプログラム
US14/357,225 US10445059B2 (en) 2012-02-03 2013-01-23 Information processing device, information processing method, and program for generating a notification sound
EP13707452.2A EP2810155B1 (en) 2012-02-03 2013-01-23 Information processing device, information processing method, and program
KR20147014416A KR20140130662A (ko) 2012-02-03 2013-01-23 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN201380006749.0A CN104081335A (zh) 2012-02-03 2013-01-23 信息处理设备、信息处理方法和程序
PCT/JP2013/000312 WO2013114821A1 (en) 2012-02-03 2013-01-23 Information processing device, information processing method, and program
BR112014018422A BR112014018422A8 (pt) 2012-02-03 2013-01-23 Aparelho e método de processamento de informação, e, mídia legível por computador não temporária
TW102102477A TW201346700A (zh) 2012-02-03 2013-01-23 資訊處理裝置,資訊處理方法,以及程式
RU2014131106A RU2014131106A (ru) 2012-02-03 2013-01-23 Устройство обработки информации, способ обработки информации и программа
US16/599,728 US20200050428A1 (en) 2012-02-03 2019-10-11 Information processing device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012021887A JP6065369B2 (ja) 2012-02-03 2012-02-03 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2013162284A true JP2013162284A (ja) 2013-08-19
JP6065369B2 JP6065369B2 (ja) 2017-01-25

Family

ID=47790415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012021887A Expired - Fee Related JP6065369B2 (ja) 2012-02-03 2012-02-03 情報処理装置、情報処理方法、及びプログラム

Country Status (9)

Country Link
US (2) US10445059B2 (ja)
EP (1) EP2810155B1 (ja)
JP (1) JP6065369B2 (ja)
KR (1) KR20140130662A (ja)
CN (1) CN104081335A (ja)
BR (1) BR112014018422A8 (ja)
RU (1) RU2014131106A (ja)
TW (1) TW201346700A (ja)
WO (1) WO2013114821A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195216A (ja) * 2017-05-19 2018-12-06 ヤフー株式会社 情報表示プログラム、情報表示方法、情報表示装置、及び配信装置
JP2020013279A (ja) * 2018-07-17 2020-01-23 富士ゼロックス株式会社 表示装置及びプログラム
JP2021528792A (ja) * 2018-09-26 2021-10-21 アップル インコーポレイテッドApple Inc. オーディオの空間管理
DE112021003645T5 (de) 2020-07-08 2023-06-29 Sony Group Corporation Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren undtonausgabeeinrichtung
US11809784B2 (en) 2018-09-28 2023-11-07 Apple Inc. Audio assisted enrollment

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10175848B2 (en) * 2009-02-09 2019-01-08 Nokia Technologies Oy Displaying a display portion including an icon enabling an item to be added to a list
JP6235842B2 (ja) * 2013-09-13 2017-11-22 任天堂株式会社 サーバ装置、情報処理プログラム、情報処理システム、および情報処理方法
USD768171S1 (en) * 2015-05-01 2016-10-04 Microsoft Corporation Display screen with graphical user interface
USD768170S1 (en) * 2015-05-01 2016-10-04 Microsoft Corporation Display screen with graphical user interface
JP6424745B2 (ja) * 2015-06-09 2018-11-21 株式会社リコー 画像形成装置、画像形成方法およびプログラム
USD785659S1 (en) * 2015-08-28 2017-05-02 S-Printing Solution Co., Ltd. Display screen or portion thereof with graphical user interface
JP2017107482A (ja) * 2015-12-11 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6809068B2 (ja) * 2016-09-14 2021-01-06 富士ゼロックス株式会社 処理装置および画像形成装置
US10372298B2 (en) * 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US20220368548A1 (en) 2021-05-15 2022-11-17 Apple Inc. Shared-content session user interfaces
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326987A (ja) * 2004-05-13 2005-11-24 Sony Corp オーディオ信号伝送システム、オーディオ信号伝送方法、サーバー、ネットワーク端末装置、プログラム及び記録媒体
JP2005327054A (ja) * 2004-05-13 2005-11-24 Toshiba Corp 音声出力付き表示装置
JP2008021186A (ja) * 2006-07-13 2008-01-31 Tamao Nagumo 音響による位置通知方法、および同方法を用いた情報処理システム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5946386A (en) * 1996-03-11 1999-08-31 Xantel Corporation Call management system with call control from user workstation computers
US5798922A (en) * 1997-01-24 1998-08-25 Sony Corporation Method and apparatus for electronically embedding directional cues in two channels of sound for interactive applications
US6330486B1 (en) * 1997-07-16 2001-12-11 Silicon Graphics, Inc. Acoustic perspective in a virtual three-dimensional environment
US6450411B1 (en) * 2001-02-02 2002-09-17 Logis-Tech Corporation Environmental stabilization system and method for maintenance and inventory
FI20010958A0 (fi) * 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
CN1300935C (zh) * 2001-06-11 2007-02-14 松下电器产业株式会社 前馈失真补偿放大器的控制方法和电路
US6850255B2 (en) * 2002-02-28 2005-02-01 James Edward Muschetto Method and apparatus for accessing information, computer programs and electronic communications across multiple computing devices using a graphical user interface
US7966184B2 (en) * 2006-03-06 2011-06-21 Audioeye, Inc. System and method for audible web site navigation
DE10338694B4 (de) * 2003-08-22 2005-08-25 Siemens Ag Wiedergabeeinrichtung, umfassend wenigstens einen Bildschirm zur Darstellung von Informationen
EP1804233A4 (en) * 2004-10-20 2009-05-27 Fujitsu Ten Ltd DISPLAY DEVICE
US20060236255A1 (en) * 2005-04-18 2006-10-19 Microsoft Corporation Method and apparatus for providing audio output based on application window position
US20070180379A1 (en) * 2006-02-02 2007-08-02 Jerold Osato Virtual desktop in handheld devices
US7620905B2 (en) * 2006-04-14 2009-11-17 International Business Machines Corporation System and method of windows management
US7844354B2 (en) * 2006-07-27 2010-11-30 International Business Machines Corporation Adjusting the volume of an audio element responsive to a user scrolling through a browser window
US8893038B2 (en) * 2006-10-03 2014-11-18 International Business Machines Corporation Graphical association of task bar entries with corresponding desktop locations
JP2008151766A (ja) 2006-11-22 2008-07-03 Matsushita Electric Ind Co Ltd 立体音響制御装置及び立体音響制御方法
US8601371B2 (en) * 2007-06-18 2013-12-03 Apple Inc. System and method for event-based rendering of visual effects
KR20090008045A (ko) * 2007-07-16 2009-01-21 삼성전자주식회사 디스플레이장치, 호스트 장치 및 그 제어방법
US9154606B2 (en) * 2008-01-30 2015-10-06 Google Inc. Notification of mobile device events
US7552396B1 (en) * 2008-04-04 2009-06-23 International Business Machines Corporation Associating screen position with audio location to detect changes to the performance of an application
KR101517592B1 (ko) * 2008-11-11 2015-05-04 삼성전자 주식회사 고분해능을 가진 화면음원 위치장치 및 재생방법
US20100293502A1 (en) * 2009-05-15 2010-11-18 Lg Electronics Inc. Mobile terminal equipped with multi-view display and method of controlling the mobile terminal
US20110055703A1 (en) * 2009-09-03 2011-03-03 Niklas Lundback Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System
US8499253B2 (en) * 2009-10-13 2013-07-30 Google Inc. Individualized tab audio controls
US20110316768A1 (en) * 2010-06-28 2011-12-29 Vizio, Inc. System, method and apparatus for speaker configuration
US8965014B2 (en) * 2010-08-31 2015-02-24 Cypress Semiconductor Corporation Adapting audio signals to a change in device orientation
WO2012169679A1 (ko) * 2011-06-10 2012-12-13 엘지전자 주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 장치의 음성인식 시스템
US8384726B1 (en) * 2011-08-31 2013-02-26 Google Inc. Selective rendering of off-screen content
JP6034401B2 (ja) * 2011-12-28 2016-11-30 ノキア テクノロジーズ オーユー アプリケーションのオープン・インスタンスの提供
US8635021B2 (en) * 2012-05-04 2014-01-21 Google Inc. Indicators for off-screen content
US9389682B2 (en) * 2012-07-02 2016-07-12 Sony Interactive Entertainment Inc. Methods and systems for interaction with an expanded information space
US9535653B2 (en) * 2012-08-31 2017-01-03 Google Inc. Adjusting audio volume of multimedia when switching between multiple multimedia content
US9152211B2 (en) * 2012-10-30 2015-10-06 Google Technology Holdings LLC Electronic device with enhanced notifications
KR102160767B1 (ko) * 2013-06-20 2020-09-29 삼성전자주식회사 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
US9037455B1 (en) * 2014-01-08 2015-05-19 Google Inc. Limiting notification interruptions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326987A (ja) * 2004-05-13 2005-11-24 Sony Corp オーディオ信号伝送システム、オーディオ信号伝送方法、サーバー、ネットワーク端末装置、プログラム及び記録媒体
JP2005327054A (ja) * 2004-05-13 2005-11-24 Toshiba Corp 音声出力付き表示装置
US20060069747A1 (en) * 2004-05-13 2006-03-30 Yoshiko Matsushita Audio signal transmission system, audio signal transmission method, server, network terminal device, and recording medium
JP2008021186A (ja) * 2006-07-13 2008-01-31 Tamao Nagumo 音響による位置通知方法、および同方法を用いた情報処理システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195216A (ja) * 2017-05-19 2018-12-06 ヤフー株式会社 情報表示プログラム、情報表示方法、情報表示装置、及び配信装置
JP6990991B2 (ja) 2017-05-19 2022-01-12 ヤフー株式会社 情報表示プログラム、情報表示方法、及び情報表示装置
JP2020013279A (ja) * 2018-07-17 2020-01-23 富士ゼロックス株式会社 表示装置及びプログラム
JP7180160B2 (ja) 2018-07-17 2022-11-30 富士フイルムビジネスイノベーション株式会社 表示装置及びプログラム
JP2021528792A (ja) * 2018-09-26 2021-10-21 アップル インコーポレイテッドApple Inc. オーディオの空間管理
US11429342B2 (en) 2018-09-26 2022-08-30 Apple Inc. Spatial management of audio
US11635938B2 (en) 2018-09-26 2023-04-25 Apple Inc. Spatial management of audio
US11809784B2 (en) 2018-09-28 2023-11-07 Apple Inc. Audio assisted enrollment
DE112021003645T5 (de) 2020-07-08 2023-06-29 Sony Group Corporation Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren undtonausgabeeinrichtung

Also Published As

Publication number Publication date
BR112014018422A2 (ja) 2017-06-20
RU2014131106A (ru) 2016-02-10
US10445059B2 (en) 2019-10-15
EP2810155B1 (en) 2019-05-29
BR112014018422A8 (pt) 2017-07-11
JP6065369B2 (ja) 2017-01-25
US20140304604A1 (en) 2014-10-09
CN104081335A (zh) 2014-10-01
EP2810155A1 (en) 2014-12-10
WO2013114821A1 (en) 2013-08-08
KR20140130662A (ko) 2014-11-11
TW201346700A (zh) 2013-11-16
US20200050428A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
JP6065369B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11681430B2 (en) Electronic device using auxiliary input device and operating method thereof
CN109302538B (zh) 音乐播放方法、装置、终端及存储介质
KR101785323B1 (ko) 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
US9460535B2 (en) Information processing device, information processing method, and program
US11632584B2 (en) Video switching during music playback
US9489070B2 (en) Information processing apparatus, information processing method, and program
JP6301613B2 (ja) 携帯通信端末、情報表示プログラムおよび情報表示方法
ES2947857T3 (es) Procedimiento de visualización de interfaz del usuario y aparato para el mismo
US20140337769A1 (en) Method and apparatus for using electronic device
JP2013054470A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2014132782A (ja) 電子機器、画面制御方法および画面制御プログラム
JP2012108659A (ja) 操作処理装置、操作処理方法及びそのためのプログラム
KR20150009199A (ko) 객체 편집을 위한 전자 장치 및 방법
CN113766275A (zh) 视频剪辑方法、装置、终端及存储介质
US20160282949A1 (en) Method and system for detecting linear swipe gesture using accelerometer
JP2006148773A (ja) 携帯端末装置及びその制御方法
KR20130123794A (ko) 메모용 어플리케이션
KR102011771B1 (ko) 사용자 인터페이스 제공 방법 및 그 장치
KR20170094576A (ko) 전자 디바이스

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161212

R151 Written notification of patent or utility model registration

Ref document number: 6065369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees