JP2023138873A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2023138873A
JP2023138873A JP2020139940A JP2020139940A JP2023138873A JP 2023138873 A JP2023138873 A JP 2023138873A JP 2020139940 A JP2020139940 A JP 2020139940A JP 2020139940 A JP2020139940 A JP 2020139940A JP 2023138873 A JP2023138873 A JP 2023138873A
Authority
JP
Japan
Prior art keywords
acceptance period
user
operation acceptance
period
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020139940A
Other languages
English (en)
Inventor
英夫 長坂
Hideo Nagasaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2020139940A priority Critical patent/JP2023138873A/ja
Priority to PCT/JP2021/029639 priority patent/WO2022039087A1/ja
Priority to US18/040,187 priority patent/US12124634B2/en
Publication of JP2023138873A publication Critical patent/JP2023138873A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】コンテンツに関する処理において、ユーザの意図に合った処理を実行可能な情報処理装置等の技術を提供すること。【解決手段】本技術に係る情報処理装置は、制御部を含む。前記制御部は、所定の時間長を有するコンテンツの再生中にユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する。【選択図】図5

Description

本技術は、再生可能なコンテンツに関する処理を実行する情報処理装置等の技術に関する。
従来から、ユーザ操作に基づき、音楽や動画などのコンテンツに関する処理を実行する技術が知られている。
一方、近年においては、例えば、耳に装着されるヘッドフォン等により、ユーザによる頷きや、首振り等を検出し、頷きや、首振り等に基づいてコンテンツに関する処理が実行される技術も知られている(例えば、特許文献1参照)。
国際公開第2019/123785号
例えば、このような分野において、ユーザの意図に合った処理を実行可能な技術が求められている。
以上のような事情に鑑み、本技術の目的は、コンテンツに関する処理において、ユーザの意図に合った処理を実行可能な情報処理装置等の技術を提供することにある。
本技術に係る情報処理装置は、制御部を含む。前記制御部は、所定の時間長を有するコンテンツの再生中にユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する。
これにより、コンテンツに関する処理において、ユーザの意図に合った処理を実行可能となる。
本技術に係る情報処理システムは、第1の装置と、第2の装置とを具備する。
前記第1の装置は、ユーザ操作を検出する。
前記第2の装置は、所定の時間長を有するコンテンツの再生中に前記ユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する。
本技術に係る情報処理方法は、所定の時間長を有するコンテンツの再生中にユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する。
本技術に係るプログラムは、所定の時間長を有するコンテンツの再生中にユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する処理をコンピュータに実行させる。
本技術の第1実施形態に係る情報処理システムを示す図である。 ヘッドフォンの内部構成を示すブロック図である。 スマートフォンの内部構成を示すブロック図である。 サーバ装置の内部構成を示すブロック図である。 第1実施形態において用いられる手法を説明するための図である。 スマートフォンが実行する処理を示すフローチャートである。 解析サーバによって実行される各操作受付期間の生成処理を示すフローチャートである。 ライク率の楽曲毎のバラつきを示す図である。 第2実施形態において、スマートフォンにより実行される処理を示すフローチャートである。 第2実施形態において、解析サーバにより実行される処理を示すフローチャートである。 第3実施形態において、スキップ操作受付期間、ライク操作受付期間を示す図である。 第3実施形態において、スマートフォンにより実行される処理を示すフローチャートである。 第4実施形態において、スキップ操作受付期間、ライク操作受付期間を示す図である。 第4実施形態において、スマートフォンにより実行される処理を示すフローチャートである。 第5実施形態における、スキップ操作受付期間、ライク操作受付期間を示す図である。 第5実施形態において、スマートフォンにより実行される処理を示すフローチャートである。 メニューの項目の提示順を示す図である。 第7実施形態における各操作受付期間を示す図である。 第8実施形態において、スキップ操作受付期間、ライク操作受付期間を示す図である。 第8実施形態において、スマートフォンにより実行される処理を示すフローチャートである。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
≪第1実施形態≫
<全体構成及び各部の構成>
図1は、本技術の第1実施形態に係る情報処理システム100を示す図である。図1に示すように、情報処理システム100は、ヘッドフォン10と、スマートフォン20と、複数のサーバ装置30とを含む。
<ヘッドフォン10>
ヘッドフォン10(第1の装置)は、右耳側に装着される第1のヘッドフォンユニット11と、左耳側に装着される第2のヘッドフォンユニット12と、第1のヘッドフォンユニット11及び第2のヘッドフォンユニット12を連結するバンド部13とを含む。
図1に示す例では、2つのヘッドフォンユニット11、12がバンド部13によって連結される場合の一例が示されているが、2つのヘッドフォンユニット11、12が分離して構成されていてもよい。
図2は、ヘッドフォン10の内部構成を示すブロック図である。図2に示すように、ヘッドフォン10は、制御部1と、記憶部2と、第1のスピーカ3と、第2のスピーカ4と、慣性センサ5と、マイクロフォン6と、通信部7とを含む。
第1のスピーカ3は、第1のヘッドフォンユニット11側に設けられており、第2のスピーカ4は、第2のヘッドフォンユニット12側に設けられている。第1のスピーカ3及び第2のスピーカ4は、制御部1から入力された音声信号に基づいて音を出力する。
慣性センサ5は、例えば、直交する3軸方向の加速度を検出する加速度センサと、直交する3軸回りの角速度を検出する角速度センサとを含む。慣性センサ5は、検出された3軸方向の加速度、3軸回りの角速度を慣性情報として、制御部に出力する。
ここでの例では、慣性センサ5の検出軸が3軸とされているが、この検出軸は、1軸、あるいは、2軸であってもよい。また、本実施形態では、慣性センサ5として、2種類のセンサが用いられているが、慣性センサ5として1種類、あるいは、3種類以上のセンサが用いられてもよい。なお、慣性センサ5の他の例としては、速度センサ、角度センサ等が挙げられる。
なお、慣性センサ5は、ユーザによる各種のジェスチャ操作を検出するためのセンサである。ジェスチャ操作としては、例えば、首を振る、2回首を振る、頷く、2回頷く、素早く右を向く、素早く左を向く等が挙げられるが、ジェスチャ操作は、どのような操作であっても構わない。
マイクロフォン6は、ユーザの声等の各種の音声を電気信号に変換して制御部1へと出力する。通信部7は、無線又は有線によりスマートフォン20との間で相互に通信可能に構成されている。
記憶部2は、制御部1の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、制御部1の作業領域として用いられる揮発性のメモリとを含む。
なお、上記各種のプログラムは、光ディスク、半導体メモリなどの可搬性の記録媒体から読み取られてもよいし、ネットワーク上のサーバ装置からダウンロードされてもよい。これについては、ヘッドフォン10、サーバ装置30のプログラムにおいて同様である。
制御部1は、記憶部2に記憶された各種のプログラムに基づき種々の演算を実行し、ヘッドフォン10の各部を統括的に制御する。
制御部1は、ハードウェア、又は、ハードウェア及びソフトウェアの組合せにより実現される。ハードウェアは、制御部1の一部又は全部として構成され、このハードウェアとしては、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、VPU(Vision Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、あるいは、これらのうち2以上の組合せなどが挙げられる。なお、これについては、スマートフォン20の制御部21、サーバ装置30の制御部31においても同様である。
<スマートフォン20>
図1に示すように、スマートフォン20(第2の装置)は、筐体19と、筐体の正面側に設けられた表示部23とを有している。
図3は、スマートフォン20の内部構成を示すブロック図である。図3に示すように、スマートフォン20は、制御部21と、記憶部22と、表示部23と、近接センサ24と、スピーカ25と、マイクロフォン26と、通信部27とを備えている。
表示部23は、例えば、液晶ディスプレイや、有機EL(Electro Luminescence)ディスプレイ等により構成される。表示部23は、制御部21の制御に応じて、各種の画像を画面上に表示させる。
近接センサ24は、表示部23上に設けられている。近接センサ24は、表示部23へのユーザの指の近接を検出し、ユーザの指が近接したことを示す信号と、指が近接した位置を示す信号とを制御部に出力する。
スピーカ25は、制御部21の制御に応じて、相手の通話による音声等の各種の音声を出力する。マイクロフォン26は、ユーザの通話による音声等の各種の音声を電気信号に変換して、この信号を制御部21へと出力する。
通信部27は、無線又は有線によりヘッドフォン10との間で相互に通信可能に構成されている。また、通信部は、ネットワークを介して、各サーバ装置30と通信可能に構成されている。
記憶部22は、制御部21の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、制御部21の作業領域として用いられる揮発性のメモリとを含む。
制御部21は、記憶部22に記憶された各種のプログラムに基づき種々の演算を実行し、スマートフォン20の各部を統括的に制御する。
<サーバ装置30>
図1に示すように、サーバ装置30は、楽曲配信サーバ30aと、解析サーバ30bと、メタデータサーバ30cと、ユーザデータサーバ30dとを含む。
図4は、サーバ装置30の内部構成を示すブロック図である。図4に示すように、楽曲配信サーバ30a、解析サーバ30b、メタデータサーバ30c及びユーザデータサーバ30dは、それぞれ、制御部31、記憶部32及び通信部33を有している。
通信部33は、ネットワークを介して、ヘッドフォン10や他のサーバ装置30と間で通信可能に構成されている。
記憶部32は、制御部31の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、制御部31の作業領域として用いられる揮発性のメモリとを含む。
制御部31は、記憶部32に記憶された各種のプログラムに基づき種々の演算を実行し、サーバ装置30の各部を統括的に制御する。
[楽曲配信サーバ30a]
楽曲配信サーバ30aは、スマートフォン20からの要求に応じて、楽曲を(ストリーミングで)配信する。
[解析サーバ30b]
解析サーバ30bは、メタデータの解析等、各種の解析処理を実行する。解析サーバの解析処理については、図7等を参照して、後に詳述する。
[メタデータサーバ30c]
メタデータサーバ30cは、楽曲(コンテンツ)における各種のメタデータを記憶する。このメタデータとしては、イントロ(楽曲の最初の導入部分)、サビ、アウトロ(楽曲の最後の余韻部分)、楽曲名、歌手名、その楽曲が収録されているアルバム名等が挙げられる。なお、メタデータは、その楽曲(コンテンツ)に関する情報でればどのような情報であっても構わない。
なお、特に、本実施形態においては、メタデータサーバ30cは、ユーザによるジェスチャ操作(首振り、頷き等)を受け付ける操作受付期間を記憶している。なお、操作受付期間については、後に詳述する。
[ユーザデータサーバ30d]
ユーザデータサーバ30dは、各種のユーザデータを記憶する。ユーザデータとしては、例えば、ユーザのお気に入りの楽曲等の情報が挙げられるが、ユーザデータは、ユーザに関する情報であればどのような情報であっても構わない。
ここでの説明では、楽曲配信サーバ30a、解析サーバ30b、メタデータサーバ30c及びユーザデータサーバ30dがそれぞれ個別のサーバ装置30である場合について説明したが、サーバ装置30の構成はこの例に限定されない。例えば、楽曲配信サーバ30a、解析サーバ30b、メタデータサーバ30c及びユーザデータサーバ30dのそれぞれの役割を1つのサーバ装置30が担当してもよいし、これらの役割を2~3又は5以上のサーバ装置30が担当してもよい。また、サーバ装置30は、楽曲配信サーバ30a、解析サーバ30b、メタデータサーバ30c及びユーザデータサーバ30dの全てを含んでいる必要はなく、一部を省略することもできる。
<本実施形態の手法>
次に、本実施形態で用いられる手法について説明する。図5は、本実施形態において用いられる手法を説明するための図である。
図5に示すように、楽曲(所定の時間長を有する、再生可能なコンテンツの一例)は、開始から終了までの間に再生位置を有している。なお、本実施形態において、「再生位置」とは、時間軸で表され得る再生可能なコンテンツにおける時間軸での位置を意味し、例えば、コンテンツの再生開始位置(0秒)から何分何秒等のような再生開始位置からの時刻を意味する。
ここで、ユーザが楽曲再生中に操作を行って実行させたい処理は、再生位置毎に変化することが多い。
例えば、図5には、「スキップ率」と、「ライク率」とが示されている。本実施形態において、「スキップ」とは、現在再生されている曲を飛ばして次の楽曲の再生を開始する処理を意味する。また、「ライク」とは、現在再生されている楽曲をユーザのお気に入りとして登録する処理を意味する。
また、本実施形態において、「スキップ率」とは、楽曲がスキップ(曲飛ばし)される頻度を意味する。図5では、スキップ率における時間分布が三角形で表されており、その三角形の高さが高いほど、楽曲がスキップされる頻度が高いことを意味している。
また、本実施形態において、「ライク率」とは、楽曲がライク(お気に入り登録)される頻度を意味する。図5では、ライク率における時間分布が三角形で表されており、その三角形の高さが高いほど、楽曲がライクされる頻度が高いことを意味している。
なお、本実施形態では、スキップ=曲飛ばし、ライク=お気に入り登録として説明するが、これに限定されず、スキップ=N秒間飛ばす、ライク=お気に入り登録後にさらにお気に入り登録した曲と類似した曲を提示する、等としてもよい。
図5に示されているように、スキップ(曲飛ばし)は、楽曲の開始部分、つまり、楽曲のイントロに対応する期間において比較的に集中して行われる傾向がある。特に、サブスクリプション(定額料金の支払いにより一定期間で楽曲を聞き放題になるサービス)での楽曲の配信を利用しているユーザの場合、利用可能な楽曲数が多いので、楽曲の開始部分にスキップが集中する傾向がある。
また、ライク(お気に入り登録)は、楽曲のサビに対応する期間において比較的に集中して行われる傾向がある。
ここで、ユーザがヘッドフォン10を用いて頭を使ってジェスチャ操作を行う場合を想定する。例えば、ユーザが首を振る動作がスキップを行うためのジェスチャ操作(スキップ操作)に対応し、ユーザが頷く動作がライクを行うためのジェスチャ操作(ライク操作)に対応しているとする。
この場合、ユーザがジェスチャ操作を行うために首振りや頷き等を行ったのか、あるいは、ユーザがジェスチャ操作とは関係せずに日常の生活において単に首振りや頷き等を行ったのかを正確に区別するのが困難であるといった問題がある。
従って、例えば、ユーザが道を歩いているときに横断歩道の手前で車の確認のために左右を見たときに、ジェスチャ操作であると誤判定され、楽曲がスキップされてしまうといった問題がある。また、例えば、ユーザが道を歩いているときに道に落ちているものを見ようとして単に下を向いたときに、ジェスチャ操作であると誤判定され、楽曲がライク(お気に入り登録)されてしまうといった問題がある。
このため、本実施形態では、図5に示すように、楽曲がスキップされる可能性が高い楽曲の開始部分、つまり、楽曲のイントロに対応する期間にスキップ操作を受け付けるスキップ操作受付期間(第1の操作受付期間)が設定される。そして、楽曲のイントロに対応しない期間については、スキップ操作を受け付けないスキップ操作ブロック期間が設定される。
同様に、本実施形態では、楽曲がライク(お気に入り登録)される可能性が高い楽曲の部位、例えばサビに対応する期間にライク操作を受け付けるライク操作受付期間(第1の操作受付期間)が設定される。そして、楽曲のサビに対応しない期間については、ライク操作を受け付けないライク操作ブロック期間が設定される。
これにより、ユーザの意図するジェスチャ操作(コマンド)を適切に受け入れつつ、ユーザの日常生活での動作がジェスチャ操作であると誤判定されてユーザの意図しない処理が実行されてしまうことを抑制することができると考えられる。
なお、本実施形態において、「スキップ操作」とは、ユーザがスキップを行うためのジェスチャ操作を意味する。本実施形態では、このスキップ操作は、首振りとされているが、これについては適宜変更可能である。
また、本実施形態において、「ライク操作」とは、ユーザがライク(お気に入り登録)を行うためのジェスチャ操作を意味する。本実施形態では、このライク操作は、頷きとされているが、これについては適宜変更可能である。
本実施形態では、首振り=スキップ操作、頷き=ライク操作とされているが、これについては、例えば逆であってもよいし、首振りとうなずき以外のジェスチャ操作がスキップ操作、ライク操作に割り当てられていてもよい。また、ユーザによる手動での入力によって特定のジェスチャに特定の操作が割り当てられるよう設定されてもよい。
また、本実施形態において、スキップ操作と、ライク操作とが異なるジェスチャ操作とされている。一方、本実施形態では、スキップ(第1の処理)に対応するスキップ操作受付期間と、ライク(第2の処理)に対応するライク操作受付期間とが重ならない別々の期間とされている。従って、スキップ操作と、ライク操作とが同じジェスチャ操作とされていてもよい(例えば、両者とも首振り、頷き等)。
また、本実施形態において、ユーザによるジェスチャ操作は、例えば、ユーザの首が所定の閾値以上の角度まで動いたと判定された場合に受け付けされてもよい。所定の閾値は予め設定される、ユーザによって手動で設定される、ジェスチャ操作がされる度に首の動きの角度を記憶しておきユーザ個人毎に適切な角度が設定される、等のようにしてもよい。
ここで、本実施形態では、ユーザ操作(ジェスチャ操作)に対する処理として、スキップ、ライク登録が実行されるが、ユーザ操作に対する処理は、これらに限られない。この処理の他の例としては、リピート(同じ楽曲を繰り返し再生する)、曲戻し(前の楽曲に戻す)、楽曲情報を提示、一時停止等が挙げられる。
また、本実施形態では、スキップ操作、ライク操作の2種類の操作を受け付ける構成とされているが、例えば、スキップ操作、ライク操作、リピート操作、曲戻し操作、曲情報提示操作、一時停止操作の中から選択された3種類以上の操作を受け付ける構成とされていてもよい。この場合、3種類以上の操作を受け付けるための3種類以上の操作受付期間(スキップ操作受付期間、ライク操作受付期間、リピート操作受付期間、曲戻し操作受付期間、曲情報提示操作受付期間、一時停止操作受付期間等)がそれぞれ設定される。
また、本実施形態では、スキップ操作受付期間が楽曲のイントロの期間に一致する期間とされている。一方、スキップ操作受付期間は、イントロの期間から多少ずれていてもよい。同様に、本実施形態では、ライク操作受付期間が楽曲のサビの期間に一致する期間とされているが、ライク操作受付期間は、サビの期間から多少ずれていてもよい。
例えば、図5に示すように、ライク率における時間分布は、サビの期間とは完全には一致しておらず、ライク(お気に入り登録)は、サビが終了しても一定の確率で行われる可能性がある。従って、例えば、ライク操作受付期間の終了位置は、サビの終了位置よりも少し後に設定されていてもよい。
また、本実施形態では楽曲のイントロ部分に対してスキップ操作受付期間が設定され、楽曲のサビの部分にライク操作受付期間が設定されるような場合を例に挙げたが、これに限定されない。例えば楽曲の冒頭部分がサビであるような楽曲の場合には、イントロでのスキップ率は比較的低くなり、逆にライク率は比較的上がることが想定される。そのためライク操作受付期間がイントロ部分に対して設定され、スキップ操作受付期間はサビが終了した後の区間に設定される等してもよく、スキップ、ライク、その他の操作(リピート、曲戻し、楽曲情報提示、一時停止等)の操作受付期間は、曲によって個別に設定されたり、楽曲のメタデータを分析して傾向が似た複数の曲に対して一定の基準で設定されたり、ユーザによって手動で設定される等してもよい。
<動作説明>
以下、情報処理システム100における各処理について説明する。
図6は、スマートフォン20が実行する処理を示すフローチャートである。
まず、スマートフォン20の制御部21(処理の説明において、以下、スマートフォン20と省略)は、ユーザから楽曲の再生を開始させるための再生開始指示が入力されたかどうかを判定する(ステップ101)。
再生開始指示は、例えば、頭を使ったジェスチャ操作であってもよいし、スマートフォン20の表示部23をタップする操作などであってもよい。典型的には、再生開始指示は、ユーザによるどのような操作により入力されてもよい。
再生開始指示が入力された場合(ステップ101のYES)、スマートフォン20は、楽曲配信サーバ30aへ楽曲の取得要求を送信して、楽曲配信サーバ30aから楽曲を(ストリーミングで)取得する(ステップ102)。
次に、スマートフォン20は、メタデータサーバ30cから対応する楽曲のスキップ操作受付期間と、ライク操作受付期間とを取得する(ステップ103)。なお、各操作受付期間は、予め解析サーバ30bによって生成されており、生成された各操作受付期間は、予めメタデータサーバ30cに記憶されている。この処理については、図7を参照して後に詳述する。
各操作受付期間をメタデータサーバ30cから取得すると、次に、スマートフォン20は、再生位置に対して、スキップ操作受付期間を設定し、スキップ操作受付期間を外れた期間にスキップ操作ブロック期間を設定する(ステップ104)(図5参照)。また、スマートフォン20は、再生位置に対して、ライク操作受付期間を設定し、ライク操作受付期間を外れた期間に、ライク操作ブロック期間を設定する。そして、スマートフォン20は、楽曲の再生を開始する(ステップ105)。
次に、スマートフォン20は、ユーザから楽曲の再生を終了させるための再生終了指示が入力されたかどうかを判定する(ステップ106)。
再生終了指示は、例えば、頭を使ったジェスチャ操作であってもよいし、スマートフォン20の表示部23をタップする操作などであってもよい。典型的には、再生開始指示は、ユーザによるどのような操作により入力されてもよい。
再生終了指示が入力された場合(ステップ106のYES)、スマートフォン20は、楽曲の再生を終了して処理を終了する。
一方、再生終了指示が入力されなかった場合(ステップ106のNO)、スマートフォン20は、現在再生されている楽曲の再生が終了したかどうかを判定する(ステップ107)。
現在再生されている楽曲の再生が終了した場合(ステップ107のYES)、スマートフォン20は、次の楽曲へと移行し(ステップ111)、ステップ102へ戻って、楽曲配信サーバ30aから次の楽曲を(ストリーミングで)取得する。
ステップ107において、現在再生されている楽曲の再生が終了していない場合(つまり、楽曲の再生中である場合)(ステップ107のNO)、スマートフォン20は、次のステップ108へ進む。ステップ108では、スマートフォン20は、ユーザによりジェスチャ操作が入力されたかどうかを判定する。
ジェスチャ操作が入力されていない場合(ステップ108のNO)、スマートフォン20は、ステップ106へ戻り、ユーザから楽曲の再生終了指示が入力されたかどうかを判定する。
一方、ユーザによりジェスチャ操作が入力された場合(ステップ108のYES)、スマートフォン20は、そのジェスチャ操作が首振りであったかどうかを判定する(ステップ109)。そのジェスチャ操作が首振りであった場合(ステップ109のYES)、スマートフォン20は、現在において、スキップ操作受付期間内(図5参照)であるかどうかを判定する(ステップ110)。
現在において、スキップ操作受付期間内である場合(ステップ110のYES)、スマートフォン20は、現在再生されている楽曲の再生を停止して、次の楽曲へスキップする(ステップ111)。そして、スマートフォン20は、ステップ102へ戻り、楽曲配信サーバ30aから次の楽曲を(ストリーミングで)取得する。
ステップ110において、現在において、スキップ操作受付期間内ではない場合(ステップ110のNO)、つまり、現在において、スキップ操作ブロック期間内である場合、スマートフォン20は、スキップ操作(首振り)を受け付けずに、ステップ106へ戻る。
ステップ109において、ジェスチャ操作が首振りではない場合(ステップ109のNO)、スマートフォン20は、ステップ112へ進む。ステップ112では、スマートフォン20は、ジェスチャ操作が頷きであったかどうかを判定する。
ジェスチャ操作が頷きであった場合(ステップ112のYES)、スマートフォン20は、現在において、ライク操作受付期間内(図5参照)であるかどうかを判定する(ステップ113)。
現在において、ライク操作受付期間内である場合(ステップ113のYES)、スマートフォン20は、ユーザデータサーバ30dに対してライク登録要求(お気に入り登録要求)を送信する(ステップ114)。
ライク登録要求は、ユーザID、楽曲ID等を含む。ユーザデータサーバ30dは、ライク登録要求に応じて、そのユーザに対して楽曲を関連付けて記憶し、ライク登録を行う。なお、ユーザデータサーバ30dは、ライク登録をユーザ毎に行ってライク登録をユーザ毎に管理している。
ステップ113において、現在において、ライク操作受付期間内ではない場合(ステップ113のNO)、つまり、現在において、ライク操作ブロック期間内である場合、スマートフォン20は、スキップ操作(首振り)を受け付けずに、ステップ106へ戻る。
[各操作受付期間生成]
次に、解析サーバ30bによって実行される各操作受付期間の生成処理について説明する。図7は、解析サーバ30bによって実行される各操作受付期間の生成処理を示すフローチャートである。
まず、解析サーバ30bの制御部31(処理の説明において、以下、解析サーバ30bと省略)は、楽曲配信サーバ30aにおいて新たな楽曲が登録されたかどうかを判定する(ステップ201)。楽曲配信サーバ30aにおいて新たな楽曲が登録された場合(ステップ201のYES)、解析サーバ30bは、楽曲配信サーバ30aから、その登録された楽曲の楽曲IDと、楽曲データとを取得する(ステップ202)。
次に、解析サーバ30bは、楽曲データのイントロ解析を行って、楽曲データのどの部分がイントロに対応する期間であるかを解析する(ステップ203)。そして、解析サーバ30bは、イントロ(つまり、メタデータ)に対応する期間をスキップ操作受付期間として生成する(ステップ204)。
次に、解析サーバ30bは、楽曲データのサビ解析を行って、楽曲データのどの部分がサビに対応する期間であるかを解析する(ステップ205)。そして、解析サーバ30bは、サビ(つまり、メタデータ)に対応する期間をライク操作受付期間として生成する(ステップ206)。
スキップ操作受付期間を生成した後、解析サーバ30bは、生成した各操作受付期間及び楽曲IDをメタデータサーバ30cに対して送信する(ステップ207)。メタデータサーバ30cは、解析サーバ30bから受信した各操作受付期間を楽曲IDに関連付けて記憶することで、楽曲毎に各操作受付期間を管理する。
解析サーバ30bは、生成した各操作受付期間及び楽曲IDをメタデータサーバ30cに対して送信した後、ステップ201へ戻り、楽曲配信サーバ30aにおいて新たな楽曲が登録されたかどうかを判定する。
このような処理により、楽曲が新たに登録される度に、その楽曲に対応するスキップ操作受付期間、ライク操作受付期間が解析サーバ30bにより(メタデータに基づき)生成され、メタデータサーバ30cに記憶される。
なお、解析サーバ30bの解析結果を基に、ユーザが手動でスキップ操作受付期間およびライク操作受付期間を設定してもよい。
ここで、イントロの長さ、サビの長さ、サビの位置は、各楽曲毎に異なっている。従って、スキップ操作受付期間の長さ、ライク操作受付期間の長さ、位置は、楽曲ごとに異なることになる。従って、本実施形態においては、スキップ操作受付期間、ライク操作受付期間は、その長さや位置が楽曲毎に可変とされている(位置については、特に、ライク操作受付期間)。
<作用等>
本実施形態では、スキップ操作受付期間、つまり、楽曲のイントロに対応する期間にユーザがジェスチャ操作を行えば、楽曲のスキップの処理が実行される。また、ライク操作受付期間、つまり、楽曲のサビに対応する期間にユーザがジェスチャ操作を行えば、楽曲のライク(お気に入り登録)の処理が実行される。
つまり、本実施形態では、再生可能な楽曲(コンテンツ)の再生位置に応じて、ユーザのジェスチャ操作(ユーザ操作)に対して異なる処理が実行される。これにより、楽曲(コンテンツ)の再生位置に応じて、ユーザの意図を適切に反映した各処理を実行することができる。
また、本実施形態では、スキップ操作受付期間、ライク操作受付期間は、スキップ操作、ライク操作が行われる頻度(スキップ率、ライク率)の時間分布に基づいて設定されている。これにより、再生位置に応じて、ユーザの意図をさらに適切に反映した各処理を実行することができる。
また、本実施形態では、スキップ操作受付期間が、楽曲のイントロに対応する期間とされており、ライク操作受付期間が、楽曲のサビに対応する期間とされている。これにより、再生位置に応じて、ユーザの意図をさらに適切に反映した各処理を実行することができる。
また、本実施形態では、スキップ操作受付期間及びライク操作受付期間は、その長さや位置が楽曲毎に可変とされている(イントロ、サビの長さや位置が楽曲毎に異なるので)。これにより、各操作受付期間の長さ、位置を適切に設定することができる。
また、本実施形態では、スキップ操作受付期間を外れた期間は、スキップ操作を受け付けないスキップ操作ブロック期間とされている。これにより、ユーザの意図するジェスチャ操作(入力コマンド)を適切に受け入れつつ、ユーザの日常生活での動作がジェスチャ操作であると誤判定されてユーザの意図しない処理が実行されてしまうことを抑制することができる。
≪第2実施形態≫
次に、本技術の第2実施形態について説明する。第2実施形態の説明では、まず、スキップ率、ライク率等の楽曲毎のバラつきについて説明する。
図8は、ライク率の楽曲毎のバラつきを示す図である。図8の上側には、楽曲Aにおけるライク率の時間分布が示されている。一方、図8の下側には、楽曲Bにおけるライク率の時間分布が示されている。なお、ここでの説明では、スキップ率及びライク率のうち、ライク率について代表的に説明する。
図8の上側を参照して、楽曲Aにおいては、ユーザA、ユーザB、ユーザC・・等の各ユーザにおいて、ライク操作(頷き)が行われるのが楽曲のサビの開始直後に集中するといった傾向がある。この場合、ライク操作受付期間の開始位置がサビの開始位置と一致していると、ユーザによるライク操作(意図)を適切に検出できない可能性がある。
従って、このような場合、第2実施形態では、ライク操作受付期間の開始位置がサビの開始位置よりも前側にずらされるといった処理が実行される。
図8の下側を参照して、楽曲Bにおいては、ユーザA、ユーザB、ユーザC・・等の各ユーザにおいて、ライク操作(頷き)が行われるのが楽曲のサビの終了直前に集中するといった傾向がある。この場合、ライク操作受付期間の開始位置がサビの終了位置と一致していると、ユーザによるライク操作(意図)を適切に検出できない可能性がある。
従って、このような場合、第2実施形態では、ライク操作受付期間の終了位置がサビの終了位置よりも後ろ側にずらされるといった処理が実行される。
つまり、第2実施形態では、ジェスチャ操作(ユーザ操作)の頻度(ライク率)の時間分布(三角形)に基づいて、(既に設定されている)各操作受付期間の長さが、楽曲毎に可変に制御される。
なお、各操作受付期間は、長さが一定のままで、位置が前後方向にずらされてもよい。つまり、上記分布(三角形)に基づいて、(既に設定されている)各操作受付期間の位置が、楽曲毎に可変に制御されてもよい。
また、上記分布(三角形)に基づいて、(既に設定されている)各操作受付期間の長さ、及び位置の両方が、楽曲毎に可変に制御されてもよい。
<動作説明>
図9は、第2実施形態において、スマートフォン20により実行される処理を示すフローチャートである。
図9に示すフローチャート(第2実施形態)は、図6に示すフローチャート(第1実施形態)と大部分において共通しているが、図9に示すフローチャートでは、ステップ311及びステップ315が付加されている点で、図6と異なっている。
スマートフォン20は、ジェスチャ操作が首振りであり(ステップ309のYES)、現在においてスキップ操作受付期間内である場合(ステップ310のYES)には、ステップ311へ進む。ステップ311では、スマートフォン20は、楽曲ID、タイムスタンプ、ジェスチャID(スキップ)を解析サーバ30bへ送信する。そして、スマートフォン20は、現在再生されている楽曲をスキップし(ステップ312)、ステップ302へ戻る。
ここで、タイムスタンプは、ユーザによるジェスチャ操作が、楽曲のどの再生位置に対応するタイミングで行われたかを示す情報であり、楽曲の開始位置から何分何秒等の情報である。例えば、首振りが楽曲の開始位置から3秒の位置で行われた場合、3秒の情報がタイムスタンプとして解析サーバ30bに送信される。
また、ジェスチャIDは、ユーザのジェスチャ操作がどの処理を実行させるためのジェスチャ操作であったかを識別するための情報である。なお、ステップ311では、ユーザのジェスチャ操作は、スキップの処理を実行させるためのジェスチャ操作であるので、スキップの情報がジェスチャIDとして解析サーバ30bへ送信される。
また、スマートフォン20は、ジェスチャ操作が頷きであり(ステップ313のYES)、現在においてライク操作受付期間内である場合(ステップ314のYES)には、ステップ315へ進む。ステップ315では、スマートフォン20は、楽曲ID、タイムスタンプ、ジェスチャID(ライク)を解析サーバ30bへ送信する。そして、スマートフォン20は、ライク登録要求をユーザデータサーバ30dへ送信し(ステップ316)、ステップ306へ戻る。
この場合、例えば、頷きが楽曲の開始位置から1分の位置で行われた場合、1分の情報がタイムスタンプとして解析サーバ30bに送信される。また、この場合、ユーザのジェスチャ操作は、ライクの処理を実行させるためのジェスチャ操作であるので、ライクの情報がジェスチャIDとして解析サーバ30bへ送信される。
なお、楽曲ID、タイムスタンプ、ジェスチャIDは、スキップ率の時間分布、ライク率の時間分布(図8参照)を解析サーバ30bにおいて生成するために、解析サーバ30bに対して送信される。
ここで、図9では、各操作受付期間内において、対応するジェスチャ操作が行われた場合(つまり、スキップ、ライクが実行される場合)に限り、楽曲ID、タイムスタンプ、ジェスチャID(スキップ又はライク)が解析サーバ30b送信される場合に説明した。
一方、対応するジェスチャ操作が行われたタイミングが、操作受付期間内であるか、操作ブロック期間であるか問わず、対応するジェスチャ操作が行われた場合には一律に、楽曲ID、タイムスタンプ、ジェスチャID(スキップ又はライク)が解析サーバ30bに送信されてもよい。
[各操作受付期間の変更(更新)]
次に、解析サーバ30bによって実行されるスキップ操作受付期間、ライク操作受付期間の変更処理等について説明する。図10は、第2実施形態において、解析サーバ30bにより実行される処理を示すフローチャートである。
まず、解析サーバ30bは、各スマートフォン20から楽曲ID、タイムスタンプ、ジェスチャID(スキップ又はライク)の情報を受信して収集する(ステップ401)。次に、解析サーバ30bは、スキップのジェスチャIDに関連付けられているタイムスタンプと、楽曲IDとに基づき、スキップ率の時間分布を、楽曲毎に生成する(ステップ402)。
次に、解析サーバ30bは、スキップ率の時間分布に基づいて、必要に応じてスキップ操作受付期間を変更(更新)する。
この場合、例えば、スキップの頻度がスキップ操作受付期間の前側に集中している場合には、スキップ操作受付期間の終了位置を前側に移動させてスキップ操作受付期間を短くしてもよい。
また、例えば、スキップの頻度がスキップ操作受付期間の後側に集中している場合には、スキップ操作受付期間の終了位置を後側に移動させてスキップ操作受付期間を長くしてもよい。また、この場合、スキップ操作受付期間の長さは一定のまま、スキップ操作受付期間の位置を後側にずらしてもよい。
次に、解析サーバ30bは、ライクのジェスチャIDに関連付けられているタイムスタンプと、楽曲IDとに基づき、ライク率の時間分布を、楽曲毎に生成する(ステップ404)。
次に、解析サーバ30bは、ライク率の時間分布に基づいて、必要に応じてライク操作受付期間を変更(更新)する(ステップ405)。
この場合、例えば、ライクの頻度がライク操作受付期間の前側に集中している場合(図8上側参照)には、ライク操作受付期間の開始位置を前側に移動させてライク操作受付期間を長くしてもよい。また、この場合、ライク操作受付期間の長さを一定のまま、ライク操作期間を前側にずらしてもよい。
また、例えば、ライクの頻度がライク操作受付期間の後側に集中している場合(図8下側参照)には、ライク操作受付期間の終了位置を後側に移動させてスキップ操作受付期間を長くしてもよい。また、この場合、スキップ操作受付期間の長さは一定のまま、スキップ操作受付期間の位置を後側にずらしてもよい。
次に、解析サーバ30bは、スキップ操作受付期間及びライク操作受付期間を、対応する楽曲IDと共にメタデータサーバ30cに送信する。メタデータサーバ30cは、スキップ操作受付期間及びライク操作受付期間を楽曲毎に記憶して楽曲毎に管理する。
第2実施形態では、楽曲毎のスキップ率の時間分布、楽曲毎のライク率の時間分布に合わせて、適切にスキップ操作受付期間、ライク操作受付期間の長さ、位置等を変更することができる。
第2実施形態の説明では、スキップ率の時間分布、ライク率の時間分布が楽曲毎に変わる可能性があるので、これに対応するために、楽曲毎に各操作受付期間の位置、長さなどを変える場合について説明した。
一方、スキップ率の時間分布、ライク率の時間分布は、ユーザ毎に変わる可能性がある。例えば、ユーザAは、他のユーザに比べてスキップを行う位置がイントロの前半に集中しており、ユーザBは、他のユーザに比べてスキップを行う位置がイントロの後半に集中しているかもしれない。
従って、ユーザ毎に各操作受付期間の位置、長さ等を変化させてもよい。この場合、解析サーバ30bは、ユーザ毎に、ユーザ個人によるスキップ率の時間分布、ライク率の時間分布を統計により取得して、この時間分布に基づいて、ユーザ毎に各操作受付期間の位置、長さ等を変化させる。
なお、スキップ操作受付期間、ライク操作受付期間は、例えば、その楽曲のおすすめ度等のメタデータに基づいて位置、長さ等が変更されてもよい。例えば、おすすめ度が高いほどスキップ操作受付期間が短く(あるいは長く)される。また、例えば、おすすめ度が高いほどライク操作受付期間が長くされる。
第2実施形態では、スキップ率、ライク率などの時間分布が、このシステム内において収集及び統計される場合について説明した。一方、このシステムとは関係せずに、ユーザが各機器(ヘッドフォン、スマートフォン、PC、音響機器等)において、通常の音楽アプリケーション等により楽曲を再生したときのスキップ操作、ライク操作等のタイミングの情報が、収集及び統計されてスキップ率、ライク率等の時間分布に反映されてもよい。
≪第3実施形態≫
次に、本技術の第3実施形態について説明する。上述の第1実施形態及び第2実施形態では、各操作受付期間の長さ、位置などが楽曲毎に異なる場合について説明した。一方、第3実施形態では、各操作受付期間の長さ、位置等が全ての楽曲で共通(固定)である場合について説明する。
図11は、第3実施形態において、スキップ操作受付期間、ライク操作受付期間を示す図である。
図11に示すように、第3実施形態では、スキップ操作受付期間が、再生開始位置(0秒)からX秒(例えば、3秒~10秒程度)までの期間とされており、それ以外の期間は、スキップ操作ブロック期間とされている。また、第3実施形態では、ライク操作受付期間が、再生終了位置よりもY秒(例えば、3秒~10秒程度)前から再生終了位置までの期間とされており、それ以外の期間は、ライク操作ブロック期間とされている。
第3実施形態において、スキップ操作操受付期間及びライク操作受付期間の長さ、位置は、全ての楽曲で共通である。
図12は、第3実施形態において、スマートフォン20により実行される処理を示すフローチャートである。
図12に示すフローチャート(第3実施形態)は、図6に示すフローチャート(第1実施形態)と大部分において共通しているが、図12に示すフローチャートでは、図6におけるステップ103に対応する処理が実行されない点で、図6と異なっている。
つまり、第3実施形態では、スマートフォン20は、メタデータサーバ30cから各操作受付期間を受信するといった処理(ステップ103)を実行しない。これは、第3実施形態では、スキップ操作受付期間及びライク操作受付期間の長さ、位置は、全ての楽曲で共通であるので、解析サーバ30bにおいてイントロ解析等を行って各操作受付期間を生成し、メタデータサーバ30cに記憶しておく必要がないためである。つまり、スマートフォン20側で、予め決まった位置、長さに各操作受付期間を設定すれば十分である。
なお、ここでの説明から理解されるように、第3実施形態において、解析サーバ30b、メタデータサーバ30cは、省略することができる。
図12に示すように、スマートフォン20は、ユーザから再生開始指示があると(ステップ501のYES)、楽曲配信サーバ30aから楽曲を取得する(ステップ502)。次に、スマートフォン20は、その楽曲において、決まった位置、長さにスキップ操作受付期間及びライク操作受付期間を設定する(ステップ503)。
このとき、スマートフォン20は、例えば、図11に示すように、再生開始位置(0秒)からX秒(例えば、3秒~10秒程度)までの期間にスキップ操作受付期間を設定し、それ以外の期間にスキップ操作ブロック期間を設定する。また、スマートフォン20は、例えば、再生終了位置よりもY秒(例えば、3秒~10秒程度)前から再生終了位置までの期間にライク操作受付期間を設定し、それ以外の期間に、ライク操作ブロック期間を設定する。
なお、それ以外の処理については、典型的には、図6(第1実施形態)と同じである。
≪第4実施形態≫
次に、本技術の第4実施形態について説明する。図13は、第4実施形態において、スキップ操作受付期間、ライク操作受付期間を示す図である。
第4実施形態では、特に、スキップ操作受付期間が上述の各実施形態と異なっており、スキップ操作受付期間が、楽曲の再生開始位置から再生ロック操作がユーザにより行われるまでの期間とされている。
再生ロック操作は、ユーザが、現在再生されている楽曲の再生をロック(つまり、再生を継続)させるためのジェスチャ操作である。なお、第4実施形態において、再生ロック操作は、ユーザが頷く動作とされているが、これについては適宜変更可能である。
つまり、第4実施形態では、スキップ操作受付期間は、楽曲の再生開始からユーザが頷くまでの期間であり、スキップ操作受付期間の終了位置が予め決まっていない。
図14は、第4実施形態において、スマートフォン20により実行される処理を示すフローチャートである。
スマートフォン20は、ユーザから再生開始指示が入力された場合(ステップ601のYES)、楽曲配信サーバ30aから楽曲を取得する(ステップ602)。次に、スマートフォン20は、その楽曲において、決まった位置、長さにライク操作受付期間を設定する(ステップ603)。
このとき、スマートフォン20は、例えば、図13に示すように、再生終了位置よりもY秒(例えば、3秒~10秒程度)前から再生終了位置までの期間にライク操作受付期間を設定し、それ以外の期間に、ライク操作ブロック期間を設定する。
なお、ここでの説明では、ライク操作受付期間の位置、長さが固定である場合について説明したが、ライク操作受付期間の位置、長さは、楽曲のサビの位置に合わせて可変とされていてもよい(ライク操作受付期間は、上記各実施形態のどれに対応していてもよい)。
次に、スマートフォン20は楽曲の再生を開始し(ステップ604)、ユーザから再生終了指示もなく(ステップ605のNO)、かつ、楽曲の再生が終了していななければ(ステップ606のNO)、ユーザによるジェスチャ操作が入力されたかどうかを判定する(ステップ607)。
ジェスチャ操作が入力された場合(ステップ607のYES)、スマートフォン20は、そのジェスチャ操作が首振りであったかどうかを判定し(ステップ608)、首振りであれば(ステップ608のYES)、現在においてスキップ操作受付期間内であるかどうかを判定する(ステップ609)。
そして、スマートフォン20は、現在においてスキップ操作受付期間である場合には(ステップ609のYES)、楽曲のスキップを実行し(ステップ610)、一方でスキップ操作ブロック期間である場合には(ステップ609のNO)、楽曲のスキップを実行しない。
ユーザにより入力されたジェスチャ操作が頷きであった場合(ステップ611のYES)、スマートフォン20は、現在においてライク操作受付期間であるかどうかを判定する(ステップ612)。
そして、スマートフォン20は、現在においてライク操作受付期間である場合には(ステップ612のYES)、楽曲のライク登録要求をユーザデータサーバ30dに送信する(ステップ613)。一方、ライク操作ブロック期間である場合には(ステップ612のNO)、楽曲のライク登録要求を送信せずに、ステップ614へ進む。
ステップ614では、スマートフォン20は、現在において、スキップ操作受付期間が継続中であるかどうかを判定する。スキップ操作受付期間が継続中である場合(ステップ614のYES)、スマートフォン20は、スキップ操作受付期間を終了させ(ステップ615)、ステップ605へ戻る。
ステップ614において、スキップ操作受付期間が既に終了している場合(ステップ614のNO)、つまり、ユーザが既に頷いて再生ロック操作を行っていた場合、スマートフォン20は、ステップ605へ戻る。
第4実施形態では、ユーザが任意のタイミングで頷くことで再生ロック状態とすることができる。
≪第5実施形態≫
次に、本技術の第5実施形態について説明する。図15は、第5実施形態における、スキップ操作受付期間、ライク操作受付期間を示す図である。
第5実施形態では、スキップ操作受付期間として、第1のスキップ操作受付期間と、第2のスキップ操作受付期間とが用意されている。また、ライク操作受付期間として、第1のライク操作受付期間と、第2のライク操作受付期間とが用意されている。
第5実施形態では、第1のスキップ操作受付期間は、首振り1回で、楽曲のスキップが実行される期間とされており、第2のスキップ操作受付期間は、首振り2回(所定時間内)で、楽曲のスキップが実行される期間とされている。
また、第5実施形態では、第1のライク操作受付期間は、頷き1回で、楽曲のライク登録が実行される期間とされており、第2のライク操作受付期間は、頷き2回(所定時間内)で、楽曲のライク登録が実行される期間とされている。
なお、第2のスキップ操作受付期間および第2のライク操作受付期間では、首振り回数および頷き回数は2回に限定されず、3回以上であってもよい。また、第2のスキップ操作受付期間と、第2のライク操作受付期間ではそれぞれ別の回数分ジェスチャが行われたら操作を受け付けるようにしてもよい(例えば第2のスキップ操作受付期間では首振り2回でスキップ、第2のライク操作受付期間では頷き3回でライク登録、等)。
ここで、第1のスキップ操作受付期間の位置、長さは、上述の各実施形態におけるスキップ操作受付期間の位置、長さに対応している。また、第2のスキップ操作受付期間の位置、長さは、上述の各実施形態におけるスキップ操作ブロック期間の位置、長さに対応している。
同様に、第1のライク操作受付期間の位置、長さは、上述の各実施形態におけるライク操作受付期間の位置、長さに対応している。また、第2のライク操作受付期間の位置、長さは、上述の各実施形態におけるライク操作ブロック期間の位置、長さに対応している。
つまり、第5実施形態では、上述の各実施形態におけるスキップ操作ブロック期間に代えて、第2のスキップ操作受付期間が設定され、ライク操作ブロック期間に代えて、第2のライク操作受付期間が設定されている。
なお、図15に示す例では、楽曲の再生期間において、第1の操作受付期間(第1のスキップ操作受付期間、第1のライク操作受付期間)と、第2の操作受付期間(第2のスキップ操作受付期間、第2のライク操作受付期間)との2種類の期間が含まれる場合が示されているが、第1の操作受付期間、第2の操作受付期間、操作ブロック期間の3種類の期間が含まれていてもよい。
図16は、第5実施形態において、スマートフォン20により実行される処理を示すフローチャートである。
図16における処理において、ステップ701~ステップ708は、図6におけるステップ101~ステップ108と典型的には同じである。
なお、ステップ703では、スマートフォン20は、第1のスキップ操作受付期間及び第1のライク操作受付期間(上記各実施形態におけるスキップ受付期間、ライク操作受付期間に対応)をメタデータサーバ30cから取得する。
そして、ステップ704において、スマートフォン20は、第1のスキップ操作受付期間を設定し、第1のスキップ操作受付期間を外れた期間に第2のスキップ操作受付期間を設定する。同様に、スマートフォン20は、第1のライク操作受付期間を設定し、第1のライク操作受付期間を外れた期間に第2のスキップ操作受付期間を設定する。
ユーザによりジェスチャ操作が入力された場合(ステップ708のYES)、スマートフォン20は、そのジェスチャ操作が首振り1回であったかどうかを判定する(ステップ709)。ジェスチャ操作が首振り1回であった場合(ステップ709のYES)、スマートフォン20は、現在において第1のスキップ操作受付期間であるかどうかを判定する(ステップ710)。
現在において第1のスキップ操作受付期間である場合(ステップ710のYES)、スマートフォン20は、楽曲のスキップを実行する(ステップ711)。一方、現在において第1のスキップ操作受付期間ではない場合(ステップ710のNO)、スマートフォン20は、楽曲のスキップを実行せずに、ステップ706へ戻る。
ステップ709において、ジェスチャ操作が首振り1回ではなかった場合(ステップ709のNO)、スマートフォン20は、ジェスチャ操作が首振り2回であったかどうかを判定する(ステップ712)。
ジェスチャ操作が首振り2回であった場合(ステップ712のYES)、スマートフォン20は、現在において第2のスキップ操作受付期間内であるかどうかを判定する(ステップ713)。現在において第2のスキップ操作受付期間である場合(ステップ713のYES)、スマートフォン20は、楽曲のスキップを実行する(ステップ711)。一方、現在において第2のスキップ操作受付期間ではない場合(ステップ713のNO)、スマートフォン20は、ステップ706へ戻る。
ステップ712において、ジェスチャ操作が首振り2回ではなかった場合(ステップ712のNO)、スマートフォン20は、ジェスチャ操作が頷き1回であったかどうかを判定する(ステップ714)。ジェスチャ操作が頷き1回であった場合(ステップ714のYES)、スマートフォン20は、現在において第1のライク操作受付期間であるかどうかを判定する(ステップ715)。
現在において第1のライク操作受付期間である場合(ステップ715のYES)、スマートフォン20は、ユーザデータサーバ30dへライク登録要求を送信する(ステップ716)。一方、現在において第1のライク操作受付期間ではない場合(ステップ715のNO)、スマートフォン20は、ライク登録要求を送信せずに、ステップ706へ戻る。
ステップ714において、ジェスチャ操作が頷き1回ではなかった場合(ステップ714のNO)、スマートフォン20は、ジェスチャ操作が頷き2回であったかどうかを判定する(ステップ717)。
ジェスチャ操作が頷き2回であった場合(ステップ717のYES)、スマートフォン20は、現在において第2のライク操作受付期間内であるかどうかを判定する(ステップ718)。現在において第2のライク操作受付期間である場合(ステップ718のYES)、スマートフォン20は、ユーザデータサーバ30dへライク登録要求を送信する(ステップ716)。一方、現在において第2のライク操作受付期間ではない場合(ステップ718のNO)、スマートフォン20は、ステップ706へ戻る。
第5実施形態では、第2の操作受付期間は、第1の操作受付期間よりも、スキップ、ライク等の処理を実行させるための条件が厳しくなっている。従って、ユーザの意図に反して誤動作が生じてしまうことを適切に防止することができる。また、第5実施形態では、ジェスチャ操作を完全にはブロックしていないので、ユーザは、第1の操作受付期間外においても、首振り2回、頷き2回等により任意の入力を行うことができる。
なお、第1の操作受付期間において、ユーザのジェスチャ操作の受付の感度を相対的に高くし、第2の操作受付期間において、ユーザのジェスチャ操作の受付の感度を相対的に低くすることもできる。例えば、第1の操作受付期間では、ジェスチャ操作をより感知しやすいように、ジェスチャ操作の検出角度の閾値を下げ、第2の操作受付期間に移行したら検出角度の閾値を上げるといった処理が行われてもよい。機械学習やディープラーニング等の手法が用いられてジェスチャ検出が行われてもよく、この場合、ジェスチャ検出の閾値が機械学習等により変更されてもよい。
この場合、例えば、第1のスキップ操作受付期間では、小さな首振り(1回)でも、楽曲のスキップが実行されるが、第2のスキップ操作受付期間では、大きな首振り(1回)でなければ、楽曲のスキップが実行されない。
また、例えば、第1のライク操作受付期間では、小さな頷き(1回)でも、楽曲のライク登録が実行されるが、第2のライク操作受付期間では、大きな頷き(1回)でなければ、楽曲のライク登録が実行されない。
また、例えば、以下のような方法もある。第1のスキップ操作受付期間では、首振り(1回)で楽曲のスキップが実行される。第2のスキップ操作受付期間では、首振り(1回)に対して、「スキップしますか?」との音声が出力され、この音声に対して首振りが行われた場合に、楽曲のスキップが実行される。
また、例えば、第1のライク操作受付期間では、頷き(1回)で楽曲のライク登録が実行される。第2のライク操作受付期間では、頷き(1回)に対して、「ライク登録しますか?」との音声が出力され、この音声に対して頷き(1回)が行われた場合に、楽曲のライク登録が実行される。
典型的には、第2の操作受付期間は、第1の操作受付期間よりも、ユーザの操作をコマンドとして受け付けるための条件が厳しく設定されていれば、どのような方法が用いられてもよい。
≪第6実施形態≫
次に、本技術の第6実施形態について説明する。第6実施形態では、楽曲の再生位置に応じて、SUI(Sound User Interface)によるメニューの項目の提示順が可変に制御される場合について説明する。ここでいうSUIとは、システムにより提示される音声及びユーザ操作による入力が用いられる、ヒアラブルであることを特徴とするユーザインタフェースである。
図17は、メニューの項目の提示順を示す図である。図17に示すように、スキップ率が高い楽曲のイントロに対応する期間に、第1の期間が設定されている。また、ライク率が高いサビに対応する期間に第2の期間が設定されている。
なお、第1の期間は、上述の各実施形態のスキップ操作受付期間(第1のスキップ操作受付期間)に対応しており、第2の期間は、上述の各実施形態のライク操作受付期間(第1のライク操作受付期間)に対応している。この第1の期間、第2の期間の位置、長さなどは、上述の各実施形態のスキップ操作受付期間、ライク操作受付期間の位置、長さ等と同じである。
従って、例えば、解析サーバ30bによりイントロ解析、サビ解析等を実行することで、第1の期間、第2の期間を求めることができる。
第1の期間内において、SUIの呼び出し操作(ジェスチャ、タップ、音声等どのような操作であってもよい)が行われると、第1の提示順で項目に対応する音声がユーザに対して提示される。第1の提示順では、ユーザによって入力される可能性が高い項目が優先的に先に来るように、その項目の順番が決められている。
第1の提示順では、1.「曲をスキップしますか?」2.「一時停止しますか?」、3.「曲を戻しますか?」・・の順番で項目が提示される。つまり、第1の期間では、楽曲をスキップする可能性が最も高いので、楽曲のスキップに対応する項目が1番先に提示される。
第2の提示順では、1.「ライク登録しますか?」2.「曲の情報を聞きますか?」、3.「一時停止しますか?」・・の順番で項目が提示される。つまり、第2の期間では、楽曲をライク登録する可能性が最も高いので、楽曲のライク登録に対応する項目が1番先に提示される。
第1の提示順、第2の提示順は、例えば、解析サーバ30bによる解析により決定される。例えば、解析サーバ30bは、スキップ率の時間分布、ライク率の時間分布、一時停止率の時間分布、曲戻し(前の楽曲に戻す)率の時間分布、曲情報を聞く率の時間分布等に基づいて、第1の提示順、第2の提示順を決定する。
これらの時間分布は、楽曲毎に変わる可能性があり、また、ユーザ毎に変わる可能性がある。従って、第1の提示順、第2の提示順は、曲毎、又は、ユーザ毎に可変とされていてもよい。
また、音声による項目の提示において、毎回のように1.「曲をスキップしますか?」2.「一時停止しますか?」、3.「曲を戻しますか?」・・とフルセンテンスで各項目の音声提示がされると、操作に慣れたユーザにとっては逆に煩わしくなることも考えられる。そのため、N回目の操作時まではフルセンテンスで音声提示を行い、N+1回目以降は1.「スキップ?」2.「一時停止?」、3.「曲を戻す?」・・といったような簡易的な音声提示がされるようにしてもよい。
ここでの説明では、音声による項目提示について説明したが、項目提示は、GUI(Graphical User Interface)等による表示によって行われてもよい。
≪第7実施形態≫
次に、本技術の第7実施形態について説明する。図18は、第7実施形態における、各操作受付期間を示す図である。
第7実施形態では、上記各実施形態におけるスキップ操作受付期間の代わりに、再生ロック操作受付期間が設定されている。再生ロックは、楽曲の再生をロック状態(継続再生)とするための処理であり、再生ロック操作は、再生ロックのためのユーザ操作である。
第7実施形態では、再生ロック操作は、ユーザが頷くジェスチャ操作とされているが、これについてはどのような操作であってよい。
図に示す例では、再生ロック期間は、楽曲のイントロに対応する期間とされている。なお、再生ロック操作受付期間の位置、長さは、上述の各実施形態におけるスキップ操作受付期間の位置、長さに対応している(可変、固定いずれであってもよい)。
再生ロック操作期間内に、ユーザが再生ロック操作(頷き)を行わなかった場合、次の楽曲にスキップされる。一方、ユーザが再生ロック操作受付期間内に再生ロック操作(頷き)を行った場合、楽曲のスキップは行われずに、再生が継続(再生がロック)される。
第7実施形態では、ユーザが積極的に頷かない限り、次の楽曲、次の楽曲、・・とテンポよく楽曲がスキップされることになる。ここで、特に、サブスクリプションでの楽曲の配信を利用しているユーザの場合、利用可能な楽曲数が多いので、このように次々に楽曲をスキップしてしまうような処理を実行すると、ユーザにとって便利である。
≪第8実施形態≫
以上の説明では、再生可能なコンテンツの一例として楽曲を例に挙げて説明した。一方、第8実施形態の説明では、コンテンツの一例として動画を例に挙げて説明する。
なお、ミュージックビデオは、楽曲兼動画であり、ミュージックビデオについては、上述の各実施形態における楽曲での処理と同じ処理が実行されてもよいし、以降で説明される動画での処理が実行されてもよい。
なお、第8実施形態では、楽曲配信サーバ30aの代わりに、動画配信サーバが用意される。動画配信サーバは、各スマートフォン20からの要求に応じて、各種の動画を配信する。この動画は、動画配信用の動画であってもよし、ユーザが録画したテレビ番組などであってもよい。この動画は、スマートフォン20の表示部23に表示される。
図19は、第8実施形態において、スキップ操作受付期間、ライク操作受付期間を示す図である。
動画は、コーナーA、コーナーB、コーナーC、CM、コーナーDを含む各シーンに区分されている(メタデータにより区分可能)。
解析サーバ30bは、各スマートフォン20からスキップ及びライクのタイミング(タイムスタンプ)を取得して集計しており、これにより、スキップ率の時間分布、ライク率の時間分布を、番組毎に集計する(三角形参照)。なお、スキップ率の時間分布、ライク率の時間分布は、ユーザ毎に変わる可能性があるので、解析サーバ30bは、スキップ率の時間分布、ライク率をユーザ毎に集計してもよい。
解析サーバ30bは、スキップ率の時間分布に基づき、スキップ操作受付期間を生成する。例えば、コーナーA、コーナーB、CMは、他のコーナーよりもスキップ率が相対的に高いので、コーナーA、コーナーB、CMに対応する期間をスキップ操作受付期間とする。
また、解析サーバ30bは、ライク率の時間分布に基づき、ライク操作受付期間を生成する。例えば、コーナーC、コーナーDは、他のコーナーよりもライク率が相対的に高いので、コーナーC、コーナーDに対応する期間をライク操作受付期間とする。
なお、解析サーバ30bは、時間分布の代わりに、あるいは、時間分布に加えて、動画のメタデータに基づいて、操作受付期間を生成してもよい。例えば、解析サーバ30bは、動画のメタデータから各コーナーにおいて誰が出演しているかを認識可能である。この場合に、例えば、コーナーDにそのユーザのお気に入りの女優が出演していた場合(ユーザデータサーバ30dから取得)、解析サーバ30bは、コーナーDに対応する期間をライク操作受付期間とする。また、解析サーバ30bは、コーナーDに対応する期間をスキップ操作受付期間から外す。
なお、ここでの例では、スキップ操作受付期間外の期間が、スキップ操作ブロック期間とされているが、スキップ操作ブロック期間の代わりに、第2のスキップ操作受付期間(入力のための条件が厳しい)が設定されてもよい。同様に、ライク操作ブロック期間の代わりに、第2のライク操作受付期間(入力のための条件が厳しい)が設定されていてもよい。
図20は、第8実施形態において、スマートフォン20により実行される処理を示すフローチャートである。
まず、スマートフォン20は、ユーザから動画の再生開始指示が入力された場合(ステップ801のYES)、動画配信サーバから動画を(ストリーミング)で取得する(ステップ802)。
次に、スマートフォン20は、メタデータサーバ30cからスキップ操作受付期間及びライク操作受付期間を取得する(ステップ803)。なお、スキップ操作受付期間及びライク操作受付期間は、解析サーバ30bによって予め生成され、メタデータサーバ30cに記憶されている。
次に、スマートフォン20は、スキップ操作受付期間及びライク操作受付期間を設定し(ステップ804)、動画の再生を開始する(ステップ805)。次に、スマートフォン20は、ユーザから再生終了指示が入力されたかどうかを判定し(ステップ806)、再生終了指示が入力された場合(ステップ806のYES)、動画の再生を終了して処理を終了する。
一方、再生終了指示が入力されていない場合(ステップ806のNO)、スマートフォン20は、現在再生されている動画の再生が終了したかどうかを判定する(ステップ807)。動画の再生が終了した場合(ステップ807のYES)、スマートフォン20は、処理を終了する。
一方、動画の再生が終了していない場合(ステップ807のNO)、スマートフォン20は、ユーザからジェスチャ操作が入力されたかどうかを判定する(ステップ808)。ジェスチャ操作が入力された場合(ステップ808のYES)、スマートフォン20は、そのジェスチャ操作が首振であったかどうかを判定する(ステップ809)。
ジェスチャ操作が首振りであった場合(ステップ809のYES)、スマートフォン20は、現在において、スキップ操作受付期間内であるかどうかを判定する(ステップ810)。現在において、スキップ操作受付期間内である場合(ステップ810のYES)、スマートフォン20は、現在のシーンを次のシーンへとスキップする処理を実行し(ステップ811)、ステップ806へ戻る。
一方、現在において、スキップ操作受付期間ではない場合(ステップ810のNO)(つまり、スキップ操作ブロック期間である場合)、スマートフォン20は、シーンをスキップする処理を実行せずに、ステップ806へ戻る。
ステップ809において、ジェスチャ操作が首振りではなかった場合(ステップ809のNO)、スマートフォン20は、ジェスチャ操作が頷きであったかどうかを判定する(ステップ812)。ジェスチャ操作が頷きであった場合(ステップ812のYES)、スマートフォン20は、現在において、ライク操作受付期間であるかどうかを判定する(ステップ813)。
現在において、ライク操作受付期間内である場合(ステップ813のYES)、スマートフォン20は、そのシーンのライク登録要求をユーザデータサーバ30dへ送信し(ステップ814)、ステップ806へ戻る。
一方、現在において、ライク操作受付期間ではない場合(ステップ813のNO)(つまり、ライク操作ブロック期間である場合)、スマートフォン20は、そのシーンのライク登録要求を送信せずに、ステップ806へ戻る。
<他の例>
次に、コンテンツが動画である場合の他の例について説明する。
[お気に入りのシーンを繰り返して見る]
お気に入りのシーンを何度も繰り返して見るユーザもいる。このため、例えば、ライク登録されたシーンについて、そのシーンの後半部分等に、リピート操作受付期間を設定するなどの方法も考えられる。ユーザがリピート操作受付期間内にリピート操作(例えば、頷く)を行うと、同じシーンがリピートされる。
[動画の停止位置に応じて、処理を変える]
例えば、動画の停止位置が動画のクライマックスシーンであるときに、ユーザが停止操作を行った場合、ユーザが、停止されたその位置からまたその動画を見る可能性が高いと考えられる。一方、動画の停止位置が、動画が開始された直後である場合には、ユーザが停止されたその位置からまたその動画を見る可能性が低いと考えられる。
従って、例えば、スマートフォン20は、動画の停止位置がクライマックスシーン(メタデータから認識可能)である場合には、その動画を次に見る動画として指定する。一方、スマートフォン20は、動画の停止位置が、動画が開始された直後である場合には、その動画を次に見る動画として指定しない。
なお、動画の停止位置だけでは、ユーザがどのような気持ちで動画を見ていてどのような意図で動画を停止したのか(面白いから次も見る。面白くないから次は見ない)を判断すること難しい場合も想定される。
従って、以下の情報を元に、ユーザの意図(面白いから次も見る。面白くないから次は見ない)を判断してもよい。
1.コンテンツ依存情報
(1)再生完遂率(統計)・・統計による再生完遂率が高い方が、そのユーザもその動画を面白いと思っている可能性が高い。
(2)シリーズ化による番組回数・・番組回数が多い動画の方が、そのユーザもその動画を面白いと思っている可能性が高い。
(3)レーティング・・レーティングが高い方が、そのユーザもその動画を面白いと思っている可能性が高い。
2.ユーザ依存情報
(4)情動センサ・・情動センサ(例えば、心拍センサ、発汗センサ等。ヘッドフォン10等に搭載される)により、停止したときのユーザの情動を判断する。ユーザの情動の変化が大きければ、ユーザがその動画を面白いと思っている可能性が高い。
(5)ユーザの予定表・・ユーザの予定表(スマートフォン20等に記憶されている)と、動画の停止時刻を比較し、動画の停止時刻がユーザの予定表と重なっていれば、理由があって動画を停止したと推測することができる(面白いと思っている可能性が高い)。
例えば、スマートフォン20は、動画の停止位置と、(1)~(5)のうち少なくとも1つの情報とを総合的に判断して、ユーザがどのような意図で動画の停止したのかを判断する。スマートフォン20は、ユーザがその動画を面白いと思っていると判断した場合には、その動画を次に見る動画として指定する。一方、スマートフォン20は、ユーザがその動画を面白いと思っていないと判断した場合には、その動画を次に見る動画として指定しない。
≪各種変形例≫
以上の説明では、ユーザ操作がジェスチャ操作(首振り、頷き等)である場合について説明した。一方、ユーザ操作は、ジェスチャ操作に限られない。例えば、ユーザ操作は、スマートフォン20の表示部23に表示される画像をタップする操作などであっても構わない。この場合、例えば、楽曲、動画の再生中に、ユーザが画像をタップすると、タップ操作が行われたタイミングがスキップ操作受付期間内であれば、スキップが行われる。また、タップ操作が行われたタイミングがライク操作受付期間内であれば、ライク登録が行われる。
以上の説明では、ヘッドフォン10のジェスチャ操作により制御される対象がスマートフォン20である場合について説明した。一方、この制御対象は、スマートフォン20に限られず、PC、テレビジョン装置、音響装置等どのような装置であっても構わない(コンテンツが動画である場合には、表示部23を有してればよい)。
以上で説明した、スマートフォン20での処理は、ヘッドフォン10により実行されてもよいし、サーバ装置30側で実行されてもよい。また、以上で説明した解析サーバ30bでの処理は、スマートフォン20、あるいは、ヘッドフォン10により実行されてもよい。
本明細書において、「情報処理装置」とは、上述の各種の処理を実行する主体を意味する。従って、ヘッドフォン10単体、スマートフォン20単体、サーバ装置30単体を情報処理装置と見做すこともできるし、ヘッドフォン10、スマートフォン20、サーバ装置30のうち2以上の組み合わせ(システム)を情報処理装置と見做すこともできる。
本技術は以下の構成をとることもできる。
(1)所定の時間長を有するコンテンツの再生中にユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する制御部
を具備する情報処理装置。
(2)上記(1)に記載の情報処理装置であって、
前記制御部は、前記再生位置において、各処理に対応する前記ユーザ操作を受け付ける第1の操作受付期間を前記処理毎に設定する
情報処理装置。
(3)上記(2)に記載の情報処理装置であって、
前記各処理は、第1の処理及び第2の処理を少なくとも含み
前記第1の処理に対応する第1の操作受付期間と、前記第2の処理に対応する第1の操作受付期間とは、異なる再生位置に設定される
情報処理装置。
(4) 上記(2)又は(3)に記載の情報処理装置であって、
前記制御部は、前記第1の操作受付期間外の期間に、前記ユーザ操作を受け付けない操作ブロック期間を設定する
情報処理装置。
(5) 上記(2)又は(3)に記載の情報処理装置であって、
前記制御部は、前記第1の操作受付期間外の期間に、第2の操作受付期間を設定する
情報処理装置。
(6) 上記(5)に記載の情報処理装置であって、
前記第2の操作受付期間は、前記ユーザ操作を受け付けるための条件が、前記第1の操作受付期間とは異なる期間である
情報処理装置。
(7)上記(6)に記載の情報処理装置であって、
前記第2の操作受付期間は、前記ユーザ操作を受け付けるための条件が、前記第1の操作受付期間よりも厳しい期間である
(8) 上記(2)~(6)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、前記第1の操作受付期間の長さ又は位置のうち少なくとも一方を可変に制御する
情報処理装置。
(9) 上記(8)に記載の情報処理装置であって、
前記制御部は、前記コンテンツ毎又はユーザ毎に、前記第1の操作受付期間を可変に制御する
情報処理装置。
(10) 上記(8)又は(9)に記載の情報処理装置であって、
前記制御部は、前記コンテンツのメタデータに基づいて、前記第1の操作受付期間を可変に制御する
情報処理装置。
(11) 上記(8)~(10)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、前記ユーザ操作が行われた前記再生位置でのタイミングに基づいて、前記第1の操作受付期間を可変に制御する
情報処理装置。
(12) 上記(11)に記載の情報処理装置であって、
前記制御部は、前記ユーザ操作が行われた前記再生位置でのタイミングにおける時間分布を統計により取得し、前記時間分布に基づいて、前記第1の操作受付期間を可変に制御する
情報処理装置。
(13) 上記(12)に記載の情報処理装置であって、
前記制御部は、複数のユーザ又はユーザ個人による前記ユーザ操作のタイミングを統計により取得することで、前記時間分布を取得する
情報処理装置。
(14)上記(1)に記載の情報処理装置であって、
前記コンテンツの再生位置に応じて、ユーザに提示される項目の優先順位を変化させる
情報処理装置。
(15) 上記(14)に記載の情報処理装置であって、
前記制御部は、前記ユーザ操作が行われた前記再生位置でのタイミングにおける時間分布を統計により取得し、前記時間分布に基づいて、前記項目の優先順位を可変に制御する
情報処理装置。
(16) 上記(15)に記載の情報処理装置であって、
前記制御部は、複数のユーザ又はユーザ個人による前記ユーザ操作のタイミングを統計により取得することで、前記時間分布を取得する
情報処理装置。
(17) 上記(1)~(16)のうちいずれか1つに記載の情報処理装置であって、
前記ユーザ操作は、ジェスチャ操作を含む
情報処理装置。
(18) ユーザ操作を検出する第1の装置と、
所定の時間長を有するコンテンツの再生中に前記ユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する第2の装置と
を具備する情報処理システム。
(19) 所定の時間長を有するコンテンツの再生中にユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する
情報処理方法。
(20) 所定の時間長を有するコンテンツの再生中にユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する
処理をコンピュータに実行させるプログラム。
10…ヘッドフォン
20…スマートフォン
30…サーバ装置
100…情報処理システム

Claims (20)

  1. 所定の時間長を有するコンテンツの再生中にユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する制御部
    を具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記制御部は、前記再生位置において、各処理に対応する前記ユーザ操作を受け付ける第1の操作受付期間を前記処理毎に設定する
    情報処理装置。
  3. 請求項2に記載の情報処理装置であって、
    前記各処理は、第1の処理及び第2の処理を少なくとも含み
    前記第1の処理に対応する第1の操作受付期間と、前記第2の処理に対応する第1の操作受付期間とは、異なる再生位置に設定される
    情報処理装置。
  4. 請求項2に記載の情報処理装置であって、
    前記制御部は、前記第1の操作受付期間外の期間に、前記ユーザ操作を受け付けない操作ブロック期間を設定する
    情報処理装置。
  5. 請求項2に記載の情報処理装置であって、
    前記制御部は、前記第1の操作受付期間外の期間に、第2の操作受付期間を設定する
    情報処理装置。
  6. 請求項5に記載の情報処理装置であって、
    前記第2の操作受付期間は、前記ユーザ操作を受け付けるための条件が、前記第1の操作受付期間とは異なる期間である
    情報処理装置。
  7. 請求項6に記載の情報処理装置であって、
    前記第2の操作受付期間は、前記ユーザ操作を受け付けるための条件が、前記第1の操作受付期間よりも厳しい期間である
    情報処理装置。
  8. 請求項2に記載の情報処理装置であって、
    前記制御部は、前記第1の操作受付期間の長さ又は位置のうち少なくとも一方を可変に制御する
    情報処理装置。
  9. 請求項8に記載の情報処理装置であって、
    前記制御部は、前記コンテンツ毎又はユーザ毎に、前記第1の操作受付期間を可変に制御する
    情報処理装置。
  10. 請求項8に記載の情報処理装置であって、
    前記制御部は、前記コンテンツのメタデータに基づいて、前記第1の操作受付期間を可変に制御する
    情報処理装置。
  11. 請求項8に記載の情報処理装置であって、
    前記制御部は、前記ユーザ操作が行われた前記再生位置でのタイミングに基づいて、前記第1の操作受付期間を可変に制御する
    情報処理装置。
  12. 請求項11に記載の情報処理装置であって、
    前記制御部は、前記ユーザ操作が行われた前記再生位置でのタイミングにおける時間分布を統計により取得し、前記時間分布に基づいて、前記第1の操作受付期間を可変に制御する
    情報処理装置。
  13. 請求項12に記載の情報処理装置であって、
    前記制御部は、複数のユーザ又はユーザ個人による前記ユーザ操作のタイミングを統計により取得することで、前記時間分布を取得する
    情報処理装置。
  14. 請求項1に記載の情報処理装置であって、
    前記コンテンツの再生位置に応じて、ユーザに提示される項目の優先順位を変化させる
    情報処理装置。
  15. 請求項14に記載の情報処理装置であって、
    前記制御部は、前記ユーザ操作が行われた前記再生位置でのタイミングにおける時間分布を統計により取得し、前記時間分布に基づいて、前記項目の優先順位を可変に制御する
    情報処理装置。
  16. 請求項15に記載の情報処理装置であって、
    前記制御部は、複数のユーザ又はユーザ個人による前記ユーザ操作のタイミングを統計により取得することで、前記時間分布を取得する
    情報処理装置。
  17. 請求項1に記載の情報処理装置であって、
    前記ユーザ操作は、ジェスチャ操作を含む
    情報処理装置。
  18. ユーザ操作を検出する第1の装置と、
    所定の時間長を有するコンテンツの再生中に前記ユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する第2の装置と
    を具備する情報処理システム。
  19. 所定の時間長を有するコンテンツの再生中にユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する
    情報処理方法。
  20. 所定の時間長を有するコンテンツの再生中にユーザ操作を受け付け、前記ユーザ操作が行われた際の前記コンテンツの再生位置に応じて、前記ユーザ操作に対して実行する処理を可変に制御する
    処理をコンピュータに実行させるプログラム。
JP2020139940A 2020-08-21 2020-08-21 情報処理装置、情報処理システム、情報処理方法及びプログラム Pending JP2023138873A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020139940A JP2023138873A (ja) 2020-08-21 2020-08-21 情報処理装置、情報処理システム、情報処理方法及びプログラム
PCT/JP2021/029639 WO2022039087A1 (ja) 2020-08-21 2021-08-11 情報処理装置、情報処理システム、情報処理方法及びプログラム
US18/040,187 US12124634B2 (en) 2020-08-21 2021-08-11 Information processing apparatus, information processing system, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020139940A JP2023138873A (ja) 2020-08-21 2020-08-21 情報処理装置、情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023138873A true JP2023138873A (ja) 2023-10-03

Family

ID=80322728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020139940A Pending JP2023138873A (ja) 2020-08-21 2020-08-21 情報処理装置、情報処理システム、情報処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2023138873A (ja)
WO (1) WO2022039087A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044591A (ja) * 2000-07-27 2002-02-08 Clarion Co Ltd ビデオディスクプレイヤ及びビデオディスク再生方法並びにビデオディスク再生用ソフトウェアを記録した記録媒体
JP3833653B2 (ja) * 2003-06-13 2006-10-18 シャープ株式会社 情報再生装置、情報再生装置の制御方法、コンテンツ記録媒体、制御プログラム、制御プログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
WO2022039087A1 (ja) 2022-02-24
US20230305631A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
US11567897B2 (en) Media content playback with state prediction and caching
US10802689B2 (en) Continuation of playback of media content by different output devices
US11340862B2 (en) Media content playback during travel
US11449221B2 (en) User interface for media content playback
US20210342885A1 (en) System and method for providing enhanced user-sponsor interaction in a media environment, including support for shake action
US10002642B2 (en) Methods and devices for generating media items
US11650787B2 (en) Media content identification and playback
US20200014979A1 (en) Methods and systems for providing relevant supplemental content to a user device
JP2024056690A (ja) Tvユーザ対話のためのインテリジェント自動アシスタント
US10134059B2 (en) System and method for delivering media content with music-styled advertisements, including use of tempo, genre, or mood
US10003840B2 (en) System and method for providing watch-now functionality in a media content environment
US9473548B1 (en) Latency reduction in streamed content consumption
US11514098B2 (en) Playlist trailers for media content playback during travel
US20150289025A1 (en) System and method for providing watch-now functionality in a media content environment, including support for shake action
JP2015518680A (ja) 受動的に検知された聴衆反応に基づくメディア・プログラムの提示制御
KR20140113465A (ko) 컨텐츠 기반 알림 메커니즘을 포함한 컴퓨터 시스템과 그 동작 방법
US10678497B2 (en) Display of cached media content by media playback device
US20160189222A1 (en) System and method for providing enhanced user-sponsor interaction in a media environment, including advertisement skipping and rating
US20160189232A1 (en) System and method for delivering media content and advertisements across connected platforms, including targeting to different locations and devices
US20200043512A1 (en) Audio Playout Report for Ride-Sharing Session
JP2023138873A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US12124634B2 (en) Information processing apparatus, information processing system, and information processing method