JP2014150435A - 再生装置および再生プログラム - Google Patents

Abstract

【課題】表情を和らげるコンテンツを再生すること。
【解決手段】再生装置１０は、コンテンツの内容を形容する属性情報が付されたコンテンツを再生するコンテンツ再生部３４と、人物の顔を撮像する撮像部１１と、撮像部１１で撮像された画像に基づいて、顔の表情を検出する表情検出部３１と、表情検出部３１によって検出されている表情を緩和する所定の属性情報が付されたコンテンツを再生対象として選ぶコンテンツ選択部３４と、コンテンツ選択部３４で選ばれたコンテンツをコンテンツ再生部３４に再生させる再生制御部３０と、を備える。
【選択図】図２

Description

本発明は、再生装置および再生プログラムに関する。

顔の表情に合った音楽を生成する音楽生成装置が知られている（特許文献１参照）。

特開２００７−２１９３９３号公報

従来技術では、明るい表情の場合に明るめの音楽が生成され、暗い表情の場合に暗めの音楽が生成されるため、例えば、現在の暗い表情を緩和させることが困難である。

本発明による再生装置は、コンテンツの内容を形容する属性情報が付されたコンテンツを再生するコンテンツ再生部と、人物の顔を撮像する撮像部と、撮像部で撮像された画像に基づいて、顔の表情を検出する表情検出部と、表情検出部によって検出されている表情を緩和する所定の属性情報が付されたコンテンツを再生対象として選ぶコンテンツ選択部と、コンテンツ選択部で選ばれたコンテンツをコンテンツ再生部に再生させる再生制御部と、を備えることを特徴とする。
本発明による再生プログラムは、コンテンツの内容を形容する属性情報が付されたコンテンツを再生するコンテンツ再生処理と、人物の顔が撮像された画像に基づいて、顔の表情を検出する表情検出処理と、表情検出処理によって検出されている表情を緩和する所定の属性情報が付されたコンテンツを再生対象として選ぶコンテンツ選択処理と、コンテンツ選択処理で選ばれたコンテンツを上記コンテンツ再生処理で再生させる再生制御処理と、をコンピュータに実行させることを特徴とする。

本発明によれば、表情を和らげるコンテンツを再生できる。

本発明の一実施の形態による再生装置の外観を例示する図であり、図１(a)は正面図、図１(b)は背面図である。 図１の再生装置の要部構成を例示するブロック図である。 制御部が実行する再生処理の流れを説明するフローチャートである。

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による再生装置１０の外観を例示する図であり、図１(a)は正面図、図１(b)は背面図である。再生装置１０は、例えば、スマートフォンと呼ばれる高機能携帯電話機によって構成されている。

図１(a)において、再生装置１０の正面に、カメラ１１と、表示・入力部２０と、が設けられる。再生装置１０の上面には、ヘッドフォン端子１２が設けられている。図１(b)において、再生装置１０の背面に、カメラ１３が設けられる。

図１(a)のカメラ１１は、再生装置１０でユーザーの表情検出機能を使用する際に表情検出用カメラとして使用される。カメラ１１はさらに、再生装置１０でテレビ電話機能を使用する際に、ユーザー撮影用カメラとしても使用される。

ヘッドフォン端子１２は、図示しないヘッドフォンを接続するための端子である。再生装置１０によって音声データに基づく音声を再生する際に、ヘッドフォン端子１２を介してヘッドフォンへ音声信号が出力される。表示・入力部２０は、画面表示部２２に画像やアイコン２１などを表示するディスプレイ機能と、ユーザーによる接触操作を受け付ける操作部機能とを兼ね備えたタッチパネル液晶ディスプレイによって構成される。

表示・入力部２０は再生装置１０の筐体正面を覆うように設けられており、画面表示部２２は、表示面かつ操作面である。表示・入力部２０は、ユーザーの指で画面表示部２２が接触操作されると、接触部の静電容量の変化に基づいて、接触操作されたこと、および接触位置を示す検出信号を出力する。

再生装置１０は、表示・入力部２０の画面表示部２２に表示しているアイコン２１に対応づけられているプログラムを起動させることにより、電話機能やメール機能、コンテンツ再生機能、カメラ機能など、各起動プログラムによって実現される機能を発揮する。なお、図１(a)に例示する画面表示部２２の表示内容は、いわゆるホーム画面の例である。図１(b)のカメラ１３は、再生装置１０でカメラ機能を発揮する際に撮影用カメラとして使用される。

図２は、図１の再生装置１０の要部構成を例示するブロック図である。図２において、再生装置１０は、表示・入力部２０と、制御部３０と、上記カメラ１１，１３と、上記ヘッドフォン端子１２と、通信部１４とを有する。

＜表示・入力部２０＞
表示・入力部２０は、位置検出部２３と、画面表示部２２と、を含む。位置検出部２３は、指による接触位置を示す位置検出信号と、表示制御部３３が有する表示情報（表示・入力部２０の画面表示部２２のどこに、何を表示させているかを示す情報）とに基づいて、表示・入力部２０の画面上の対象（アイコン２１など）を特定する。画面表示部２２は、上述したように表示面かつ操作面である。

＜制御部３０＞
制御部３０は、表情検出部３１と、プログラム実行部３２と、表示制御部３３と、コンテンツ再生部３４と、通信制御部３５と、不揮発性メモリ３６とを含み、再生装置１０内の各部の動作を制御する。表情検出部３１は、表情検出用として動作するカメラ１１で取得されたユーザーの顔の画像に基づいて、公知の表情検出処理を行ってユーザーの表情を検出する。

具体的には、顔の画像に含まれる目、口、しわの形状、口の開閉具合など、顔全体に分布する特徴に基づいて笑顔、怒り顔、悲しみ顔などを検出する。例えば、目尻が下がっている、目尻に皺がある、口角が上がっている、口が開いている、歯が露出している、ほうれい線が明瞭であるなどの特徴が顔画像から検出された場合、その顔画像の表情は「笑顔」であると判断する。また、目尻が上がっている、眉が上がっている、口角が下がっている、眉間の皺が明瞭であるなどの特徴が顔画像から検出された場合、その顔画像の表情は「怒り顔」であると判断する。

さらにまた、眉尻が上がるも眉全体として下がっている、伏せ目である、口角が下がっている、口を結んでいる、歯が露出していないなどの特徴が顔画像から検出された場合、その顔画像の表情は「悲しみ顔」であると判断する。

プログラム実行部３２は、表示・入力部２０の位置検出部２３によって特定されたアイコン２１に対応づけられているプログラムを実行する。プログラムは、不揮発性メモリ３６に格納されている。

表示制御部３３は、表示・入力部２０の画面表示部２２に、画像やアイコン２１などを表示させる。コンテンツ再生部３４は、不揮発性メモリ３６に格納されているコンテンツのファイルを読み出して再生する。本実施形態では、コンテンツの種類として動画コンテンツ、静止画コンテンツ、音楽コンテンツ、および書籍コンテンツを含む。

再生するコンテンツの種類は、ユーザーから表示・入力部２０への接触操作によって指示される。動画コンテンツを再生する場合のコンテンツ再生部３４は、動画データに基づく映像を画面表示部２２に表示させるとともに、関連付けられている音声データに基づく音声をヘッドフォン（不図示）で再生させる。動画コンテンツは、テレビ番組や映画、ビデオ作品を含む。

静止画コンテンツを再生する場合のコンテンツ再生部３４は、静止画データに基づく画像を画面表示部２２に表示させる。音楽コンテンツを再生する場合のコンテンツ再生部３４は、音楽データに基づく楽曲をヘッドフォン（不図示）で再生させる。書籍コンテンツを再生する場合のコンテンツ再生部３４は、書籍データに基づく書籍の内容を画面表示部２２に表示させる。

通信制御部３５は、通信部１４を介して行う外部機器との通信を制御する。不揮発性メモリ３６は、プログラム実行部３２が実行するプログラム、コンテンツ再生部３４で再生するコンテンツファイルを格納する。プログラムやコンテンツファイルは、通信部１４を介して不揮発性メモリ３６へ更新記憶、または追加記憶することが可能である。

＜通信部１４＞
通信部１４は、通信制御部３５からの指示に応じて無線通信を行う。通信部１４は、無線ＬＡＮ(Local Area Network)のアクセスポイントを経由する通信と、携帯電話回線網を経由する通信とが可能に構成されている。

＜コンテンツ再生＞
本実施形態の再生装置１０は、制御部３０（コンテンツ再生部３４）で行うコンテンツ再生処理に特徴を有するので、以降の説明はこの点を中心に行う。再生装置１０が再生するコンテンツのファイルには、あらかじめコンテンツの属性を示すタグ情報が付されている。

属性は、例えば「明るい」、「軽い」、「簡単」、「暗い」、「重い」、「難しい」、「笑い」、「楽しい」、「面白い」などのキーワードで表され、そのコンテンツの内容を形容するものである。本実施形態では上記キーワードを以下の３つのグループに分類する。第１グループは、属性が「明るい」、「軽い」、「簡単」の少なくとも１つに該当するものである。第２グループは、「暗い」、「重い」、「難しい」の少なくとも１つに該当するものである。第３グループは、「笑い」、「楽しい」、「面白い」の少なくとも１つに該当するものである。

コンテンツ再生部３４は、コンテンツの再生が指示されると、表情検出部３１によって検出されているユーザーの表情に応じた属性に該当するコンテンツを選んで再生する。具体的には、ユーザーの表情が「笑顔」の場合は、上記第２グループの属性に該当するコンテンツを再生し、ユーザーの表情が「怒り顔」の場合は上記第３グループの属性に該当するコンテンツを再生し、ユーザーの表情が「悲しみ顔」の場合は上記第１グループの属性に該当するコンテンツを再生する。

ユーザーの表情が「悲しみ顔」の場合の再生ファイルの属性を第１グループとする理由は、「明るい」、「軽い」、または「簡単」で形容されるコンテンツを再生することで、ユーザーを「悲しみ顔」にさせている「暗い」、「沈んだ」、「重い」気分を回復、改善させるためである。

ユーザーの表情が「笑顔」の場合の再生ファイルの属性を第２グループとする理由は、ユーザーを「笑顔」にさせる「楽しい」、「嬉しい」ときは気分に余裕があるので、「暗い」、「重い」、または「難しい」で形容されるコンテンツの鑑賞に耐え得るからである。

ユーザーの表情が「怒り顔」の場合の再生ファイルの属性を第３グループとする理由は、「笑い」、「楽しい」、または「面白い」で形容されるコンテンツを再生することで、ユーザーを「怒り顔」にさせている「不快」、「興奮」した気分を回復、改善させるためである。

＜フローチャートの説明＞
制御部３０が実行する再生処理の流れについて、図３に例示するフローチャートを参照して説明する。制御部３０は、コンテンツ再生プログラムに対応付けられたアイコン２１を選択するための表示・入力部２０への接触操作がなされると、図３による処理を起動させる。なお、再生するコンテンツの種類も接触操作によって指示される。

図３のステップＳ１１において、制御部３０は、再生するコンテンツが動画コンテンツか否かを判定する。制御部３０は、指示されているコンテンツの種類が動画コンテンツである場合にステップＳ１１を肯定判定してステップＳ１２へ進み、指示されているコンテンツの種類が動画コンテンツでない場合には、ステップＳ１１を否定判定してステップＳ１３へ進む。ステップＳ１２において、制御部３０は、動画コンテンツを再生対象にしてステップＳ１８へ進む。

ステップＳ１３において、制御部３０は、再生するコンテンツが静止画コンテンツか否かを判定する。制御部３０は、指示されているコンテンツの種類が静止画コンテンツである場合にステップＳ１３を肯定判定してステップＳ１４へ進み、指示されているコンテンツの種類が静止画コンテンツでない場合には、ステップＳ１３を否定判定してステップＳ１５へ進む。ステップＳ１４において、制御部３０は、静止画コンテンツを再生対象にしてステップＳ１８へ進む。

ステップＳ１５において、制御部３０は、再生するコンテンツが音楽コンテンツか否かを判定する。制御部３０は、指示されているコンテンツの種類が音楽コンテンツである場合にステップＳ１５を肯定判定してステップＳ１６へ進み、指示されているコンテンツの種類が音楽コンテンツでない場合には、ステップＳ１５を否定判定してステップＳ１７へ進む。ステップＳ１６において、制御部３０は、音楽コンテンツを再生対象にしてステップＳ１８へ進む。ステップＳ１７において、制御部３０は、書籍コンテンツを再生対象にしてステップＳ１８へ進む。

ステップＳ１８において、制御部３０は、表情検出部３１によりユーザーの表情を検出してステップＳ１９へ進む。ステップＳ１９において、制御部３０は、検出したユーザーの表情に基づいて、上記属性のグループを判定してステップＳ２０へ進む。ステップＳ２０において、制御部３０は、再生対象のファイルの中から、上記判定したグループのキーワードに対応する属性のファイルを選んでステップＳ２１へ進む。なお、該当するファイルが複数存在する場合は、例えば、不揮発性メモリ３６に格納された時期が新しいファイルを選ぶ。

ステップＳ２１において、制御部３０は、ステップＳ２０で選んだファイルを読み出し、ファイルのコンテンツデータをコンテンツ再生部３４で再生してステップＳ２２へ進む。ステップＳ２２において、制御部３０は、再生処理を終了するか否かを判定する。制御部３０は、表示・入力部２０への接触操作によって終了が指示されるとステップＳ２２を肯定判定して図３による処理を終了する。制御部３０は、終了が指示されない場合にはステップＳ２２を否定判定してステップＳ１１へ戻る。ステップＳ１１へ戻る場合は上述した処理を繰り返す。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）再生装置１０は、コンテンツの内容を形容する属性情報が付されたコンテンツを再生する制御部（コンテンツ再生部３４）と、人物の顔を撮像するカメラ１１と、カメラ１１で撮像された画像に基づいて、顔の表情を検出する表情検出部３１と、表情検出部３１によって検出されている表情を緩和する所定の属性情報が付されたコンテンツを再生対象として選ぶ制御部３０（コンテンツ再生部３４）と、制御部３０（コンテンツ再生部３４）で選ばれたコンテンツを制御部３０（コンテンツ再生部３４）に再生させる制御部３０と、を備える。これにより、ユーザーの表情を和らげるコンテンツを再生できる。

（２）上記（１）の再生装置１０において、表情検出部３１は怒り顔を検出し、制御部３０（コンテンツ再生部３４）は、怒り顔にあらかじめ対応づけられている属性情報「笑い」、「楽しい」、「面白い」が付されたコンテンツを再生対象に選ぶようにした。これにより、ユーザーを「怒り顔」にさせている「不快」、「興奮」した気分を回復、改善させ得る。

（３）上記（１）または（２）に記載の再生装置１０において、表情検出部３１は、悲しみ顔を検出し、制御部３０（コンテンツ再生部３４）は、悲しみ顔にあらかじめ対応づけられている属性情報「明るい」、「軽い」、「簡単」が付されたコンテンツを再生対象に選ぶようにした。これにより、ユーザーを「悲しみ顔」にさせている「暗い」、「沈んだ」、「重い」気分を回復、改善させ得る。

（４）上記（１）〜（３）に記載の再生装置１０において、表情検出部３１は、笑顔を検出し、制御部３０（コンテンツ再生部３４）は、笑顔にあらかじめ対応づけられている属性情報「暗い」、「重い」、「難しい」が付されたコンテンツを再生対象に選ぶ。ユーザーを「笑顔」にさせる「楽しい」、「嬉しい」ときは気分に余裕があるので、「暗い」、「重い」、「難しい」で形容されるコンテンツの鑑賞に耐え得るからである。

（変形例１）
上述した実施形態では、高機能携帯電話機を例に再生装置１０を説明したが、タブレット型端末や、パーソナルコンピュータによって再生装置を構成してもよい。パーソナルコンピュータへのプログラムの供給は、例えば、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体をパーソナルコンピュータにセットして行ってもよいし、ネットワークなどの通信回線を経由する方法でパーソナルコンピュータへローディングしてもよい。通信回線を経由する場合は、当該通信回線に接続されたサーバーのハードディスク装置などにプログラムを格納しておく。プログラムは、記憶媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。一方、タブレット型端末へのプログラムの供給は、再生装置１０と同様に、無線ＬＡＮのアクセスポイントを経由する通信や、携帯電話回線網を経由する通信によって供給できる。

（変形例２）
上記説明では、再生装置１０内の不揮発性メモリ３６にあらかじめ再生対象のコンテンツを格納しておき、このコンテンツを再生する例を説明した。この代わりに、通信部１４を介して外部機器から再生対象のコンテンツのデータを所定のデータサイズに分けて受信しながら再生を行う、いわゆるストリーミング再生を行うように構成してもよい。一般に、動画コンテンツはファイルサイズが大きいところ、変形例２によれば、再生装置１０に大容量の不揮発性メモリ３６を備えることなしに、動画コンテンツの再生が可能となる。

（変形例３）
制御部３０が再生対象のコンテンツとして音楽コンテンツを選んでいる場合、表情検出部３１により検出されたユーザーの表情に応じて音楽コンテンツの再生状態を変更してもよい。例えば、再生時の音量を変更したり、再生する楽曲のキーを変更したり、再生速度（テンポ）を変更したりする。音楽コンテンツを再生中にユーザーの表情に変化が生じた場合は、表情の変化に合わせて音楽コンテンツの再生状態をリアルタイムに変化させてもよい。再生音量、再生速度、再生キーは、いずれか１つの項目を変化させてもよいし、複数の項目を変化させてもよい。ユーザーの表情に応じて音楽コンテンツの再生状態を変更することで、ユーザーの気分の回復、改善度合いを高め得る。

（変形例４）
ユーザーの表情に応じて選んだ再生対象のコンテンツを再生開始後、表情検出部３１により検出されたユーザーの表情が回復、改善しない場合には、制御部３０は、再生中のコンテンツの再生に代えて、他のコンテンツを選んで再生するようにしてもよい。ユーザーの表情の回復、改善効果が見られないコンテンツに代えて他のコンテンツを再生することで、ユーザーの気分の回復、改善度合いを高め得る。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

１０…再生装置
１１、１３…カメラ
１２…ヘッドフォン端子
１４…通信部
２０…表示・入力部
２２…画面表示部
２３…位置検出部
３０…制御部
３１…表情検出部
３４…コンテンツ再生部
３６…不揮発性メモリ

Claims (7)

1. コンテンツの内容を形容する属性情報が付されたコンテンツを再生するコンテンツ再生部と、
   人物の顔を撮像する撮像部と、
   前記撮像部で撮像された画像に基づいて、前記顔の表情を検出する表情検出部と、
   前記表情検出部によって検出されている表情を緩和する所定の属性情報が付されたコンテンツを再生対象として選ぶコンテンツ選択部と、
   前記コンテンツ選択部で選ばれたコンテンツを前記コンテンツ再生部に再生させる再生制御部と、
   を備えることを特徴とする再生装置。
2. 請求項１に記載の再生装置において、
   前記表情検出部は怒り顔を検出し、
   前記コンテンツ選択部は、前記怒り顔にあらかじめ対応づけられている属性情報が付されたコンテンツを再生対象に選ぶことを特徴とする再生装置。
3. 請求項１または２に記載の再生装置において、
   前記表情検出部は、悲しみ顔を検出し、
   前記コンテンツ選択部は、前記悲しみ顔にあらかじめ対応づけられている属性情報が付されたコンテンツを再生対象に選ぶことを特徴とする再生装置。
4. 請求項１〜３のいずれか一項に記載の再生装置において、
   前記表情検出部は、笑顔を検出し、
   前記コンテンツ選択部は、前記笑顔にあらかじめ対応づけられている属性情報が付されたコンテンツを再生対象に選ぶことを特徴とする再生装置。
5. 請求項１〜４のいずれか一項に記載の再生装置において、
   前記コンテンツは音楽コンテンツを含み、
   前記コンテンツ選択部によって前記音楽コンテンツが選ばれている場合の前記再生制御部は、前記音楽コンテンツの再生中に前記表情検出部で検出された表情の変化に応じて再生音量、再生速度、および再生キーの少なくとも１つを変化させるように前記コンテンツ再生部を制御することを特徴とする再生装置。
6. 請求項１〜５のいずれか一項に記載の再生装置において、
   前記再生制御部は、前記コンテンツの再生中に前記表情検出部で検出された表情が変化しない場合に、再生中のコンテンツに代えて前記コンテンツ選択部によって選ばれた他のコンテンツを再生するように前記コンテンツ再生部を制御することを特徴とする再生装置。
7. コンテンツの内容を形容する属性情報が付されたコンテンツを再生するコンテンツ再生処理と、
   人物の顔が撮像された画像に基づいて、前記顔の表情を検出する表情検出処理と、
   前記表情検出処理によって検出されている表情を緩和する所定の属性情報が付されたコンテンツを再生対象として選ぶコンテンツ選択処理と、
   前記コンテンツ選択処理で選ばれたコンテンツを前記コンテンツ再生処理で再生させる再生制御処理と、
   をコンピュータに実行させることを特徴とする再生プログラム。
   

Images