JP2019132928A - 車両用楽曲提供装置 - Google Patents

Abstract

【課題】車両に乗車している全員に対して、より満足度の高い楽曲を提供する。【解決手段】本実施形態の車両用楽曲再生装置は、楽曲やコンテンツを再生する再生部１６と、楽曲やコンテンツを再生中の車両の乗員の顔を撮影する撮影部５、７、９と、乗員の顔画像に基づいて顔の表情を認識し、再生された楽曲やコンテンツを評価する楽曲評価部１１と、楽曲やコンテンツの評価結果を乗員に紐づけて記憶する評価記憶部１２とを備えたものである。【選択図】図１

Description

本発明は、車両用楽曲提供装置に関する。

乗車したユーザの中の優先順位が最上位のユーザの好みに合う楽曲または番組を自動的に選択するように構成された車載オーディオ装置が、特許文献１に記載されている。この装置の場合、優先度の高い楽曲または番組をユーザ自身が設定しなければならないため、手間がかかり、また、選択可能な楽曲または番組も、車載オーディオ装置に内蔵されたものに限られるという問題がある。

また、特許文献２には、車両のドライバの性格や精神状態に基づいて楽曲を提案して再生するように構成され、更に、楽曲をセンターから通信回線を介して受信して再生するように構成された装置が記載されている。この構成の場合、車両に複数の人が乗車していても、車内で再生される楽曲は、ドライバ１人だけに適した楽曲となることから、車両に乗車している全員に対して、より満足度の高い楽曲を提供することが難しいという問題があった。

特開２０１５−１１４９６９号公報 特開２００９−６７３０７号公報

本発明の目的は、車両に乗車している全員に対して、より満足度の高い楽曲を提供することができる車両用楽曲提供装置を提供することにある。

請求項１の発明は、楽曲やコンテンツを再生する再生部１６と、楽曲やコンテンツを再生中の車両の乗員の顔を撮影する撮影部５、７、９と、乗員の顔画像に基づいて顔の表情を認識し、再生された楽曲やコンテンツを評価する楽曲評価部１１と、楽曲やコンテンツの評価結果を乗員に紐づけて記憶する評価記憶部１２とを備えた車両用楽曲再生装置である。

第１実施形態の車両用楽曲再生装置の全体概略構成を示すブロック図 評価点付与制御のフローチャート 楽曲データベースの例を示す図 提案制御のフローチャート 第２実施形態を示す楽曲データベースの例を示す図 モード選択画面の例を示す図 季節を選択する画面の例を示す図

（第１実施形態）
以下、第１実施形態の車両用楽曲再生装置について、図１ないし図４を参照して説明する。車両用楽曲再生装置１は、図１に示すように、車両２に配設された車載機３と、車両２に配設され運転席４に座ったドライバを認識する運転席認識部５と、車両２に配設され助手席６に座った乗員を認識する助手席認識部７と、車両２に配設され後部座席８に座った乗員を認識する後部座席認識部９とを備えて構成されている。

車載機３は、車両用楽曲再生装置１の主要部を構成するものであり、この車載機３に運転席認識部５、助手席認識部７及び後部座席認識部９が接続されている。車載機３は、制御部１１と、記憶部１２と、表示部１３と、入力操作部１４と、無線通信部１５と、オーディオ装置１６と、楽曲記憶装置１７とを備えている。

制御部１１は、車両用楽曲再生装置１全体を制御するものであり、楽曲評価部、グループ評価部及び楽曲選択部としての各機能を有している。記憶部１２は、例えばＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスク等で構成されており、評価記憶部及び端末記憶部としての各機能を有している。記憶部１２には、多数の楽曲やコンテンツ等が記憶されている。制御部１１は、記憶部１２にデータを記憶させる、または、記憶部１２内のデータを読み出す。

表示部１３は、例えば液晶ディスプレイ等で構成されており、制御部１１は表示部１３に種々の情報や画像等を表示することが可能になっている。入力操作部１４は、表示部１３の画面に設けられたタッチパネルや、表示部１３の周辺部に設けられたメカスイッチや、リモコン等で構成されている。入力操作部１４は、ユーザにより操作されると、操作に応じて操作信号を制御部１１へ送信する。

無線通信部１５は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信（以下、ＢＴ通信と称す）等の近距離無線通信や、携帯電話通信等の無線通信を行なう機能を有している。制御部１１は、無線通信部１５のＢＴ通信を介して、車両２に乗っている複数の乗員が所持している携帯端末１８、１９、２０等と通信することが可能である。携帯端末１８、１９、２０等には、各所持者が興味を持つ多数の楽曲やコンテンツが保存されている。また、制御部１１は、無線通信部１５の携帯電話通信を介して、情報センタと通信することが可能である。情報センタには、非常に多数の楽曲やコンテンツが保存された楽曲データベースが設けられている。

オーディオ装置１６は、スピーカやアンプ等を有しており、制御部１１から楽曲やコンテンツの情報を入力すると、入力した楽曲やコンテンツを再生し、スピーカから出力する。オーディオ装置１６は、再生部としての機能を有する。また、オーディオ装置１６は、制御部１１から楽曲やコンテンツの名称等の選択情報を入力すると、入力した選択情報の楽曲やコンテンツを楽曲記憶装置１７から読み出し、読み出した楽曲やコンテンツを再生し、スピーカから出力する。楽曲記憶装置１７は、ＣＤやＤＶＤやハードディスク等で構成され、多数の楽曲やコンテンツが保存されている。

また、運転席認識部５は、運転席４に座ったドライバの顔を撮影するカメラと、撮影された顔画像を画像認識処理する認識部とを備えている。運転席認識部５は、撮影部及び検知部としての各機能を有する。運転席認識部５は、ドライバの顔の表情や、顔の動作（例えば目のまたたき、口の動き、口ずさむ動作等）や、体の振動の有無等を検出し、検出した情報を制御部１１へ送信する。

助手席認識部７は、助手席６に座った乗員の顔を撮影するカメラと、撮影された顔画像を画像認識処理する認識部とを備えている。助手席認識部７は、撮影部及び検知部としての各機能を有する。助手席認識部７は、助手席６の乗員の顔の表情や、顔の動作（例えば目のまたたき、口の動き、口ずさむ動作等）や、体の振動の有無等を検出し、検出した情報を制御部１１へ送信する。

後部座席認識部９は、後部座席８に座った複数の乗員の各顔を撮影する撮影部である例えばカメラと、撮影された複数の乗員の各顔画像を画像認識処理する認識部とを備えている。後部座席認識部９は、撮影部及び検知部としての各機能を有する。後部座席認識部９は、後部座席８の複数の乗員の顔の表情や、顔の動作（例えば目のまたたき、口の動き、口ずさむ動作等）や、体の振動の有無等を検出し、検出した情報を制御部１１へ送信する。

次に、上記構成により楽曲やコンテンツに評価結果例えば評価点を付与する評価点付与制御、即ち、学習制御について、図２を参照して説明する。図２のフローチャートは、制御部１１の制御のうちの評価点付与制御の内容を示す。この制御は、現在、車室内で再生されている楽曲について実行される。

まず、図２のステップＳ１０においては、制御部１１は、運転席認識部５、助手席認識部７、及び後部座席認識部９によって車両１に乗っている複数の乗員を認識し、認識した複数の乗員にそれぞれ番号、即ち、乗員番号を付与し、付与した各乗員番号を記憶部１２に記憶する。続いて、ステップＳ２０へ進み、制御部１１は、無線通信部１５の例えばＢＴ通信を介して各乗員の携帯端末１８、１９、２０と通信することにより、または、オーディオ装置１６と通信することにより、車室内で現在再生されている楽曲の出所、即ち、どの端末またはオーディオ装置１６から楽曲が再生されているかの情報を認識し、認識した楽曲の出所の情報を記憶部１２に記憶する。

次いで、ステップＳ３０へ進み、制御部１１は、運転席認識部５、助手席認識部７、及び後部座席認識部９によって、楽曲が現在再生されているときの各乗員の表情や、動作、例えば目のまたたき、口の動き、口ずさむ動作等や、体の振動の有無等を認識した情報を取得する。そして、ステップＳ４０へ進み、制御部１１は、取得した情報に基づいて再生されている楽曲に対する各乗員の好感度、例えば楽曲を好きそうな兆候や楽曲を嫌っている兆候等を推察し、即ち、読み取り、各乗員の好感度評価点、具体的には、―１０から１０までの点を付与する。

続いて、ステップＳ５０へ進み、各乗員について第１の乗員から順に、登録済の乗員であるか否かを判断する。ここで、登録済の乗員でないときには（ＮＯ）、ステップＳ８０へ進み、制御部１１は、楽曲の情報として、楽曲の名称の情報に、楽曲の出所や、楽曲に対する乗員の好感度評価点等の情報を紐付した情報を記憶部１２に記憶、即ち、保存する。

記憶部１２に保存している複数の楽曲の情報、即ち、楽曲データベースの一例を、図３に示す。図３に示すように、例えば楽曲Ａについては、名称、楽曲の出所である端末を特定する情報（端末２、即ち、携帯情報端末１９）、乗員１、即ち、ドライバの好感度評価点（例えば５点）、乗員２、即ち、助手席の乗員の好感度評価点（例えば−３点）が記憶されている。また、楽曲Ｂについては、名称、楽曲の出所である車載機３の記憶部１２を特定する情報、乗員１の好感度評価点（例えば９点）、乗員２の好感度評価点（例えば８点）、乗員３、即ち、後部座席の１人の乗員の好感度評価点（例えば１０点）が記憶されている。また、楽曲Ｃについては、名称、楽曲の出所である端末を特定する情報（端末１、即ち、携帯情報端末１８）、乗員１の好感度評価点（例えば８点）、乗員２の好感度評価点（例えば−５点）、乗員３の好感度評価点（例えば１点）が記憶されている。

一方、上記ステップＳ５０において、登録済の乗員であるときには（ＹＥＳ）、ステップＳ６０へ進み、制御部１１は、楽曲の情報として、楽曲の名称、楽曲の出所、楽曲に対する乗員の好感度評価点等の情報を記憶部１２に記憶する。この場合、既に乗員が登録済であるから、前回登録した好感度評価点と、今回の好感度評価点との例えば平均をとった値を記憶、即ち、更新しても良いし、今回の好感度評価点を記憶、即ち、更新するように構成しても良い。

そして、上記ステップＳ６０または上記ステップＳ８０を実行した後は、ステップＳ７０へ進み、全ての乗員について好感度評価点の保存が完了したか否か、即ち、乗員全員が済んだか否かを判断する。ここで、全ての乗員について好感度評価点の保存が完了していないときには（ＮＯ）、ステップＳ５０へ戻り、上述した処理を繰り返し実行する。また、上記ステップＳ７０において、全ての乗員について好感度評価点の保存が完了したときには、「ＹＥＳ」へ進み、本学習制御を終了する。

次に、再生する楽曲やコンテンツを乗員に提案する制御、即ち、提案制御について、図４を参照して説明する。図４のフローチャートは、制御部１１の制御のうちの楽曲の提案制御の内容を示す。この制御は、再生する楽曲が乗員により選択されていないとき、楽曲の再生が終了したとき、選択された楽曲が再生可能な楽曲でないとき等に実行される。

まず、図４のステップＳ１１０においては、制御部１１は、運転席認識部５、助手席認識部７、及び後部座席認識部９によって車両１に乗っている乗員を各別に認識、即ち、乗員構成を認識する。この場合、認識した各乗員が、記憶部１２内の楽曲データベースに登録されている乗員、即ち、学習済の乗員であるかどうかを検索して検索結果を記憶しておくように構成されている。

続いて、ステップＳ１２０へ進み、制御部１１は、前記学習制御で楽曲データベースに保存した楽曲に対する好感度評価点、特には、学習済の全ての乗員の好感度評価点を読み出し、全ての乗員の好感度評価点を合計した合計評価点を算出するように構成されている。尚、楽曲に対する乗員の好感度評価点が記憶されていない場合には、その乗員の好感度評価点は０点であるとして上記合計評価点を算出するように構成されている。上記合計評価点を算出する演算が、設定した条件の演算に対応している。そして、合計評価点が、複数の乗員のグループ評価結果、即ち、グループとしての楽曲評価結果に対応している。更に、制御部１１は、楽曲やコンテンツを合計評価点が大きい順に並べ、合計評価点が大きい楽曲やコンテンツから順に選択するようになっている。この場合、少なくとも１人の乗員の好感度評価点がマイナスの楽曲やコンテンツ、即ち、少なくとも１人の乗員が嫌いな楽曲やコンテンツは、選択しないように構成されている。また、１回選択された楽曲は、選択しないように構成されている。

次いで、ステップＳ１３０へ進み、選択した楽曲が有るか否か、即ち、乗員に提示する候補の楽曲が有るか否かを判断する。ここで、候補の楽曲が有るときには（ＹＥＳ）、ステップＳ１４０へ進み、候補の楽曲を提供、即ち、再生可能であるか否かを判断する。ここで、候補の楽曲を提供可能であるときには（ＹＥＳ）、ステップＳ１５０へ進み、制御部１１は、楽曲を再生するために必要な対応、即ち、楽曲の出所例えば携帯端末１８、１９、２０等と通信接続する処理を行なうことにより、車内で楽曲を再生する。

この場合、楽曲が再生されたとき、即ち、楽曲が選択されたときには、楽曲の出所、即ち、楽曲を再生しているデバイスの名称例えば携帯端末１８、１９、２０やオーディオ装置１６等を表示部１３に表示するように構成されている。また、表示部１３には、携帯端末１８、１９、２０を所持する乗員を特定する情報、例えば乗員番号や乗員の名前等の情報が、楽曲の出所の携帯端末１８、１９、２０の名称と一笑に表示されるように構成されている。また、楽曲の再生中においては、図３の学習制御が並行して実行されるように構成されている。そして、上記楽曲の再生が終了したときには、次の楽曲を再生するために、ステップＳ１２０へ戻り、上述した処理を繰り返し実行するようになっている。

また、上記ステップＳ１４０において、候補の楽曲を提供可能でないときには（ＮＯ）、ステップＳ１２０へ戻り、次に好感度評価点が高い楽曲を選択する処理を実行する。以下、上述した処理を繰り返し実行するようになっている。

また、上記ステップＳ１３０において、候補の楽曲がないときには（ＮＯ）、ステップＳ１６０へ進み、制御部１１は、提示する候補楽曲が無い旨のメッセージを表示部１３に表示し、乗員に入力操作部１４を操作させて再生したい楽曲を選択させて、その楽曲を再生する。また、楽曲の再生中においては、図３の学習制御が並行して実行されるように構成されている。そして、上記楽曲の再生が終了したときには、次の楽曲を再生するために、ステップＳ１２０へ戻り、上述した処理を繰り返し実行するようになっている。

このような構成の本実施形態においては、楽曲やコンテンツを再生中の車両の乗員の顔を撮影し、撮影した乗員の顔画像に基づいて顔の表情を認識し、再生された楽曲やコンテンツを評価し、楽曲やコンテンツの評価結果を乗員に紐づけて記憶するように構成した。この構成によれば、車両に乗車している全員に対して、より満足度の高い楽曲を提供することが可能となる。

また、上記実施形態においては、複数の乗員が車両２に乗っている場合に、車両に乗っている複数の乗員を検知し、検知された複数の乗員の楽曲やコンテンツの評価結果を設定した条件で演算して楽曲やコンテンツのグループ評価結果を算出するように構成した。そして、算出されたグループ評価結果に基づいて再生する楽曲やコンテンツを選択するように構成した。例えば、複数の乗員の楽曲やコンテンツの評価点の合計評価点を算出し、合計評価点の高い楽曲やコンテンツを、再生する楽曲やコンテンツとして選択するように構成した。

このように構成すると、車両内において複数の乗員を検知したときに、複数の乗員、即ち、乗員のグループ構成に対して、より満足度の高い楽曲やコンテンツを素早く検索して提供することが可能となる。

（第２実施形態）
図５ないし図７は、第２実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第２実施形態では、季節や場所や天気等の条件を加味して楽曲を選択するように構成したものである。

具体的には、楽曲を再生しているときに、図３のステップＳ６０、Ｓ８０において、再生の日時、再生時の天候、再生時の場所等の情報を加えた、楽曲データベースを作成する。この構成の場合、図５に示すように、同じ曲名の楽曲であっても、再生日時が異なると、異なるデータとして楽曲データベースに加えられて蓄積されるように構成されている。

そして、第２実施形態においては、図６に示すように、表示部１３に、季節や場所や天気等を選択するモード選択画面が表示される。この場合、季節用として、日にちのデータでソートした楽曲データベースを作成しておくことが好ましい。また、場所のデータでソートした楽曲データベースを作成しておくことが好ましい。尚、場所のデータとしては、例えばＧＰＳで検知された位置情報を用いても良いし、ＧＰＳで検知された位置情報と地図データに基づいて算出された例えば山エリア、海エリア、高速道路上などの位置のデータを用いても良い。また、天気のデータでソートした楽曲データベースを作成しておくことが好ましい。

更に、図６の選択画面において、乗員が入力操作部１４を操作して、例えば季節を選択した場合には、図７に示すように、表示部１３に春、夏、秋、冬を選択する画面が表示される。この場合、乗員が入力操作部１４を操作して、例えば春を選択したときには、日にちが３月から５月までのデータをまとめ、その中で好感度評価点が高い楽曲やコンテンツ等を提案、即ち、選択するように構成されている。

尚、上述した以外の第２実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第２実施形態においても、第１実施形態とほぼ同じ構成となっている。従って、第２実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第２実施形態によれば、季節や場所や天気等の選択条件を加えるように構成したので、季節や場所や天気等の多様なシチュエーションに応じて、乗員に好適する楽曲やコンテンツを提案することができる。

また、上記各実施形態においては、グループ評価結果を演算するに際して、複数の乗員の楽曲やコンテンツの評価点の合計評価点を算出するように構成したが、これに限られるものではなく、複数の乗員の評価点について重み付けを行なって合計評価点を算出するように構成しても良い。具体的には、ドライバを優先するために、ドライバの評価点の重みを重くして、合計評価点を算出する、例えば次の演算式で合計評価点を算出するように構成しても良い。
合計評価点＝ドライバの評価点×２＋乗員２の評価点＋乗員３の評価点

尚、ドライバ以外の他の乗員の評価点の重みを重くして、合計評価点を算出するように構成しても良い。また、複数の乗員の各評価点の重みを種々設定したり、重みを細かく（例えば小数点付の重み付け数値で）設定したりしても良い。また、設定した条件の演算として、合計評価点または重み付け合計評価点を乗員数で割って、平均値または重み付け平均値を算出するように構成しても良い。

また、上記各実施形態において、複数の乗員が車両２に乗っている場合に、その乗員構成、即ち、グループ構成にグループ名を付けると共に、楽曲やコンテンツのグループ評価結果、即ち、予め設定した条件で演算されたグループ評価結果例えば合計評価点を上記グループ名に紐づけて楽曲データベース内に記憶するように構成しても良い。このように構成すると、複数の乗員を検知したときに、複数の乗員のグループ構成、即ち、グループ名を判定しておき、楽曲等を提案する際には、上記判定されたグループのグループ評価結果を記憶部１２の楽曲データベースから読み出すことにより、グループ構成に対して、より満足度の高い楽曲等を素早く検索して提供することが可能となる。

本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

図面中、１は車両用楽曲再生装置、２は車両、３は車載機、４は運転席、５は運転席認識部、６は助手席、７は助手席認識部、８は後部座席、９は後部座席認識部、１１は制御部（楽曲評価部、グループ評価部、楽曲選択部）、１２は記憶部（評価記憶部）、１３は表示部、１４は入力操作部、１５は無線通信部、１６はオーディオ装置（再生部）、１７は楽曲記憶装置、１８、１９、２０は携帯端末である。

Claims (5)

1. 楽曲やコンテンツを再生する再生部（１６）と、
   楽曲やコンテンツを再生中の車両の乗員の顔を撮影する撮影部（５、７、９）と、
   乗員の顔画像に基づいて顔の表情を認識し、再生された楽曲やコンテンツを評価する楽曲評価部（１１）と、
   楽曲やコンテンツの評価結果を乗員に紐づけて記憶する評価記憶部（１２）と
   を備えた車両用楽曲再生装置。
2. 車両に乗っている複数の乗員を検知する検知部（５、７、９）と、
   検知された複数の乗員の楽曲やコンテンツの評価結果を設定した条件で演算して楽曲やコンテンツのグループ評価結果を算出するグループ評価部（１１）と
   を備えた請求項１記載の車両用楽曲再生装置。
3. 前記グループ評価結果に基づいて再生する楽曲やコンテンツを選択する楽曲選択部（１１）を備えた請求項２記載の車両用楽曲再生装置。
4. 車両に乗っている複数の乗員が所持するものであって楽曲やコンテンツを記憶する端末（１８、１９，２０）の名称を、所持する乗員を特定する情報を付けて記憶する端末記憶部（１２）と、
   再生する楽曲やコンテンツを記憶する端末が選択されたときに、前記端末と、前記端末を所持する乗員を特定する情報とを表示する表示部（１３）と
   を備えた請求項３記載の車両用楽曲再生装置。
5. 乗員が紐づけられた楽曲やコンテンツを再生中に、同じ乗員を認識した場合には、最新の評価結果に日時の情報や場所の情報を付加して前記評価記憶部（１２）に記憶するように構成された請求項１記載の車両用楽曲再生装置。

Images