JP2021081877A - 服装情報取得システムおよび服装情報取得方法 - Google Patents

Abstract

【課題】実際にいる人の服装情報を容易に取得できる服装情報取得システム及び服装情報取得方法を提供する。【解決手段】服装情報取得システム１におけるサーバ装置１０は、車載カメラによって車外を撮像した撮像画像と撮像位置情報とを取得する取得部２０、２２と、撮像画像に含まれる人の服装情報を特定する特定部２８と、特定された服装情報を位置情報に関連付けて記憶する記憶部３０と、を備える。サーバ装置１０は、特定部２８による服装情報の特定処理の対象となる撮像画像を抽出する抽出部２６をさらに備える。特定部２８は、抽出部２６により抽出された撮像画像に含まれる人の服装情報を特定する。【選択図】図３

Description

本発明は、車載カメラの撮像画像を用いて撮像画像に含まれる人の服装情報を取得する技術に関する。

特許文献１には、衣服を着用しているユーザの画像を受信し、ユーザの衣服からユーザのファッション嗜好を抽出し、ファッション嗜好が類似する複数のユーザをグループ化するソーシャルネットワークアプリケーションが開示されている。このソーシャルネットワークアプリケーションは、ユーザのファッション嗜好にもとづいて衣服関連の品目を推薦する。

特開２０１０−１５５６５号公報

特許文献１に開示される技術においてユーザに推薦される衣服関連の品目のデータが、実際に街などにいる人たちの服装を反映できると好ましく、そのような服装のデータを容易に取得できると好ましい。

本発明の目的は、実際にいる人の服装情報を容易に取得できる技術を提供することにある。

上記課題を解決するために、本発明のある態様の服装情報取得システムは、車載カメラによって車外を撮像した撮像画像と撮像位置情報とを取得する取得部と、撮像画像に含まれる人の服装情報を特定する特定部と、特定された服装情報を位置情報に関連付けて記憶する記憶部と、を備える。

本発明の別の態様は、服装情報取得方法である。この方法は、車載カメラによって車外を撮像した撮像画像と撮像位置情報とを取得する取得部と、撮像画像に含まれる人の服装情報を特定する特定部と、特定された服装情報を位置情報に関連付けて記憶する記憶部と、を備える。

本発明によれば、実際にいる人の服装情報を容易に取得できる技術を提供できる。

実施例の服装情報取得システムについて説明するための図であり、携帯端末装置に表示される画像を示す図である。 服装情報取得システムの概要を示す図である。 服装情報取得システムの機能構成を示す図である。 服装情報を取得する処理のフローチャートである。 変形例の服装情報取得システムの機能構成を示す図である。

図１は、実施例の服装情報取得システムについて説明するための図であり、携帯端末装置１６に表示される画像を示す。図１では、実施例の服装情報取得システムが服装のコーディネート情報をユーザの携帯端末装置１６に出力し、携帯端末装置１６がユーザに表示している様子を示す。

例えばユーザが旅行に行く際、旅行中の服装や携行品をどうすればよいか悩むことがある。実施例の服装情報取得システムは、ユーザの目的地に応じたコーディネート情報をユーザに提案し、目的地に在住している人の服装や目的地の天気などに合った服装を知らせることができる。

携帯端末装置１６は、ユーザの所有物であり、コーディネート情報を受け取るためのアプリケーションプログラムを有する。ユーザが携帯端末装置１６に目的地および日時を入力すると、図１に示すように携帯端末装置１６が目的地および日時に応じたコーディネート情報を表示する。

図１では、キャラクタ画像に衣服および携行品を付した画像が表示されている。キャラクタは、Ｔシャツおよび長ズボンを着て、スニーカーを履き、雨傘を持っているコーディネートをしている。ユーザは、コーディネート情報を見て、薄着でよいこと、歩きやすい靴を履くこと、雨傘を持って行くべきことを認識する。

携帯端末装置１６に表示される「Ｔシャツ」の項目がタッチ操作されると、携帯端末装置１６は、「Ｔシャツ」が選択された理由、例えば「夜も暑いのでＴシャツでよい。」と表示してよい。また、「スニーカー」の項目がタッチ操作されると、「スニーカー」が選択された理由として、「目的地にある観光施設に行くときはサンダルより運動靴がよい。」と表示される。また、「雨傘」の項目がタッチ操作されると、「雨傘」が選択された理由として、「降水確率は５０パーセントです。」と表示される。このように、服装情報取得システムは、目的地に応じた適切な服装の情報をユーザに提供できる。

図２は、服装情報取得システム１の概要を示す図である。服装情報取得システム１は、サーバ装置１０、天気情報提供装置１２、携帯端末装置１６および車載装置１８を備える。これらの各装置は、インターネットなどのネットワークを介して通信可能である。

サーバ装置１０は、データセンタに設置されて、車両に搭載された車載装置１８から撮像画像を収集し、撮像画像を解析して携帯端末装置１６に情報を出力する。サーバ装置１０は、車載装置１８から撮像画像を取得し、撮像画像を解析して服装情報を取得する服装情報取得装置として機能する。

天気情報提供装置１２は、天気情報をサーバ装置１０に提供する。天気情報提供装置１２は、全国各地に設けた雨雲レーダから取得した雨雲の状態等をもとに、複数エリアのそれぞれにおける降水量の推定値を天気情報として生成し、サーバ装置１０に提供する。天気情報は、エリア毎の降水情報だけでなく、気温、紫外線の強さ、災害情報などを含んでよい。

車載装置１８は、車両に設けられ、車載カメラによって車外を撮像した撮像画像、車両の位置情報および車両状態情報を車両ＩＤを付してサーバ装置１０に送信する。例えば、車載装置１８は、ドライブレコーダに記録された一連の撮像画像を所定のタイミングでまとめてサーバ装置１０に送信する。撮像画像および車両の位置情報はタイムスタンプを付されており、車両の位置情報はタイムスタンプによる撮像画像との関連付けによって撮像位置情報として用いられる。また、車両状態情報は、車速センサ、傾斜センサ、雨滴センサなどの車載センサの検出結果であって、車両状態を示す情報である。車載装置１８の台数は、２台に限るものではなく、服装情報取得システム１では多数の車載装置１８が撮像画像および位置情報をサーバ装置１０に送信する状況であってよい。これにより、様々なエリアで撮像された画像がサーバ装置１０に集まる。

携帯端末装置１６は、ユーザが入力した目的地情報をサーバ装置１０に送信し、サーバ装置１０から受信したコーディネート情報を表示する。

図３は、服装情報取得システム１の機能構成を示す図である。図３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

サーバ装置１０は、画像取得部２０、車両情報取得部２２、天気情報取得部２４、抽出部２６、特定部２８、記憶部３０、生成部３２、出力部３４および受付部３６を備える。

受付部３６は、携帯端末装置１６からユーザの目的地情報および予定日時を取得する。例えば、ユーザが携帯端末装置１６に目的地とその日時を入力すると、目的地情報がサーバ装置１０に送信されて、受付部３６が目的地情報を受け付ける。なお、受付部３６は、携帯端末装置１６からユーザの性別、年代、身長などの属性情報（プロファイル情報）を予め受け付け、サーバ装置１０に記憶させており、このユーザの属性情報は生成部３２に送られる。また、ユーザの属性情報は、ユーザの嗜好情報を含んでよい。受付部３６がユーザからの目的地情報を受け付けたことをトリガーとして、ユーザのコーディネート情報生成処理が開始される。

画像取得部２０は、車載装置１８から送信された撮像画像および撮像位置を示す位置情報を取得する。取得した撮像画像および撮像位置情報は、抽出部２６に送られる。画像取得部２０は、施設に設けられた固定カメラから撮像画像および撮像位置を示す情報を取得してよい。画像取得部２０は、車載装置１８から車載カメラで撮像された撮像画像を全て取得する。

車両情報取得部２２は、車載装置１８から車載カメラで撮像したときの車両状態情報を取得する。車両状態情報は、タイムスタンプを付されており、画像取得部２０により取得した撮像画像とタイムスタンプにより関連付けられる。車両状態情報と撮像画像の取得タイミングは異なっていてよい。車両状態情報は、車速センサにより検出された車速情報、傾斜センサにより検出された車両の傾斜情報、雨滴センサにより検出された車両に降る雨量などを含む。車両状態情報は、抽出部２６による抽出に用いられる。

天気情報取得部２４は、天気情報提供装置１２から天気情報を取得する。天気情報取得部２４は、撮像したときの撮像位置に示すエリアの天気情報、および目的地情報に示すエリアの天気情報を取得する。画像取得部２０、車両情報取得部２２および天気情報取得部２４は取得部として機能する。

抽出部２６は、特定部２８による服装情報の特定処理の対象となる撮像画像を抽出する。車両で撮像された撮像画像が全てサーバ装置１０に送信される場合では、全ての撮像画像に対して画像解析処理をすることは負荷が大きくコストがかかる。そこで、抽出部２６は、服装情報を特定しやすい撮像画像を、車両状態情報をもとに抽出する。これにより、画像解析処理の負荷を抑えることができる。

特定部２８は、画像解析処理により、車載カメラによって車外を撮像した撮像画像に含まれる人画像の服装情報を特定する。特定部２８は、パターンマッチング等の手法により撮像画像から人画像を抽出し、人画像を解析して服装情報を特定する。特定部２８は、人画像の属性情報を画像解析により特定し、服装情報に属性情報を関連付ける。人画像の属性情報は、性別、年代などである。服装情報は、衣服の種類であってよく、例えば、上衣であれば、Ｔシャツ、長袖シャツ、ダウンコートなどである。服装情報は、上半身に着る上衣、下半身に着る下衣、靴、帽子、手袋、サングラスなどの着衣位置の分類ごとに導出される。

例えば、特定部２８は、服装情報として、上衣はＴシャツ、下衣は半ズボン、靴はサンダル、帽子はキャップ、手袋はなし、サングラスは有りと着衣位置ごとに導出する。撮像画像には、撮像位置情報が付されており、特定された服装情報は、位置情報に関連付けられて記憶される。服装情報に関連付ける位置情報は、緯度経度で示す情報であってよく、エリア毎に設定されたエリア識別情報であってよい。いずれにしても、特定部２８により特定された服装情報は、ユーザの目的地情報をもとに取り出し可能である。また、特定部２８は、人画像を抽出する処理および服装情報を特定する処理をニューラルネットワークの手法を用いて学習し、学習結果を用いて実行してよい。

記憶部３０は、特定された服装情報を位置情報に関連付けて記憶する。このように、実際の歩行者の服装をその歩行者の位置に関連付けて記憶することで、地域に応じた服装情報を収集できる。その地域に旅行するひとなどに、適切な服装情報を提供することが可能となる。また、各車両から撮像画像を収集することで、様々な地域の人の服装情報を容易に取得できる。

特定部２８は、抽出部２６により抽出された撮像画像に含まれる人の服装情報を特定する。これにより、特定部２８による特定対象となる撮像画像を少なくすることができる。この抽出部２６による抽出処理について具体的に説明する。

抽出部２６は、車速情報をもとに特定処理の対象となる撮像画像を抽出する。抽出部２６は、所定車速以下で撮像された撮像画像を特定処理の対象として抽出し、所定車速より大きい車速で走行しているときに撮像された撮像画像を特定処理の対象から除く。車両を高速で走行しているときは、撮像画像上の人画像に残像が含まれることで、服装情報の特定が困難になる場合がある。そこで、抽出部２６は、所定車速以下、例えば時速２０キロメートル以下のときに撮像された撮像画像を特定処理の対象として抽出する。特定部２８は、所定車速以下で撮像された撮像画像に対して人の服装情報を特定する。これにより、処理負荷を抑えつつ、効率的に服装情報を特定できる。また、シャッター速度が遅い車載カメラで撮像した撮像画像を効率的に利用できる。

抽出部２６は、車両のピッチ方向の傾斜角をもとに特定処理の対象となる撮像画像を抽出する。車両のピッチ方向の傾斜角は、車両の傾斜センサの検出結果をもとに算出される。抽出部２６は、車両のピッチ方向の傾斜が水平方向から所定範囲内であるときに撮像された撮像画像を特定処理の対象として抽出し、車両のピッチ方向の傾斜が水平方向から所定範囲外であるときに撮像された撮像画像を特定処理の対象から除く。特定部２８は、車両のピッチ方向の傾斜が水平方向から所定範囲内であるときに撮像された撮像画像に対して人の服装情報を特定する。これにより、上空や地面をほぼ撮像した撮像画像を除外できる。

抽出部２６は、撮像時の天気情報をもとに特定処理の対象となる撮像画像を抽出する。天気情報は、車両位置に応じたエリアの天気情報を天気情報提供装置１２から取得されてよく、車載の雨滴センサの検出結果から取得されてよい。抽出部２６は、天気情報が晴れを示すときに撮像された撮像画像を特定処理の対象として抽出し、天気情報が雨や雪を示すときに撮像された撮像画像を特定処理の対象から除く。特定部２８は、天気情報が晴れを示すときに撮像された撮像画像に対して人の服装情報を特定する。これにより、撮像状態が良くない撮像画像を除くことができる。

抽出部２６は、撮像時刻をもとに特定処理の対象となる撮像画像を抽出する。撮像時刻はタイムスタンプとして撮像画像に付されている。抽出部２６は、昼間の時間帯に撮像された撮像画像を特定処理の対象として抽出し、夜間の時間帯に撮像された撮像画像を特定処理の対象から除く。これにより、夜に撮像された撮像画像を除外できる。

抽出部２６は、時系列順に並んだ一連の撮像画像のうち、所定の時間間隔ごとに特定処理の対象として抽出する。例えば、抽出部２６は、一連の撮像画像から１秒間隔毎に撮像画像を特定処理の対象として抽出する。これにより、時系列上で隣り合う撮像画像を除くことができる。時系列上で隣り合う撮像画像は、同じ人を撮像している可能性が高いため、重複して解析することを避けるためである。

生成部３２は、受付部３６から目的地情報を受け取ると、その目的地情報に応じた服装情報を取り出し、特定部２８に特定された服装情報をもとに生成する。また、生成部３２は、目的地のエリアの天気情報をもとに、目的地情報に応じた携行品情報を生成する。生成部３２は、生成した服装情報および携行品情報をもとに総合的なコーディネート情報を生成する。

生成部３２は、目的地情報に示すエリアの服装情報を特定部２８から取得し、ユーザの属性情報に応じた服装情報を選択する。所定エリアに複数の服装情報がある場合は、複数の服装情報のうち最も多い種類が選択されてよい。つまり、生成部３２は、目的地情報に示すエリアの上衣の服装情報を参照して、Ｔシャツの割合が最も多ければ、Ｔシャツを導出する。

生成部３２は、目的地情報に示すエリアの天気情報をもとに、服装情報および携行品情報を生成する。例えば、目的地情報に示すエリアの天気情報が雨である場合、生成部３２は、携行品情報として雨傘やレインコートを導出する。生成部３２は、天気情報と、携行品情報とを対応づけるマップをもとに携行品情報を生成してよい。携行品情報には、帽子やサングラスなどの服装も含まれてよい。

生成部３２は、目的地情報に応じた服装情報および携行品情報にもとづいて総合的なコーディネート情報を生成する。コーディネート情報は、衣服および携行品の組合せである。生成部３２により生成されるコーディネート情報は図１に示すような画像であってよく、テキスト情報であってよい。生成部３２により生成されるコーディネート情報は複数であってよい。

出力部３４は、生成されたコーディネート情報を携帯端末装置１６に出力する。携帯端末装置１６は、コーディネート情報を受け取ってユーザに表示する。これにより、ユーザが目的地に適した服装および携行品を用意することができる。

図４は、服装情報を取得する処理のフローチャートである。サーバ装置１０の画像取得部２０は、車載装置１８から撮像画像および撮像位置情報を取得する（Ｓ１０）。車両情報取得部２２は、車載装置１８から車両状態情報を取得する（Ｓ１２）。また、天気情報取得部２４は、撮像位置情報に対応する天気情報を取得する。

抽出部２６は、特定部２８による服装情報の特定処理の対象となる撮像画像を、車両状態情報および／または天気情報をもとに抽出する（Ｓ１４）。これにより、画像解析処理の負荷を抑えて、効率良く服装情報を取得できる。

特定部２８は、抽出部２６により抽出された撮像画像に含まれる人の服装情報を特定する（Ｓ１６）。記憶部３０は、特定部２８により特定された服装情報を、位置情報に関連付けて記憶する（Ｓ１８）。これにより、ユーザの目的地に応じた服装情報を取り出し可能となる。

図５は、変形例の服装情報取得システム１００の機能構成を示す図である。変形例の服装情報取得システム１００では、服装情報を特定する画像解析処理を車載装置１１８が実行する。

車載装置１１８は、車載カメラ４０、車載センサ４２、画像取得部２０、車両情報取得部２２、天気情報取得部２４、抽出部２６、特定部２８および記憶部３０を備える。車載カメラ４０は、車外を撮像して、撮像画像を画像取得部２０に送る。撮像画像には歩道や横断歩道を通る歩行者が含まれる。車載センサ４２は、車速センサ、傾斜センサおよび雨滴センサなどを含む。

画像取得部２０、車両情報取得部２２、天気情報取得部２４、抽出部２６、特定部２８および記憶部３０の構成は、図３に示すサーバ装置１０の各構成と同様である。特定部２８は、障害物衝突回避処理において検出した撮像画像上の人情報を用いてもよい。この構成では、車載装置１１８が服装情報取得装置として機能する。記憶部３０に記憶された服装情報は、所定のタイミング、例えばイグニッションスイッチがオフされたタイミングでサーバ装置１１０に送信される。これにより、撮像画像を全てサーバ装置１０に送信する場合と比べて、通信負荷を抑えることができる。

サーバ装置１１０は、生成部３２、出力部３４、受付部３６および記憶部４４を備える。サーバ装置１１０は、それぞれの車載装置１１８から服装情報およびその位置情報を収集し、記憶部４４に記憶する。このように、車載装置１１８が服装情報の特定処理を実行し、サーバ装置１１０が服装情報の出力処理を実行する。この態様に限られず、服装情報を出力するまでの様々な処理を車載装置１１８とサーバ装置１１０が分担して実行してもよい。例えば、車載装置１１８が撮像画像を抽出する処理を実行し、サーバ装置１１０が撮像画像を特定する処理を実行してもよい。この変形例でも通信負荷を抑えることが可能である。

以上、実施の形態をもとに本発明を説明した。実施の形態はあくまでも例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１ 服装情報取得システム、 １０ サーバ装置、 １２ 天気情報提供装置、 １６ 携帯端末装置、 １８ 車載装置、 ２０ 画像取得部、 ２２ 車両情報取得部、 ２４ 天気情報取得部、 ２６ 抽出部、 ２８ 特定部、 ３０ 記憶部、 ３２ 生成部、 ３４ 出力部、 ３６ 受付部、 ４０ 車載カメラ、 ４２ 車載センサ。

Claims (8)

1. 車載カメラによって車外を撮像した撮像画像と撮像位置情報とを取得する取得部と、
   撮像画像に含まれる人の服装情報を特定する特定部と、
   特定された服装情報を位置情報に関連付けて記憶する記憶部と、を備える服装情報取得システム。
2. 前記特定部による服装情報の特定処理の対象となる撮像画像を抽出する抽出部をさらに備え、
   前記特定部は、前記抽出部により抽出された撮像画像に含まれる人の服装情報を特定することを特徴とする請求項１に記載の服装情報取得システム。
3. 前記取得部は、車載カメラで撮像したときの車両の車速情報を取得し、
   前記抽出部は、車速情報をもとに特定処理の対象となる撮像画像を抽出することを特徴とする請求項２に記載の服装情報取得システム。
4. 前記抽出部は、所定車速以下で撮像された撮像画像を特定処理の対象として抽出することを特徴とする請求項３に記載の服装情報取得システム。
5. 前記取得部は、車載カメラで撮像したときの車両の傾斜情報を取得し、
   前記抽出部は、車両のピッチ方向の傾斜角をもとに特定処理の対象となる撮像画像を抽出することを特徴とする請求項２から４のいずれかに記載の服装情報取得システム。
6. 前記取得部は、車載カメラで撮像したときの車両位置に応じた天気情報を取得し、
   前記抽出部は、撮像時の天気情報をもとに特定処理の対象となる撮像画像を抽出することを特徴とする請求項２から５のいずれかに記載の服装情報取得システム。
7. ユーザの目的地情報を取得する受付部と、
   目的地情報に対応する服装情報をもとにユーザに提案するコーディネート情報を生成する生成部と、
   生成されたコーディネート情報を出力する出力部と、をさらに備えることを特徴とする請求項１から６のいずれかに記載の服装情報取得システム。
8. 車載カメラによって車外を撮像した撮像画像と撮像位置情報とを取得する取得部と、
   撮像画像に含まれる人の服装情報を特定する特定部と、
   特定された服装情報を位置情報に関連付けて記憶する記憶部と、を備える服装情報取得方法。

Images