JP2016082482A - 画像記録装置 - Google Patents

画像記録装置 Download PDF

Info

Publication number
JP2016082482A
JP2016082482A JP2014213771A JP2014213771A JP2016082482A JP 2016082482 A JP2016082482 A JP 2016082482A JP 2014213771 A JP2014213771 A JP 2014213771A JP 2014213771 A JP2014213771 A JP 2014213771A JP 2016082482 A JP2016082482 A JP 2016082482A
Authority
JP
Japan
Prior art keywords
unit
image
information
face recognition
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014213771A
Other languages
English (en)
Other versions
JP6379424B2 (ja
Inventor
祐輝 福吉
Yuki Fukuyoshi
祐輝 福吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2014213771A priority Critical patent/JP6379424B2/ja
Publication of JP2016082482A publication Critical patent/JP2016082482A/ja
Application granted granted Critical
Publication of JP6379424B2 publication Critical patent/JP6379424B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮影者によらず撮影時の状況を想起させることができる。
【解決手段】通信部は生体情報取得部から生体情報を受信し、記憶部は顔画像及び前記生体情報取得部の機器情報を対応付けた登録情報を人物毎に記憶し、認識部は撮影部が撮影した画像から人物の顔を表す顔認識範囲を判定し、判定した顔認識範囲内の画像と記憶部に記憶された顔画像に基づいて人物を特定し、記録制御部は、記憶部に記憶された機器情報に基づいて認識部が特定した人物の生体情報取得部を特定し、撮影部が撮像した画像を、特定した生体情報取得部から受信した生体情報を認識部が判定した顔認識範囲と対応付けて記憶部に記憶する。
【選択図】図2

Description

本発明は、画像記録装置に関する。
従来から、撮影した画像に各種の情報を関連付けて記録する技術が提案されている。例えば、特許文献1には、カメラの周囲の環境情報を取得する環境情報センサを備えるカメラが記載されている。環境情報センサがシャッターボタンの半押し操作に連動して環境情報をCPUに出力し、CPUがシャッターボタンの全押し操作の解除に連動してヘッダ部分に環境情報を記録する画像記録装置について記載されている。かかる構成により、撮影者に対して、記録された環境情報に対応する内容を参照して、撮影時の状況を想起させることを目的としている。また、特許文献1には、環境情報センサに代えて、撮影者の生体情報を取得する撮影者情報センサを備えるカメラも記載されている。撮影者情報センサとして、体温センサ、脈拍センサ、血圧センサ等、が例示されている。
特開2006−86823号公報
しかしながら、カメラを把持する撮影者が撮影を行う場合でも、撮影者のみが撮影した画像との関連性があるとは限らない。むしろ被写体として撮影された画像に表された人物の方がその画像と関連性が強い場合もありうる。また、カメラを所持する所持者が、常に撮影者になるとは限られない。例えば、所持者がその場で居合わせた人に撮影を依頼する場合には、所持者が撮影された画像に表れる場合もある。そのような場合には、特許文献1に記載のカメラで取得された生体情報に関連する撮影者が、画像に表された人物や所有者本人とは一致しない。そのため、撮影時の状況を想起できないことがある。
本発明は、以上のような課題を解決するためになされたものであって、撮影者によらず撮影時の状況を想起させることができる画像記録装置を提供する。
本発明は、上記の課題を解決するためになされたものであり、本発明の一態様は生体情報取得部から生体情報を受信する通信部と、顔画像及び前記生体情報取得部の機器情報を対応付けた登録情報を人物毎に記憶する記憶部と、撮影部が撮影した画像から人物の顔を表す顔認識範囲を判定し、判定した顔認識範囲内の画像と前記記憶部に記憶された顔画像に基づいて人物を特定する認識部と、前記記憶部に記憶された機器情報に基づいて前記認識部が特定した人物の生体情報取得部を特定し、前記撮影部が撮像した画像を、特定した生体情報取得部から受信した生体情報を前記認識部が判定した顔認識範囲と対応付けて前記記憶部に記憶する記録制御部と、を備える画像記録装置である。
本発明によれば、撮影者によらず撮影時の状況を想起させることができる。
第1の実施形態に係る画像記録システムを示す概念図である。 第1の実施形態に係る画像記録装置の構成を示すブロック図である。 第1の実施形態に係る画像記録処理を示すシーケンス図である。 画像データに基づいて生成された撮影情報の例を示す図である。 第1の実施形態において表示される画像の例を示す図である。 第2の実施形態に係る画像記録装置の構成を示すブロック図である。 第2の実施形態に係る登録情報生成処理の一例を示すフローチャートである。 第2の実施形態に係る登録画面の一例を示す図である。 第2の実施形態に係る登録情報生成処理の他の例を示すフローチャートである。 第2の実施形態に係る画像データ記録処理を示すフローチャートである。 生体情報の例を示す表である。 第2の実施形態において表示される画像の例を示す図である。 第3の実施形態に係る画像記録装置の構成を示すブロック図である。 第3の実施形態に係る表示制御処理を示すフローチャートである。 第3の実施形態において表示される画像の例を示す図である。 第4の実施形態に係る画像記録装置の構成を示すブロック図である。 順位が付加された生体情報の例を示す表である。 第4の実施形態において表示される画像の例を示す図である。
(第1の実施形態)
本発明の第1の実施形態について、図面を参照しながら説明する。図1は、本実施形態に係る画像記録システム1を示す概念図である。
画像記録システム1は、画像記録装置10と、生体情報取得部20−1、20−2を含んで構成される。
画像記録装置10は、周囲の所定の視野内における被写体の画像を示す画像データを取得する。また、画像記録装置10は、その周囲の環境の状態を示す環境情報を取得する。画像記録装置10は、生体情報取得部20−1、20−2から、人物の生体情報を受信する。画像記録装置10は、画像を取得及び記録する機能を有する電子機器であればよい。画像記録装置10は、例えば、カメラを有する多機能携帯電話機(いわゆるスマートフォンを含む)、タブレット端末、静止画を撮像するディジタルカメラである。
生体情報取得部20−1、20−2は、測定対象の人物毎に物理的に測定可能な生体情報を計測し、計測した生体情報を画像記録装置10に送信する。生体情報取得部20−1、20−2は、当該人物に装着可能なウェアラブルデバイスであってもよい。生体情報取得部20−1は、例えば、活動量計21−1、心拍計22−1、及び歩数計23−1を含む。生体情報取得部20−2は、例えば、活動量計21−2、心拍計22−2、及び歩数計23−2を含む。
活動量計21−1、21−2は、例えば、人物の上肢部に装着可能であり、装着されている人物の1日内の消費カロリーを計測する。心拍計22−1、22−2は、例えば、人物の胸部に装着可能であり、装着されている人物の1分当たりの心拍数を計測する。歩数計23−1、23−2は、例えば、人物の下肢部に装着可能であり、装着されている人物の1日内の歩数と、歩行距離とを計測する。活動量計21−1、21−2、心拍計22−1、22−2、及び歩数計23−1、23−2は、それぞれ計測した生体情報を無線で送信する通信部を備える。通信部は、画像記録装置10と生体情報取得部20−1、20−2との間のデータの送受信を、所定の無線通信規格、例えば、IEEE(Institute of Electrical and Electronics Engineers)802.15.1、IEEE802.11、等を用いて行う。
なお、以下の説明では、生体情報取得部20−1、20−2、活動量計21−1、21−2、心拍計22−1、22−2、及び歩数計23−1、23−2を、「デバイス20」と総称することがある。また、デバイス20が取得した情報を、単に「生体情報」と呼ぶことがある。
(画像記録装置の構成)
次に、本実施形態に係る画像記録装置10の構成について説明する。図2は、本実施形態に係る画像記録装置10の構成を示すブロック図である。
画像記録装置10は、制御部100、記憶部110、表示部120、入力部130、カメラ機能部140、環境情報センサ150、GPSセンサ160、ネットワーク通信部170、カメラ14、及びアンテナ17を含んで構成される。
制御部100は、記憶部110に記憶されているプログラムを実行することにより、画像記録装置10の各部の動作を制御する。制御部100は、例えば、CPU(Central Processing Unit)含んで構成される。制御部100は、CPUがプログラムを実行することで、記録制御部101と表示制御部102の機能を実現する。
記録制御部101は、記憶部110に予め記憶された登録情報112のうち、カメラ機能部140の顔認識部142が認識した人物に係る登録情報112を特定し、特定した登録情報112に含まれる機器情報が示すデバイス20を特定する。登録情報112は、人物毎に生成された情報であって、その人物の顔情報、機器情報、及び名前情報を含む情報である。顔情報は、その人物の顔を示す顔画像データを特定する情報、例えば、ファイル名である。名前情報は、その人物を特定する情報、例えば、氏名、愛称、等である。記録制御部101は、特定したデバイス20から受信した生体情報113を、カメラ機能部140の顔認識部142から入力された撮影情報114が示す顔認識範囲に対応付ける。記録制御部101は、カメラ機能部140から入力された画像データ111を記憶部110に記憶し、撮影情報114が示す顔認識範囲に対応付けた生体情報113を対応付けて記憶部110に記録する。
表示制御部102は、入力部130から操作信号が入力されたとき、記憶部110に記憶した画像データ111、生体情報113から表示部120に表示させるための表示画像データを生成する。表示制御部102が行う処理については、後述する。
記憶部110は、制御部100で実行される各種のプログラム、画像記録装置10の各部の動作に要するデータ、画像記録装置10の各部が取得したデータを記憶する。記憶部110は、例えば、画像データ111、登録情報112、生体情報113、及び撮影情報114を記憶する。記憶部110は、例えば、HDD(Hard−disk Drive)、フラッシュメモリ、ROM(Read−only Memory)、RAM(Random Access Memory)のいずれか、又はそれらの任意の組み合わせである。
表示部120は、制御部100から入力された各種のデータに基づく画像を表示する。表示部120は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electroluminescence)ディスプレイである。
入力部130は、ユーザによる操作入力を受け付け、受け付けた操作入力に基づいて画像記録装置10の動作を制御するための操作信号を制御部100に出力する。入力部130は、例えば、タッチセンサである。入力部130は、表示部120と一体化したタッチパネルとして構成されてもよい。
カメラ14は、周囲の所定の視野内における被写体の画像を撮影し、撮影した画像を示す画像データを生成する。カメラ14は、生成した画像データをカメラ機能部140に出力する。カメラ14は、例えば、ディジタルスティルカメラである。
カメラ機能部140は、ユーザによる操作入力もしくは制御部100から入力された制御信号に基づいてカメラ14の機能を制御する。例えば、カメラ機能部140は、カメラ14を起動し、カメラ14に画像を撮影させ、カメラ14の動作を終了する。カメラ機能部140は、カメラ14が撮影した画像を示す画像データ111を記憶部110に記憶する。カメラ機能部140は、シャッター検知部141及び顔認識部142を含んで構成される。
シャッター検知部141は、シャッターボタン(図示せず)の押下を検知する。シャッターボタンは、押下されることによりカメラ14に撮影を指示するためのボタンである。
顔認識部142は、カメラ14から入力された画像データ111について、登録情報112に含まれる顔情報を参照して画像認識処理を行うことにより画像データが示す顔の領域(顔認識範囲)を特定する。これにより、特定された顔の人物が認識される。顔認識範囲の特定、人物の認識において、顔認識部142は、例えば、Viola Jones法、等の画像認識技術を用いてもよい。顔認識部142は、1個の画像データから認識された人物の人数、各人物の顔認識範囲、当該顔認識範囲の中心座標、当該顔認識範囲の大きさを示す撮影情報を生成する。顔認識部142は、生成した撮影情報114と画像データ111を対応付けて記録制御部101に出力する。
環境情報センサ150は、画像記録装置10の周囲の環境を示す環境情報を取得する。環境情報センサ150は、例えば、気温を計測する温度計、湿度を計測する湿度センサ、風向及び風速を計測する風向風速センサ、天気を判定する天気計、等のいずれか、それらの一部の組み合わせ、又は全ての組み合わせである。環境情報センサ150は、取得した環境情報を記憶部110に記憶する。
GPS(Global Positioning System)センサ160は、複数のGPS衛星から受信した受信信号の到達時間差に基づいて自己の緯度及び経度を算出する。GPSセンサ160は、予め記憶部110に記憶した地図情報を参照して、算出した緯度及び経度に対応する施設名又は地名を特定してもよい。地図情報は、緯度及び経度毎に施設名又は地名を示す情報である。GPSセンサ160は、自己の位置として算出した緯度及び経度、施設名又は地名を示す位置情報を記憶部110に記憶する。位置情報は、環境情報に含まれてもよい。
ネットワーク通信部170は、アンテナ17を介して無線で他の機器との間でデータを送受信する。ネットワーク通信部170は、生体情報取得部20−1、20−2からそれぞれ生体情報113を受信する。ネットワーク通信部170は、受信した生体情報を記録制御部101に出力する。
(画像記録処理)
次に、本実施形態に係る画像記録処理について説明する。図3は、本実施形態に係る画像記録処理を示すシーケンス図である。
図3に示す例では、ユーザである撮影者ac1が画像記録装置10を操作し、撮影者ac1とは別の人物である1名の被写体ac2を含む画像を撮影する場合を例にして、画像記録装置10、デバイス20が行う処理を示す。被写体ac2の身体には、デバイス20が装着されている。なお、撮影者ac1の身体にもデバイス20が装着されていてもよい。なお、画像記録装置10とデバイス20との間における通信を、所定の無線通信規格IEEE802.15.1に従って実行する場合を例にする。
(ステップS0)画像記録装置10の入力部130は、撮影者ac1による操作入力に基づいてデバイス検索を指示する操作信号を生成し、生成した操作信号を制御部100に出力する。制御部100は、入力部130から操作信号が入力されたことに応じて、画像記録装置10と接続可能なデバイスの検索を開始する。
(ステップS1)デバイス20は、アドバータイズモードでの動作を開始する。アドバータイズモードとは、自機が接続可能な機器であることを示す報知情報(advertise)を所定間隔(例えば、30秒間隔)で送信する動作モードである。
(ステップS2)デバイス20は、報知情報を所定間隔で送信する。報知情報には、個々のデバイス20を識別するための機器情報(アドレス)が含まれる。
(ステップS3)画像記録装置10のネットワーク通信部170は、デバイス20から報知情報を受信し、受信した報知情報に含まれるアドレスが示すデバイス20を、通信可能なデバイスとして発見したと判定する。ネットワーク通信部170は、受信した報知情報を制御部100に出力する。制御部100は、報知情報に含まれる機器情報が示すデバイスの一覧を表すデバイス一覧画面データを生成する。制御部100は、生成したデバイス一覧画面データを表示部120に出力する。表示部120は、制御部100から入力されたデバイス一覧画面データに基づいてデバイス一覧画面を表示する。
(ステップS4)画像記録装置10の入力部130は、撮影者ac1による操作入力に基づいて、表示部120に表示されたデバイス一覧から接続を許可するデバイスを指示する操作信号を生成する。ネットワーク通信部170は、入力部130が生成した操作信号が指示するデバイスを接続可能な機器として設定することを示す接続設定信号を生成する(ペアリング設定指示)。
(ステップS5)画像記録装置10のネットワーク通信部170は、制御部100が生成した接続設定信号を当該接続設定信号で指示されるデバイス20に送信する(ペアリング)。
(ステップS6)デバイス20は、画像記録装置10から接続設定信号を受信するとき、送信元である画像記録装置10に確認応答信号(OK)を送信する。画像記録装置10のネットワーク通信部170は、受信した確認応答信号(OK)の送信元であるデバイス20を接続可能な機器として設定する。従って、ユーザは、所望の人物が装着しているデバイス20を選択することができる。
(ステップS7)画像記録装置10のカメラ機能部140が、撮影者ac1による操作入力に基づいてカメラ14の起動が指示された場合、カメラ14を起動させる。
(ステップS8)画像記録装置10のネットワーク通信部170は、デバイス20への接続要求を示す接続要求信号(Connect Request)をデバイス20に送信する。
(ステップS9)デバイス20は、画像記録装置10から接続要求信号を受信するとき、送信元である画像記録装置10に確認応答信号(OK)を送信する。
(ステップS10)画像記録装置10のネットワーク通信部170は、デバイス20から確認応答信号(OK)を受信するとき、デバイス20への接続開始を示す接続開始信号をデバイス20に送信する。
(ステップS11)デバイス20は、画像記録装置10から接続開始信号を受信するとき、送信元である画像記録装置10に確認応答信号(OK)を送信する。これにより、画像記録装置10は、デバイス20との間でデータの送受信が可能な接続状態となる。
(ステップS12)デバイス20は、生体情報を所定時間(例えば、1分)毎に計測する。
(ステップS13)画像記録装置10の顔認識部142は、カメラ14から入力された画像データ111について画像認識処理を行い、画像データ111が示す顔認識範囲を特定する。顔認識部142は、特定した顔認識範囲に表された人物を認識する。ここで、人物が認識できた時点で、シャッター検知部141は、シャッターボタンへの操作の待ち受けを開始してもよい。そのため、人物が認識されていない場合において、撮影情報114の生成に係る処理を回避することができる。
(ステップS14)画像記録装置10のシャッター検知部141が、撮影者ac1によるシャッターボタンの押下を検知するとき、カメラ14から入力された画像データ111を記憶部110に記憶する。顔認識部142は、特定した各人物の顔認識範囲、当該顔認識範囲の中心座標、当該顔認識範囲の大きさを示す画像データを含んだ撮影情報114を生成する。顔認識部142は、生成した撮影情報114と画像データ111とを対応付けて記憶部110に記憶する。
(ステップS15)画像記録装置10のネットワーク通信部170は、生体情報を要求することを示す生体情報要求信号をデバイス20に送信する。
(ステップS16)デバイス20は、画像記録装置10から生体情報要求信号を受信するとき、送信元である画像記録装置10に、計測した生体情報を送信する。画像記録装置10のネットワーク通信部170は、デバイス20から生体情報を受信する。
(ステップS17)ネットワーク通信部170は、生体情報取得部20−1、20−2からそれぞれ生体情報113を受信する。
顔認識部142は、画像データ111から認識された人物である被写体ac2の顔認識範囲の数、当該顔認識範囲の中心座標、当該顔認識範囲の大きさ、及び当該顔認識範囲が示す顔画像データを示す撮影情報114を生成する。
記録制御部101は、顔認識部142が認識した登録情報112に含まれる機器情報が示すデバイス20から受信した生体情報113を、撮影情報114が示す顔認識範囲に対応付ける。記録制御部101は、画像データ111、撮影情報114及び撮影情報114が示す顔認識範囲に対応付けた生体情報113を対応付けて記憶部110に記録する(撮影した画像を書込)。
(ステップS18)表示制御部102は、記憶部110に記憶した画像データ111を表示部120に出力し、表示部120に画像データ111に基づく画像を表示させる。表示制御部102は入力部130から被写体ac2の顔認識範囲内の位置が指示された場合、当該顔認識範囲に対応付けた生体情報113を記憶部110から読み取る。表示制御部102は、読み取った生体情報113を表示部120に表示させる(撮影した画像を表示)。その後、図3に示す処理を終了する。
なお、デバイス20が生体情報の計測(ステップS12)を開始した後では、ステップS15及びステップS16の処理が、所定周期(例えば、3分)で繰り返されてもよいし、ステップS13、ステップS14が、繰り返し実行可能であってもよい。この所定周期は、デバイス20における生体情報の計測周期と等しいか、より長ければよい。よって、撮影者ac1は、生体情報の時間経過を参照して、任意の時点でシャッターボタンを押下することにより画像記録装置11に画像データ111と撮影情報114を記録させることができる。
なお、撮影者ac1の身体にもデバイス20が装着されることがある。画像記録装置10は、撮影者ac1の身体に装着されたデバイス20との間の処理を、被写体ac2の身体に装着したデバイス20との間の処理と同様に行ってもよい。
(撮影情報の例)
図4は、画像データ111に基づいて生成された撮影情報114の例を示す図である。撮影情報は、画像データ内に顔認識の有無、認識された人物の人数、顔認識範囲の中心座標、顔認識範囲の大きさを示す情報である。図4に示す例では、撮影情報114は、顔認識あり、認識された人物の人数が1名であり、顔認識範囲の中心座標が300(水平座標)、200(垂直座標)であり、顔認識範囲の大きさが100(幅)、100(高さ)であることを示す。これらの座標値の単位は、画素数である。
(表示例)
次に、ステップS18において表示部120に表示される画像の例について説明する。
図5は、本実施形態において表示される画像の例を示す図である。
図5(A)は、画像データ111に基づく画像の例である。図5(A)に示す画像の右下には、人物の顔fc1が表されている。顔fc1に外接する破線の四角形は、顔認識範囲bx01を示す。
図5(B)は、図5(A)に示す画像に対し、さらにポインタpt01及び生体情報bi01が表示されている。ポインタpt01は、入力部130から入力された操作信号で指示される位置を示す画像である。生体情報bi01は、顔fc1に係る人物について測定された生体情報である。図5(B)に示す例では、生体情報bi01は、「心拍数90回/分、ストレスなし、活動量2000kcal、歩数4000歩、距離2000m」を示す。生体情報bi01は、操作信号が示す位置が顔認識範囲bx01の範囲内である場合に表示される。この表示により、認識された人物と表示された生体情報との関連性が表現されるので、表示された画像を見たユーザは撮影時の状況を想起することができる。なお、以下の説明では、表示された画像や情報の表示範囲内の位置を指示する操作信号が入力部130から入力されることを、その表示範囲に係る画像や情報を「押下する」と呼ぶことがある。
ここで、表示制御部102は、所定のポインタ画像を操作信号が指示する位置に表すポインタ画像データを生成する。表示制御部102は、記憶部110に記憶され画像データ111に対応付けられた撮影情報114を参照して、顔認識範囲bx01を読み取る。表示制御部102は、操作信号が示す位置が読み取った顔認識範囲bx01内に含まれると判定するため、顔認識範囲bx01に対応する生体情報とポインタ画像データを画像データ111に重畳して表示画像データを生成する。表示制御部102は、生成した表示画像データに基づいて図5(B)に示す画像を表示することができる。なお、表示制御部102は、撮影情報114の表示位置を、その表示領域が顔認識範囲bx01に重ならない位置に定める。これにより、ユーザは、指示した人物の顔fc01の画像と、当該人物の生体情報bi01の両方を同時に見ることができるので、当該人物に対する関心を満たすことができる。
なお、表示制御部102は、顔認識範囲bx01又は顔認識範囲bx01から予め定めた範囲内に操作可能であることを示す所定の表示を重畳して、表示部120に表示させてもよい。表示制御部102は、例えば、撮影情報114を参照して読み取った顔認識範囲bx01の外枠線を示す顔認識範囲画像データを生成する。表示制御部102は、生成した顔認識範囲画像データと、画像データ111とを重畳し、重畳した画像データに基づく画像を表示部120に表示させる。
これにより、ユーザは、顔認識範囲bx01が操作可能であることに気付くことができるので、認識された人物fc1に係る生体情報bi01に容易にアクセスすることができる。なお、操作可能であることを示す所定の表示は、外枠線に限らず、他の表示領域と異なる態様、例えば、色彩、彩度、等、であればよい。
以上に説明したように、本実施形態に係る画像記録装置10は、デバイス20から生体情報を受信するネットワーク通信部170と、顔画像及びデバイス20の機器情報を対応付けた登録情報を人物毎に記憶する記憶部110とを備える。また、画像記録装置10は、カメラ14が撮影した画像から人物の顔を表す顔認識範囲を判定し、判定した顔認識範囲内の画像と記憶部110に記憶された顔画像に基づいて人物を特定する顔認識部142を備える。また、画像記録装置10は、記憶部110に記憶された機器情報に基づいて顔認識部142が特定した人物のデバイス20を特定し、カメラ14が撮像した画像を、特定したデバイス20から受信した生体情報を顔認識部142が判定した顔認識範囲と対応付けて記憶部110に記憶する記録制御部101を備える。
この構成により、記憶部110には撮影された画像が表す人物の顔を示す顔認識範囲と、その人物の生体情報とを対応付けて記録される。ユーザは、その人物の顔に基づいてその人物の生体情報に容易に接することができるので、撮影者によらず撮影時の状況を想起することができる。
本実施形態に係る画像記録装置10は、表示部120が表示する情報を指示する入力部130を備える。また、画像記録装置10は、記憶部110に記憶した画像を表示部120に表示させ、表示させた画像の顔認識範囲内の位置を入力部130が指示したとき、当該顔認識範囲に対応づけて記憶された生体情報を表示部120に表示させる表示制御部102を備える。
この構成により、ユーザは操作により人物の顔を表す顔認識範囲を指示することで、その人物の生体情報を見ることができる。そのため、ユーザは、撮影時の状況を想起するとともに、顔認識範囲を指示した人物への関心を満たすことができる。
(第2の実施形態)
次に、本発明の第2実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
本実施形態に係る画像記録システム1a(図示せず)は、画像記録装置10aと、生体情報取得部20−1、20−2を含んで構成される。次に、画像記録装置10aの構成について説明する。
図6は、本実施形態に係る画像記録装置10aの構成を示すブロック図である。
画像記録装置10aは、図6に示すように制御部100において記録制御部101(図2)に代えて記録制御部101aを備え、さらに登録情報生成部103aを備える。
記録制御部101aは、顔認識部142が特定した人物に係る登録情報に含まれる機器情報が示すデバイス20からネットワーク通信部170を介して受信した生体情報を、顔認識部142から入力された撮影情報が示す顔認識範囲と対応付ける。記録制御部101aは、顔認識部142から入力された画像データ、撮影情報、及び当該撮影情報が示す顔認識範囲に対応付けた生体情報を、対応付けて記憶部110に記録する。
顔認識部142は、上述したようにカメラ14が撮影した画像内の顔画像、つまり自部が認識した顔認識範囲内の顔画像と記憶部110に記憶された登録情報112に含まれる顔画像データが示す顔画像とを、人物毎に比較する。顔認識部142は、顔認識範囲内の顔画像と一致もしくは最も類似性が高いと判定される顔画像を示す登録情報112に係る人物を特定する。
登録情報生成部103aは、上述したペアリング処理(ステップS4、図3)において、指示されたデバイスについて入力部130から入力された操作信号に基づいて登録情報112を新たに生成し、生成した登録情報112を記憶部110に記憶する。そして、ネットワーク通信部170は、指示されたデバイスを接続可能な機器として設定することを示す接続設定信号を生成し、生成した接続設定信号を当該デバイスに送信する。
(登録情報生成処理)
次に、登録情報生成部103aが行う登録情報生成処理について説明する。
図7は、本実施形態に係る登録情報生成処理の一例を示すフローチャートである。
(ステップF1)登録情報生成部103aは、登録情報の手動による登録の可否を判定するための登録可否確認画面を表示部120に表示させる。登録情報生成部103aは、入力部130から入力された操作信号が手動による登録が可能であることを示しているか否かを判定する。登録情報生成部103aが、登録が可能であることを示していると判定した場合(ステップF1 YES)、ステップF2に進む。登録情報生成部103aが登録できないことを示していると判定した場合(ステップF1 NO)、ステップF3に進む。
(ステップF2)登録情報生成部103aは、ユーザに登録情報の入力を促すための登録画面(図示せず)を表示部120に表示させる。登録情報生成部103aは、登録画面に顔認識部142で特定された顔画像範囲内の顔画像と、デバイス20から受信した機器情報を含める。
登録情報生成部103aは、入力部130から入力された操作信号が示す顔情報、名前情報を待ち受ける。入力部130から登録情報の登録を指示する操作信号が入力されるとき、登録情報生成部103aは、待ち受けた機器情報と顔画像データと統合して登録情報を人物毎に生成する。登録情報生成部103aは、生成した登録情報を記憶部110に記憶する。
(ステップF3)登録情報生成部103aは、ユーザに登録情報の登録を完了するか否かを確認するための登録完了確認画面(図示せず)を表示部120に表示させる。登録情報生成部103aは、入力部130から登録の完了を示す操作信号が入力されたか否かを判定する。登録の完了を示す操作信号が入力されたと判定した場合(ステップF3 YES)、ステップS5(図3)に進む。登録の継続を示す操作信号が入力された場合(ステップF3 NO)、ステップF1に進む。
次に、登録画面の例について説明する。図8は、本実施形態に係る登録画面の一例を示す図である。図8に示す登録画面は、タイトルri01、名前情報入力欄ri02、顔情報入力欄ri03、機器情報一覧ri04、顔画像ri05、登録ボタンri06を含んで構成される。
タイトルri01は、「登録画面」との文字列からなるタイトルを示す。名前情報入力欄ri02は、当該項目を示す文字「名前:」と、入力部130から入力された操作信号に基づいて名前情報を示す文字列が入力可能な領域を含む。顔情報入力欄ri03は、当該項目を示す文字「顔情報:」と、入力部130から入力された操作信号に基づいて顔情報を示す文字列が入力可能な領域を含む。
機器情報一覧ri04は、デバイス20のそれぞれから受信した機器情報を表示する。機器情報一覧ri04は、機器毎の機器情報は、その種別(デバイス)、デバイス名、取得可能値を各行に示す。各行に付された「+」印は、登録すべき機器情報であることを示す記号である。登録情報生成部103aは、操作信号により「+」印の位置が指示される度に、その「+」印の表示、消去を繰り返す。登録情報生成部103aは、「+」印が表示された行の機器情報を登録すべき機器情報として選択し、「+」印が消去された行の機器情報を登録すべき機器情報から除外する。
顔画像ri05は、顔認識部142において認識された顔画像を示す。なお、カメラ14から入力された画像データに複数の顔認識範囲が含まれる場合には、登録情報生成部103aは、入力部130から入力された操作信号に基づいて、複数の顔認識範囲のうち1つの顔認識範囲を選択してもよい。
登録ボタンri06は、「登録」との文字列を表し、入力部130から入力された操作信号が指示する位置が、登録ボタンri06の表示領域に含まれる場合、登録情報生成部103aは、入力された名前情報、顔情報、選択された機器情報、及び顔画像データを含む登録情報を生成する。なお、登録情報において機器情報と顔画像データが含まれていれば、名前情報と顔情報は省略可能である。
図7に示す登録情報生成処理によって登録情報を生成するには、ユーザは、どの人物がどのデバイス20を装着しているかを確認し、手動で人物毎のデバイス20を指示する必要がある。そこで、登録情報生成部103aは、図9に示すように、デバイス20から現在受信した生体情報の一部と過去に受信した生体情報の一部とを比較して、一致又は近似しているか否かを判定する。登録情報生成部103aは、一致又は近似していると判定した生体情報の一部を送信したデバイス20を特定してもよい。但し、記録制御部101aは、受信した生体情報を記憶部110に記憶する際、当該生体情報を送信したデバイス20の機器情報を対応付けて記憶しておく。
図9は、本実施形態に係る登録情報生成処理の他の例を示すフローチャートである。
図9に示す登録情報生成処理は、図7に示す登録情報生成処理において、さらにステップH1〜H3を有する。
(ステップH1)登録情報生成部103aは、画像記録装置10aが生体情報を取得したことがあるか否かを判定する。ここで、登録情報生成部103aは、記憶部110に生体情報と機器情報とを対応付けて記憶されているか否かを判定する。生体情報を取得したことがあると判定した場合には(ステップH1 YES)、ステップH2に進む。生体情報を取得したことがないと判定した場合には(ステップH1 NO)、ステップS5(図3)に進む。
(ステップH2)登録情報生成部103aは、ステップS3(図3)において直近に取得した生体情報の一部と、前回受信し記憶部110に記憶された生体情報の一部と、を比較する。ここで、登録情報生成部103aは、画像記録装置10aの接続開始から終了までの期間を1回と計数する。従って、前回とは、現時点でなされている画像記録装置10aとデバイス20との間の接続が開始される前に、接続していた期間を意味する。比較の際に、登録情報生成部103aは、例えば、直近に取得した生体情報の一部と、記憶部110に記憶された生体情報の一部との差分値を算出する。比較に用いる生体情報の一部は、人物間における差異があり時間変動が少ない情報が好ましい。かかる生体情報の一部は、例えば、デバイス20を人体の上肢部又は下肢部に巻き付け固定するための固定部(バンド等)の長さ、歩幅、足の大きさ、体重、等のいずれか又はそれらの組み合わせであってもよい。デバイス20は、かかる生体情報の要素を計測し、生体情報の一部として画像記録装置10に送信する。
(ステップH3)登録情報生成部103aは、直近に取得した生体情報の一部と一致又は近似している記憶部110に記憶された生体情報の一部があるか否かを判定する。判定の際に、登録情報生成部103aは、例えば、算出した差分値の絶対値が、所定の差分値の閾値よりも小さい場合、一致又は近似していると判定する。生体情報の一部があると判定した場合(ステップH3 YES)、一致又は近似していると判定された生体情報の一部と対応付けた機器情報を記憶部110から読み取り、ステップF2に進む。ステップF2では、登録情報生成部103aは、表示部120に対して読み取った機器情報を、デバイス20から受信した機器情報と対応付けて登録画面に表示させる。ないと判定した場合(ステップH3 NO)、ステップS5(図3)に進む。
この処理により、登録情報に含まれる機器情報の候補として、直近に生体情報を送信したデバイス20の機器情報と、前回生体情報を送信したデバイス20の機器情報とが対応付けて表示される。そのため、人物が装着するデバイス20が変更された場合において、ユーザは、前回使用していたデバイス20の存在に気付き、そのデバイス20に係る登録情報の更新が促される。
また、ステップF2では、登録情報生成部103aは、読み取った機器情報を含む登録情報を記憶部110から読み取り、読み取った登録情報に含まれる名前情報、顔情報、及び顔画像データを含む登録画面を表示部120に表示させてもよい。登録情報生成部103aは、前回使用していたデバイス20と対応付けた名前情報、顔情報、及び顔画像データを、更新後の登録情報に含めることで、これらの情報を入力又は選択するための作業が軽減される。
なお、一致又は近似しているか否かの判定対象の生体情報の一部は、前回受信した生体情報の一部に限られず、例えば、前々回に受信した生体情報、所定時間前までに受信した生体情報の一部であってもよい。また、登録情報生成部103aが読み取る機器情報は、一致又は近似していると判定された生体情報の一部を受信した時刻から所定時間(例えば、10秒)内に受信した生体情報に対応付けた機器情報であってもよい。これにより、デバイス20間で生体情報の種類が異なっても、同一人物が装着を開始もしくは再開することにより同時期に生体情報を送信しているデバイス20を漏れなく特定することができる。
また、デバイス20は、周囲の画像を撮影する撮影部と、撮影した画像を示す画像データについて画像認識処理を行って被写体である装着者の顔画像を認識し、認識された装着者が所定の装着者であることを特定する顔認識部を備えてもよい。顔認識部は、撮影した画像を示す画像データから認識された顔画像を示す顔画像データを抽出する。そして、デバイス20は、所定の装着者であることを特定する場合に、生体情報を計測する。その場合には、登録情報生成部103aは、デバイス20から生体情報と対応付けて顔画像データを受信し、受信した顔画像データを含む登録情報を生成してもよい。また、登録情報生成部103aは、デバイス20から生体情報と対応付けて特定した装着者の名前情報を受信し、受信した名前情報を含めて登録情報を生成してもよい。これにより、登録情報の操作に係るユーザの作業が軽減される。
(画像データ記憶処理)
次に、画像データ記録処理について説明する。
図10は、本実施形態に係る画像データ記録処理を示すフローチャートである。
(ステップG1)顔認識部142は、カメラ14から入力された画像データが示す画像が人物の顔を表す顔認識範囲を有するか否かを判定する。顔認識範囲を有すると判定した場合(ステップG1 YES)、ステップG2に進む。顔認識範囲を有しないと判定した場合(ステップG1 NO)、図10に示す処理を終了し、ステップS18(図3)に進む。
(ステップG2)顔認識部142は、記憶部110に記憶された登録情報の有無を判定する。登録情報があると判定された場合には(ステップG2 YES)、ステップG3に進む。登録情報がないと判定された場合には(ステップG2 NO)、顔認識部142は、人物の特定に失敗したと判定し、図10に示す処理を終了し、ステップS18(図3)に進む。
(ステップG3)顔認識部142は、カメラ14が撮影した画像内の顔画像と、ある人物に係る登録情報に含まれる顔画像データが示す顔画像とを比較する。ここで、顔認識部142は、2つの顔画像間の類似性を示すスコアを算出する。その後、ステップG4に進む。
(ステップG4)顔認識部142は、カメラ14が撮影した画像内の顔画像と、ある人物に係る登録情報に含まれる顔画像データが示す顔画像とが一致するか否かを判定する。ここで、顔認識部142は、算出したスコアが所定のスコアの閾値よりも高いとき、2つの顔画像が一致すると判定し、算出したスコアが所定のスコアの閾値以下であるとき、2つの顔画像が一致しないと判定する。2つの顔画像が一致すると判定された場合には(ステップG4 YES)、顔認識部142は、比較に用いた登録情報に係る人物を特定し、ステップG6に進む。2つの顔画像が一致しないと判定された場合には(ステップG4 NO)、ステップG5に進む。
(ステップG5)顔認識部142は、カメラ14が撮影した画像内の顔画像と、登録情報に含まれる顔画像データが示す顔画像との比較が完了したか否かを判定する。即ち、顔認識部142は、未処理の人物に係る登録情報の有無を判定する。比較が完了したと判定した場合には(ステップG5 YES)、人物の特定に失敗したと判定し、図8に示す処理を終了し、ステップS18(図3)に進む。比較が完了していないと判定した場合には(ステップG5 NO)、処理対象の登録情報を別の未処理の人物に係る登録情報に変更し、ステップG3に戻る。
(ステップG6)記録制御部101aは、特定した人物に係る登録情報に含まれる機器情報が示すデバイス20を特定する。記録制御部101aは、特定したデバイス20から取得した生体情報を、顔認識部142から入力された撮影情報が示す当該人物の顔認識範囲と対応付ける。
(ステップG7)記録制御部101aは、当該人物の顔認識範囲と対応付けた生体情報を、顔認識部142から入力された画像データに対応付けて記憶部110に記憶する。その後、図8に示す処理を終了し、ステップS18(図3)に進む。
なお、1個の画像データが示す画像に複数の顔認識範囲が含まれる場合には、顔認識部142及び記録制御部101aは、個々の顔認識範囲についてステップG3−G7の処理を行う。
また、顔認識部142が人物の特定に失敗したと判定した場合には(ステップG5 YES)、記録制御部101aは、表示部120に対してユーザに登録情報の登録を促すための表示をさせてもよい。また、その場合には、記録制御部101aは、表示部120に対してユーザに再度の撮影を促すための表示をさせてもよい。
また、顔認識部142が人物の特定に失敗したと判定した場合でも、記録制御部101aは、受信した生体情報を、画像データと対応付けて記憶部110に記憶してもよい。受信した生体情報が、画像に表れていない視野範囲外に所在する人物、例えば、撮影者の生体情報である可能性がある。表示制御部102は、その生体情報を入力部130から入力された操作信号の指示に基づいて、当該生体情報を表示部120に表示させてもよい。
なお、上述では、記録制御部101aは、デバイス20から受信した生体情報を記憶部110に記憶する場合を例にしたが、これには限られない。記録制御部101aは、受信した生体情報にその人物の名前情報と画像記録装置10aのユーザを識別するユーザ情報とを対応付けてネットワークを介して接続可能なサーバ装置(例えば、ウェブサーバ)に記憶してもよい。当該サーバ装置は、生体情報を、ユーザ情報と名前情報に対応付けて記憶する。その場合、登録情報生成部103aは、サーバ装置に対して、直近に取得した生体情報の一部に対応する生体情報を要求するための要求信号を送信する。サーバ装置は、予め記憶した生体情報から、画像記録装置10aから受信した要求信号の一部と一致又は近似する生体情報を選択する。サーバ装置は、選択された生体情報に対応付けられたユーザ情報と名前情報を画像記録装置10aに送信する。そして、登録情報生成部103aは、サーバ装置から受信したユーザ情報ならびに名前情報と、直近に取得した生体情報とを含む登録情報を生成してもよい。従って、記憶部110が生体情報を保持していない場合であっても、当該サーバ装置で記憶された生体情報が登録情報の生成に用いられる。
(生体情報の例)
次に、画像記録装置10aが取得した生体情報の例について説明する。
図11は、生体情報の例を示す表である。図11は、人物毎の顔認識範囲に対応付けられた生体情報を各行に示す。各行の生体情報は、それぞれの顔認識範囲内に表された顔の人物と対応付けられておる。例えば、図11の第2行には、「父親」と、心拍数「90」、ストレス「なし」、活動量「AAA」、歩数「4000」、及び距離「2000」と対応付けられている。図11の第4行には、「子供B」と、心拍数「80」、ストレス「なし」、及び活動量「DDD」が対応付けられている。「子供B」について歩数及び距離が空欄であるのは、「子供B」にデバイス20として歩数計が装着されていないためである。
表示制御部102は、入力部130から入力された操作信号が指示する位置を含んだ顔認識範囲に対応する生体情報を記憶部110から読み取り、読み取った生体情報を画像データが示す画像に重畳して表示部120に表示させる。
(表示例)
次に、本実施形態において表示部120に表示される画像の例について説明する。
図12は、本実施形態において表示される画像の例を示す図である。
図12(A)に示す画像には、4名の人物の顔fc21、fc22、fc23、fc24が表されている。それぞれの人物の顔に外接する破線の四角形は、顔認識範囲bx21、bx22、bx23、bx24を示す。また、図12(A)に示す画像には、環境情報pi02が表されている。環境情報pi02は、「気温:26°C、湿度:60%、風速:10m、天気:曇りのち晴れ、東京 ○○山 頂上付近」を示す。そのうち、「東京 ○○山 頂上付近」は、位置情報である。表示制御部102は、画像データに対応する環境情報を示す文字列を撮影された画像データに重畳して表示画像データを生成する。表示制御部102は、生成した表示画像データに基づく画像を表示部120に表示させる。なお、環境情報の表示は、省略されてもよい。
図12(B)は、図12(A)に示す画像に対し、さらにポインタpt21、pt24及び生体情報bi21、bi24が表示されている。ポインタpt21、pt24は、それぞれ入力部130から入力された操作信号が示す位置を示す画像である。生体情報bi21は、顔fc21に係る人物について測定された生体情報である。生体情報bi24は、顔fc24に係る人物について測定された生体情報である。図12(B)に示す例では、生体情報bi21は、心拍数60回/分、ストレスあり、活動量CCC、歩数8000歩、距離2000mを示す。生体情報bi21は、操作信号が示す位置が顔認識範囲bx21の範囲内である場合に表示される。生体情報bi24は、心拍数90回/分、ストレスなし、活動量AAA、歩数4000歩、距離2000mを示す。生体情報bi24は、操作信号が示す位置が顔認識範囲bx24の範囲内である場合に表示される。
図12(B)に示す例では、表示制御部102は、同時に複数の生体情報を表示部120に表示させる場合を例にしているが、一度に1個の生体情報を表示させ、他の生体情報を表示しなくてもよい。その場合、表示制御部102は、最も直近に操作信号が示す位置が含まれる顔認識範囲に対応した生体情報を表示部120に表示させる。一度に1個の生体情報を表示させることにより、表示部120の限られた表示領域を有効に利用することができる。
以上に説明したように、本実施形態に係る画像記録装置10aにおいて、ネットワーク通信部170は、デバイス20から当該デバイス20の機器情報を受信する。また、画像記録装置10aは、顔認識部142が判定した顔認識範囲内の顔画像と、ネットワーク通信部170が受信した機器情報の少なくとも一部とを人物毎に対応付けた登録情報を生成する登録情報生成部103aを備える。
この構成により、人物毎の顔画像とデバイス20の機器情報を対応した登録情報が生成されるので、記憶部110に顔認識範囲と生体情報とを対応付けて記録可能な人物を増やすことができる。そのため、撮影者によらず撮影時の状況を想起させることができる被写体である人物の範囲を拡張することができる。
(第3の実施形態)
次に、本発明の第3実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
本実施形態に係る画像記録システム1b(図示せず)は、画像記録装置10bと、生体情報取得部20−1、20−2を含んで構成される。次に、画像記録装置10bの構成について説明する。
図13は、本実施形態に係る画像記録装置10bの構成を示すブロック図である。
画像記録装置10bは、制御部100において表示制御部102(図2)に代えて表示制御部102bを備える。
表示制御部102bは、表示制御部102(図2)と同様に表示画像データを生成する。
表示制御部102bは、画像データ111が表す画像に含まれる顔認識領域に対応付けられた生体情報113に、その一部である表情関連生体情報が含まれる場合には、表情関連生体情報が示す身体の状態を判定する。表情関連生体情報は、人物の表情に関連する生体情報である。表示制御部102bは、判定した身体の状態に対応付けた表情画像データを記憶部110から読み取る。表示制御部102bは、撮影情報114を参照して当該表情関連生体情報に対応する人物の顔認識範囲を特定する。表示制御部102bは、読み取った表情画像データが示す表情画像を、表示画像において特定した顔認識範囲に重畳し、重畳した表示画像を示す表示画像データを新たに生成する。表示制御部102bは、新たに生成した表示画像データを表示部120に出力し、当該表示画像データが示す表示画像を表示させる。
記憶部110には、身体の状態を示す身体情報と対応付けて表情画像データを予め記憶しておく。表情画像データは、当該身体の状態において典型的に表れる表情を示す表情画像を示すデータである。例えば、身体の状態として「ストレスあり」を示す身体情報と対応付けて、「怒り」を表す表情画像データを記憶させておく。身体の状態として所定の閾値よりも多い歩数を示す身体情報と対応付けて、「汗」を表す表情画像データを記憶させておく。なお、表情関連生体情報が示す身体の状態の度合いによって異なる表情画像データを対応付けて記憶させておいてもよい。例えば、歩数が多いほど、著しく発汗した「汗」を表す表示画像データが対応付けられてもよい。
次に、表示制御部102bが行う表示制御処理について説明する。
図14は、本実施形態に係る表示制御処理を示すフローチャートである。
表示制御部102bは、図14に示す処理は、撮像した画像を表示させる際に(ステップS18、図3)行う。また、図14に示す処理は、生体情報としてストレスの有無、及び歩数に応じた表情画像の重畳の要否や、重畳すべき表情画像を選択する場合を例にする。
(ステップI1)表示制御部102bは、画像データ111が表す画像に含まれる顔認識範囲に対応付けられた生体情報113がストレス「あり」を示す情報を含むか否かを判定する。含むと判定した場合(ステップI1 YES)、ステップI2に進む。含まないと判定した場合(ステップI1 NO)、ステップI3に進む。
(ステップI2)表示制御部102bは、ストレス「あり」に対応付けられた「怒り」を示す表情画像データを記憶部110から読み取る。表示制御部102bは、読み取った表情画像データが示す表情画像(怒りマーク)を該当する顔認識範囲に重畳して表示部120に表示させる。
(ステップI3)表示制御部102bは、当該顔認識範囲に対応付けられた生体情報113が歩数情報を含むか否かを判定する。含むと判定した場合であって、歩数が所定の歩数の閾値NA(例えば、7000歩)よりも多い場合には(ステップI3 YES、歩数>NA)、ステップI4に進む。含むと判定した場合であって、歩数が所定の歩数の閾値NB(例えば、4000歩)よりも多く、閾値NA以下である場合には(ステップI3 YES、歩数>NB)、ステップI5に進む。それ以外の場合には(ステップI3 NO)、ステップI6に進む。
(ステップI4)表示制御部102bは、閾値NAよりも多い歩数に対応付けられた「汗」を示す表情画像データを記憶部110から読み取る。表示制御部102bは、読み取った表情画像データが示す表情画像(汗マークA)を該当する顔認識範囲に重畳して表示部120に表示させる。
(ステップI5)表示制御部102bは、閾値NBよりも多く閾値NA以下の歩数に対応付けられた「汗」を示す表情画像データを記憶部110から読み取る。表示制御部102bは、読み取った表情画像データが示す表情画像(汗マークB)を該当する顔認識範囲に重畳して表示部120に表示させる。
(ステップI6)表示制御部102bは、画像データ111が表す画像に含まれる全ての顔認識範囲について処理を完了したか否かを判定する。完了したと判定した場合には、図14に示す処理を終了する。完了していないと判定していない場合には、処理対象の顔認識範囲を変更して、ステップI1に戻る。
(表示例)
次に、本実施形態において表示部120に表示される画像の例について説明する。
図15は、本実施形態において表示される画像の例を示す図である。
図15に示す画像は、図12(A)に示す画像に、3つの表情画像mk21a、mk21b、mk24が重畳されている。表情画像mk21aは、顔fc21に係る人物(子供A)の生体情報が示す歩数(8000歩)が、歩数NA(7000歩)よりも大きいことに応じて重畳された表情画像(汗マークA)である。表情画像mk21bは、顔fc21に係る人物(子供A)の生体情報が示すストレス情報(ストレスあり)に応じて重畳された表情画像(怒りマーク)である。表情画像mk24は、顔fc24に係る人物(父親)の生体情報が示す歩数(5000歩)が、歩数NB(4000歩)より多く、NA以下であることに応じて重畳された表情画像(汗マークB)である。なお、図15に示す例では、図5に示す例とは異なり顔認識範囲bx01の外枠線が省略されている。
なお、表示制御部102bは、表情画像の押下を検知したとき、検知した表情画像が重畳されている顔認識範囲に対応付けられた生体情報を重畳して表示部120に表示させてもよい。ユーザは詳細な生体情報を把握することができるので、ユーザの関心を満足させることができる。
また、身体の状態の判定に用いる生体情報は、人物の表情と関連がある生体情報であればよく、例えば、血圧、体温、であってもよい。表示制御部102bは、入力部130から入力された操作信号の指示により、身体の状態の判定に用いる生体情報が設定可能であってもよい。
以上に説明したように、本実施形態に係る画像記録装置10bにおいて、記憶部110は、身体の状態を示す身体情報と当該身体の状態において表れる表情を示す表情画像とを対応付けて記憶する。また、画像記録装置10bは、デバイス20が受信した生体情報の少なくとも一部(例えば、ストレスの有無、歩数)から身体の状態を判定し、判定した身体の状態に対応する表情画像(例えば、怒りマーク、汗マーク)を記憶部110から読み取り、読み取った表情画像を、デバイス20を装着した人物の顔認識範囲に重畳して表示部120に表示させる表示制御部102bを備える。
この構成により、ユーザは、人物毎に表わされた表情画像を見て、その表情を把握することができるので、各人物の撮影時の身体の状態、等、その表情に関連した状況を容易に想起することができる。
(第4の実施形態)
次に、本発明の第4実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
本実施形態に係る画像記録システム1c(図示せず)は、画像記録装置10cと、生体情報取得部20−1、20−2を含んで構成される。次に、画像記録装置10cの構成について説明する。
図16は、本実施形態に係る画像記録装置10cの構成を示すブロック図である。
画像記録装置10cは、制御部100において表示制御部102(図2)に代えて表示制御部102cを備える。
表示制御部102cは、表示制御部102(図2)と同様に表示画像データを生成する。
画像データ111に対応付けて記憶部110に記憶された撮影情報114が示す顔認識領域に対応付けられた生体情報113には、定量的な生体情報が含まれる場合がある。その場合には、表示制御部102cは、顔認識領域(人物)間で当該生体情報の順位を判定する。表示制御部102cは、判定した順位を示す順位情報を、それぞれの顔認識領域(人物)に対応付けた生体情報に付加して記憶部110に記憶する。また、表示制御部102cは、判定した順位を示す文字(順位表示文字)をそれぞれ該当する顔認識範囲に重畳し、順位表示文字を重畳した表示画像を示す表示画像データを新たに生成する。表示制御部102cは、新たに生成した表示画像データを表示部120に出力し、当該表示画像データが示す表示画像を表示させる。
(生体情報の例)
次に、画像記録装置10cにより順位が付加された生体情報の例について説明する。
図17は、順位が付加された生体情報の例を示す表である。図17に示す表は、図11に示す歩数の順位が人物毎に付加されている。例えば、図17の第2列において、「父親」と順位「3」、「母親」と順位「2」、「子供A」と順位「3」がそれぞれ対応付けられている。順位「3」、「2」、「1」は、それぞれ「父親」の歩数「4000」が3番目に多く、「母親」の歩数「5000」が2番目に多く、「子供A」の歩数が「8000」が1番目に多いことを示す。「子供B」について順位が空欄であるのは、「子供B」について歩数が得られていないので、順位が判定されなかったためである。
(表示例)
次に、本実施形態において表示部120に表示される画像の例について説明する。
図18は、本実施形態において表示される画像の例を示す図である。図18に示す画像は、図12(A)に示す画像に、3つの順位表示文字rk21、rk22、rk24が重畳されている。歩数に関する順位であることを示す表題tl03「歩数ランキング」が表示画像の上方に重畳して表示されている。順位表示文字rk21「1位」は、顔fc21に係る人物(子供A)の生体情報が示す歩数(8000歩)が1番目に多いことを示す。順位表示文字rk22「2位」は、顔fc22に係る人物(母親)の生体情報が示す歩数(5000歩)が2番目に多いことを示す。順位表示文字rk24「3位」は、顔fc24に係る人物(父親)の生体情報が示す歩数(4000歩)が3番目に多いことを示す。
なお、図18に示す例では、図5に示す例とは異なり、顔認識範囲の外枠線が省略されている。また、図12に示す例とは異なり、環境情報の表示が省略されている。表示制御部102cは、これには限らず、表示部120に対して顔認識範囲の外枠線を付加して表示させてもよいし、環境情報を付加して表示させてもよい。
また、表示制御部102cは、順位表示文字の押下を検知したとき、検知した順位表示文字が重畳された顔認識範囲に対応付けられた生体情報を、表示画像に重畳して表示部120に表示させてもよい。ユーザは詳細な生体情報を把握することができるので、ユーザの関心を満足させることができる。
なお、順位を判定すべき生体情報は、定量的に比較可能な生体情報であればよく、例えば、歩数の他、心拍数、活動量、等であってもよい。表示制御部102cは、入力部130から入力された操作信号に応じて、順位を判定させるべき生体情報の種類が設定可能であってもよい。
以上に説明したように、本実施形態に係る画像記録装置10cは、デバイス20から受信した生体情報の少なくとも一部(例えば、歩数)について人物間の順位を判定し、判定した順位を示す文字を、デバイス20を装着した人物の顔認識範囲に重畳して表示部120に表示させる表示制御部102cを備える。
この構成により、ユーザは、人物毎に表わされた順位を示す文字を見て、撮影時の環境による生体情報の度合いを人物間で比較することができる。この比較により、ユーザは、撮影時の状況を想起することができる。例えば、表示制御部102cは、お化け屋敷や遊園地等の娯楽施設において撮影した人物の画像に測定された心拍数の順位を表示させることで、ユーザは、娯楽施設における演出に動揺した度合いを人物間で比較することができる。また、表示制御部102cは、サッカーをはじめとする競技の終了後に撮影した人物の画像に測定した活動量の順位を表示させることで、ユーザは、競技による動きの量を人物間で比較することができる。
なお、本発明は上述した各実施形態に限定されるものではなく、種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的構成を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。例えば、画像記録装置10b、10cは、登録情報生成部103aを備えてもよい。また、画像記録装置10cは、表示制御部102cの他に、表示制御部102bを備えてもよい。
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
例えば、表示部120、入力部130、及びカメラ14の一部又は全部は、画像記録装置10、10a、10b、10cとの間で各種のデータを送受信できれば、画像記録装置10、10a、10b、10cとは別体であってもよい。
また、上述した実施形態における画像記録装置10、10a、10b、10cの一部、例えば、制御部100、をコンピュータで実現するようにしてもよい。その場合、制御プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、認識データ伝送装置に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における認識データ伝送装置の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。認識データ伝送装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
なお、本発明は次の態様でも実施することができる。
(1)生体情報取得部から生体情報を受信する通信部と、顔画像及び前記生体情報取得部の機器情報を対応付けた登録情報を人物毎に記憶する記憶部と、撮影部が撮影した画像から人物の顔を表す顔認識範囲を判定し、判定した顔認識範囲内の画像と前記記憶部に記憶された顔画像に基づいて人物を特定する認識部と、前記記憶部に記憶された機器情報に基づいて前記認識部が特定した人物の生体情報取得部を特定し、前記撮影部が撮像した画像を、特定した生体情報取得部から受信した生体情報を前記認識部が判定した顔認識範囲と対応付けて前記記憶部に記憶する記録制御部と、を備える画像記録装置。
(2)前記通信部は、前記生体情報取得部から当該生体情報取得部の機器情報を受信し、前記認識部が判定した顔認識範囲内の顔画像と、前記通信部が受信した機器情報の少なくとも一部とを人物毎に対応付けた登録情報を生成する登録情報生成部と、を備える(1)の画像記録装置。
(3)表示部が表示する情報を指示する入力部と、前記記憶部に記憶した画像を表示部に表示させ、表示させた画像の顔認識範囲内の位置を前記入力部が指示したとき、当該顔認識範囲に対応づけて記憶された生体情報を表示部に表示させる表示制御部と、を備える(1)または(2)の画像記録装置。
(4)前記記憶部は、身体の状態を示す身体情報と当該身体の状態において表れる表情を示す表情画像とを対応付けて記憶し、前記生体情報取得部が受信した生体情報の少なくとも一部から身体の状態を判定し、判定した身体の状態に対応する表情画像を前記記憶部から読み取り、読み取った表情画像を、前記生体情報取得部を装着した人物の顔認識範囲に重畳して表示部に表示させる表示制御部と、を備える(1)から(3)のいずれかに記載の画像記録装置。
(5)前記生体情報取得部から受信した生体情報の少なくとも一部について人物間の順位を判定し、判定した順位を示す文字を、前記生体情報取得部を装着した人物の顔認識範囲に重畳して表示部に表示させる表示制御部と、を備える(1)から(4)のいずれかに記載の画像記録装置。
(6)人物の生体情報を計測する生体情報取得部と画像記録装置とを備える画像記録システムであって、前記生体情報取得部は、前記生体情報を前記画像記録装置に送信し、前記画像記録装置は、前記生体情報取得部から生体情報を受信する通信部と、顔画像及び前記生体情報取得部の機器情報を対応付けた登録情報を人物毎に記憶する記憶部と、撮影部が撮影した画像から人物の顔を表す顔認識範囲を判定し、判定した顔認識範囲内の画像と前記記憶部に記憶された顔画像に基づいて人物を特定する認識部と、前記記憶部に記憶された機器情報に基づいて前記認識部が特定した人物の生体情報取得部を特定し、前記撮影部が撮像した画像を、特定した生体情報取得部から受信した生体情報を前記認識部が判定した顔認識範囲と対応付けて前記記憶部に記憶する記録制御部と、を備える画像記録システム。
(7)生体情報取得部から生体情報を受信する通信過程と、撮影部が撮影した画像から人物の顔を表す顔認識範囲を判定し、判定した顔認識範囲内の画像と、顔画像及び前記生体情報取得部の機器情報を対応付けた登録情報を人物毎に記憶する記憶部に記憶された顔画像に基づいて人物を特定する認識過程と、前記記憶部に記憶された機器情報に基づいて前記認識過程で特定された人物の生体情報取得部を特定し、前記撮影部が撮像した画像を、特定した生体情報取得部から受信した生体情報を前記認識過程で判定された顔認識範囲と対応付けて前記記憶部に記憶する記録制御過程と、を有する画像記録方法。
(8)コンピュータに、生体情報取得部から生体情報を受信する通信手順、撮影部が撮影した画像から人物の顔を表す顔認識範囲を判定し、判定した顔認識範囲内の画像と、顔画像及び前記生体情報取得部の機器情報を対応付けた登録情報を人物毎に記憶する記憶部に記憶された顔画像に基づいて人物を特定する認識手順、前記記憶部に記憶された機器情報に基づいて前記認識手順で特定された人物の生体情報取得部を特定し、前記撮影部が撮像した画像を、特定した生体情報取得部から受信した生体情報を前記認識手順で判定された顔認識範囲と対応付けて前記記憶部に記憶する記録制御手順、を実行させるための画像記録プログラム。
1、1a、1b、1c…画像記録システム、10、10a、10b、10c…画像記録装置、100…制御部、101、101a…記録制御部、102、102b、102c…表示制御部、103a…登録情報生成部、110…記憶部、120…表示部、130…入力部、140…カメラ機能部、141…シャッター検知部、142…顔認識部、150…環境情報センサ、160…GPSセンサ、170…ネットワーク通信部、14…カメラ、17…アンテナ、20(20−1、20−2)…生体情報取得部(デバイス)、21−1、21−2…活動量計、22−1、22−2…心拍計、23−1、23−2…歩数計

Claims (5)

  1. 生体情報取得部から生体情報を受信する通信部と、
    顔画像及び前記生体情報取得部の機器情報を対応付けた登録情報を人物毎に記憶する記憶部と、
    撮影部が撮影した画像から人物の顔を表す顔認識範囲を判定し、判定した顔認識範囲内の画像と前記記憶部に記憶された顔画像に基づいて人物を特定する認識部と、
    前記記憶部に記憶された機器情報に基づいて前記認識部が特定した人物の生体情報取得部を特定し、前記撮影部が撮像した画像を、特定した生体情報取得部から受信した生体情報を前記認識部が判定した顔認識範囲と対応付けて前記記憶部に記憶する記録制御部と、
    を備える画像記録装置。
  2. 前記通信部は、前記生体情報取得部から当該生体情報取得部の機器情報を受信し、
    前記認識部が判定した顔認識範囲内の顔画像と、前記通信部が受信した機器情報の少なくとも一部とを人物毎に対応付けた登録情報を生成する登録情報生成部と、
    を備える請求項1に記載の画像記録装置。
  3. 表示部が表示する情報を指示する入力部と、
    前記記憶部に記憶した画像を表示部に表示させ、表示させた画像の顔認識範囲内の位置を前記入力部が指示したとき、当該顔認識範囲に対応づけて記憶された生体情報を表示部に表示させる表示制御部と、
    を備える請求項1または請求項2に記載の画像記録装置。
  4. 前記記憶部は、身体の状態を示す身体情報と当該身体の状態において表れる表情を示す表情画像とを対応付けて記憶し、
    前記生体情報取得部が受信した生体情報の少なくとも一部から身体の状態を判定し、判定した身体の状態に対応する表情画像を前記記憶部から読み取り、読み取った表情画像を、前記生体情報取得部を装着した人物の顔認識範囲に重畳して表示部に表示させる表示制御部と、
    を備える請求項1から3のいずれかに記載の画像記録装置。
  5. 前記生体情報取得部から受信した生体情報の少なくとも一部について人物間の順位を判定し、判定した順位を示す文字を、前記生体情報取得部を装着した人物の顔認識範囲に重畳して表示部に表示させる表示制御部と、
    を備える請求項1から4のいずれかに記載の画像記録装置。
JP2014213771A 2014-10-20 2014-10-20 画像記録装置 Active JP6379424B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014213771A JP6379424B2 (ja) 2014-10-20 2014-10-20 画像記録装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014213771A JP6379424B2 (ja) 2014-10-20 2014-10-20 画像記録装置

Publications (2)

Publication Number Publication Date
JP2016082482A true JP2016082482A (ja) 2016-05-16
JP6379424B2 JP6379424B2 (ja) 2018-08-29

Family

ID=55959289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014213771A Active JP6379424B2 (ja) 2014-10-20 2014-10-20 画像記録装置

Country Status (1)

Country Link
JP (1) JP6379424B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017073745A (ja) * 2015-10-09 2017-04-13 オリンパス株式会社 記録装置、記録装置の制御方法、記録システム、及び装着型情報処理装置
JP2018061239A (ja) * 2016-09-28 2018-04-12 カシオ計算機株式会社 画像再生装置、撮像装置、画像再生方法及びプログラム
CN110546679A (zh) * 2017-04-10 2019-12-06 富士通株式会社 识别装置、识别系统,识别方法以及识别程序
JP2020014239A (ja) * 2019-09-26 2020-01-23 オリンパス株式会社 装置、装置の制御方法、システム、及びプログラム
JP2020061656A (ja) * 2018-10-10 2020-04-16 三菱電機株式会社 撮像装置およびデータ保存方法
CN114079730A (zh) * 2020-08-19 2022-02-22 华为技术有限公司 一种拍摄方法和拍摄系统
WO2023198092A1 (zh) * 2022-04-14 2023-10-19 华为技术有限公司 媒体文件管理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130388A (ja) * 2008-11-28 2010-06-10 Hitachi Ltd 撮像装置、撮像方法、再生装置及び再生方法
JP2012239661A (ja) * 2011-05-20 2012-12-10 Fujitsu Ltd 心拍数・呼吸数検出装置,方法およびプログラム
JP2013130808A (ja) * 2011-12-22 2013-07-04 Nikon Corp 電子機器
JP2013157797A (ja) * 2012-01-30 2013-08-15 Sony Corp 撮像装置、端末装置、情報処理装置、撮像システムおよび方法とプログラム
WO2014136466A1 (ja) * 2013-03-08 2014-09-12 ソニー株式会社 情報処理装置、システム、情報処理方法およびプログラム
US20140276104A1 (en) * 2013-03-14 2014-09-18 Nongjian Tao System and method for non-contact monitoring of physiological parameters

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130388A (ja) * 2008-11-28 2010-06-10 Hitachi Ltd 撮像装置、撮像方法、再生装置及び再生方法
JP2012239661A (ja) * 2011-05-20 2012-12-10 Fujitsu Ltd 心拍数・呼吸数検出装置,方法およびプログラム
JP2013130808A (ja) * 2011-12-22 2013-07-04 Nikon Corp 電子機器
JP2013157797A (ja) * 2012-01-30 2013-08-15 Sony Corp 撮像装置、端末装置、情報処理装置、撮像システムおよび方法とプログラム
WO2014136466A1 (ja) * 2013-03-08 2014-09-12 ソニー株式会社 情報処理装置、システム、情報処理方法およびプログラム
US20140276104A1 (en) * 2013-03-14 2014-09-18 Nongjian Tao System and method for non-contact monitoring of physiological parameters

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017073745A (ja) * 2015-10-09 2017-04-13 オリンパス株式会社 記録装置、記録装置の制御方法、記録システム、及び装着型情報処理装置
JP2018061239A (ja) * 2016-09-28 2018-04-12 カシオ計算機株式会社 画像再生装置、撮像装置、画像再生方法及びプログラム
JP2018207496A (ja) * 2016-09-28 2018-12-27 カシオ計算機株式会社 撮像装置、画像再生方法及びプログラム
CN110546679A (zh) * 2017-04-10 2019-12-06 富士通株式会社 识别装置、识别系统,识别方法以及识别程序
CN110546679B (zh) * 2017-04-10 2022-11-01 富士通株式会社 识别装置、识别系统,识别方法以及存储介质
JP2020061656A (ja) * 2018-10-10 2020-04-16 三菱電機株式会社 撮像装置およびデータ保存方法
JP7278051B2 (ja) 2018-10-10 2023-05-19 三菱電機株式会社 撮像装置およびデータ保存方法
JP2020014239A (ja) * 2019-09-26 2020-01-23 オリンパス株式会社 装置、装置の制御方法、システム、及びプログラム
CN114079730A (zh) * 2020-08-19 2022-02-22 华为技术有限公司 一种拍摄方法和拍摄系统
CN114079730B (zh) * 2020-08-19 2023-09-12 华为技术有限公司 一种拍摄方法和拍摄系统
WO2023198092A1 (zh) * 2022-04-14 2023-10-19 华为技术有限公司 媒体文件管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP6379424B2 (ja) 2018-08-29

Similar Documents

Publication Publication Date Title
JP6379424B2 (ja) 画像記録装置
KR101503761B1 (ko) 오브젝트의 정보를 표시하는 정보 처리 장치, 정보 처리 방법 및 기록 매체
US10070046B2 (en) Information processing device, recording medium, and information processing method
JP6707654B2 (ja) 移動体情報提供システム及び移動体情報提供プログラム
US9087255B2 (en) Image processor, image processing method and program, and recording medium
US11528432B2 (en) Imaging device and image processing method
JP2006338097A (ja) 撮影装置および管理センタ計算機
TW201509494A (zh) 運動圖像化系統與方法
JP2015028686A (ja) ソーシャルタイムラインを作成する方法、ソーシャル・ネットワーク・サービスシステム、サーバー、端末並びにプログラム
WO2015159775A1 (ja) 画像処理装置、通信システム及び通信方法並びに撮像装置
JP6638772B2 (ja) 撮像装置、画像記録方法及びプログラム
JP2013021473A (ja) 情報処理装置、情報取得方法およびコンピュータプログラム
JP5821699B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016213548A (ja) 撮影システム、撮影方法、検知装置及び撮影装置
JP6435595B2 (ja) トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム
JP2016149158A (ja) ソーシャルタイムラインを作成する方法、ソーシャル・ネットワーク・サービスシステム、サーバー、端末並びにプログラム
US20180341652A1 (en) Information presentation method, information presentation program, and information presentation apparatus
JP5924474B2 (ja) 携帯電子機器、その制御方法及びプログラム
JP2009211341A (ja) 画像の表示方法およびその表示装置
JP7235098B2 (ja) 情報配信装置、情報配信方法、情報配信プログラム
JP2020107196A (ja) 画像処理装置または画像処理サーバー
JPWO2018179472A1 (ja)
CN107872637B (zh) 图像重放装置、图像重放方法以及记录介质
US10904420B2 (en) Control device and control method for managing a captured image
US20170374310A1 (en) Display apparatus, display method, storage medium and display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180712

R150 Certificate of patent or registration of utility model

Ref document number: 6379424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150