JP2005110869A - 記録装置、及び記録方法 - Google Patents

記録装置、及び記録方法 Download PDF

Info

Publication number
JP2005110869A
JP2005110869A JP2003347446A JP2003347446A JP2005110869A JP 2005110869 A JP2005110869 A JP 2005110869A JP 2003347446 A JP2003347446 A JP 2003347446A JP 2003347446 A JP2003347446 A JP 2003347446A JP 2005110869 A JP2005110869 A JP 2005110869A
Authority
JP
Japan
Prior art keywords
information
user
recording
change
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003347446A
Other languages
English (en)
Other versions
JP3968522B2 (ja
Inventor
Yasushi Miyajima
靖 宮島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003347446A priority Critical patent/JP3968522B2/ja
Priority to US10/941,515 priority patent/US7183909B2/en
Priority to CNB2004100834353A priority patent/CN1299186C/zh
Priority to KR1020040078392A priority patent/KR101072557B1/ko
Priority to EP04256129A priority patent/EP1522256B1/en
Priority to DE602004028434T priority patent/DE602004028434D1/de
Publication of JP2005110869A publication Critical patent/JP2005110869A/ja
Application granted granted Critical
Publication of JP3968522B2 publication Critical patent/JP3968522B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0295Operational features adapted for recording user messages or annotations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】ユーザの周囲の状況を効率よく記録する。
【解決手段】変化検出部4は、生体センサ2が測定した心拍数、皮膚抵抗、皮膚温度差の3つの生体情報を観測値として3次元特徴空間にマッピングし、3次元特徴空間上にクラスを生成する。そして、変化検出部4は、新たに測定した観測値が属するクラスと、過去に測定した観測値が属するクラスとを比較し、クラスが異なるときにユーザの変化を検出する。制御部12は、変化検出部4が変化を検出すると、ビデオカメラ5、スチルカメラ6、マイクロフォン6を駆動し、ユーザの周囲の画像及び音声を記録する。
【選択図】図1

Description

本発明は、ユーザの周囲の状況を自動的に記録する記録装置及び記録方法に関する。
近年、センサの発達や情報機器の小型化により、携帯可能な生体センサや環境センサが開発されている。生体センサは、ユーザの生体情報を測定するセンサである。生体情報は、心拍数や脳波など身体を構成する器官の動きを定量的に示したものである。小型の生体センサを身に付けて生体情報を測定し、この生体情報を解析することでユーザの情動や健康状態の変化を検出することができる。環境センサは、天気、気温、騒音などユーザの周囲の環境を測定するセンサである。騒音の発生や天候の変化などは、ユーザの周囲に何らかの変化が生じたことを示す。
従来、ユーザの生体情報や環境情報を記録しユーザの記憶を支援する情報処理装置が存在する。そして、記録した情報から目的の情報を検索するために、生体情報が記録された全期間のヒストグラムまたは分布曲線を生成し、ヒストグラムや分布曲線における生体センサ情報パラメタの意味合いを利用している(例えば、特許文献1参照。)。
特開2002−236698号公報
特許文献1に記載の情報処理装置は、生体情報や環境情報を常時記録しているため、記録する情報量が非常に大きくなり、記録資源を多量に消費してしまう。また、多量の情報を記録すると、目的の情報を検索するときの演算量が増大し、演算処理の負荷が高まったり、演算待ち時間が長くなるおそれがある。
本発明は、上記課題に鑑みてなされたものであり、ユーザの周囲の状況を効率よく記録する記録装置及び記録方法を提供することを目的とする。
上述した課題を解決するために、本発明にかかる記録装置は、ユーザの生体情報及び/又はユーザの周囲の環境情報を測定する測定手段と、生体情報及び/又は環境情報に基づく値の変化を検出する変化検出手段と、変化検出手段が変化を検出したとき、ユーザ自身あるいは周囲の画像及び/又は音声を記録する記録手段を備える。特に、変化検出手段は、生体情報及び/又は環境情報に基づく値を観測値とする特徴空間にクラスを形成し、現在測定した生体情報及び/又は環境情報が属するクラスと、過去に測定した生体情報及び/又は環境情報が属するクラスとが異なるときに変化を検出する。
また、本発明にかかる記録方法は、ユーザの生体情報及び/又は環境情報を測定し、測定した生体情報及び/又は環境情報が変化したとき、ユーザの周囲の画像及び/又は音声を記録する。
本発明によれば、ユーザの生体情報及び/又は環境情報が変化したときに、ユーザの周囲の画像及び/又は音声を記録するので、常時記録する場合と比較して、記録する情報量が少なくなる。また、ユーザの生体情報及び/又は環境情報が変化するときにユーザの周囲の状況を記録しているので、印象的な情報を高い確率で記録している。
さらに、本発明では、画像や音声のほかに、画像や音声を記録した時間、場所、一緒にいた人物などを記録するため、記憶を引き出しやすく、この記録を参照して目的の情報を検索することができる。
また、情報を記録した時間、場所、一緒にいた人物、変化した生体情報、環境情報などを表示することにより、ユーザが自身の一日を振り返ったり、忘れていたことを思い出したりするための支援をすることができる。
1.情報記録装置の実施形態
以下、図面を参照して本発明を適用した情報記録装置について説明する。本発明を適用した情報記録装置は、ユーザの内的変化及び外的変化を自動的に検出し、この変化に応じてユーザの周囲の画像や音声を記録することを特徴とする。
図1は、本発明に係る情報記録装置1の構成を示すブロック図である。情報記録装置1は、ユーザの生体情報を測定する生体センサ2、ユーザの周囲の環境情報を測定する環境センサ3、ユーザの内的変化及び外的変化を検出する変化検出部4、静止画を撮像するビデオカメラ5、静止画像を撮像するスチルカメラ6、音声を収集するマイクロフォン7、画像や音声を記憶する記憶部8、ユーザの位置を測定する位置測定部9、時刻を計時する計時部10、画像やテキストを表示する表示部11、情報記録装置1を制御する制御部12とを備える。
生体センサ2は、ユーザの生体情報を測定する。生体情報は、主に、ユーザの内部状態を示す情報である。もちろん、生体センサ2は、情報記録装置1とは別体に構成されユーザの体表面などに取り付けられ、有線または無線の伝送形態で生体データを情報記録装置1に提供するようにしてもよい。生体センサ2は、情報記録装置1の表面や情報記録装置1内部に設けられる。生体データとしては、呼吸、血中飽和酸素濃度、発汗量、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、MV(マイクロバイブレーション)、筋電位、SPO(血中酸素飽和度)といったデータがあり、これらは、心電図測定計、筋電図測定計、頭部電圧測定計、赤外光画像強度解析、圧力センサ、温度センサ、発汗センサ等の各種測定機器により測定できる。
環境センサ3は、測定者の周囲の環境情報を測定するセンサである。環境情報は、主に、ユーザの外部状態を示す情報である。環境情報としては、気温、湿度、天気、風速、時刻、明度、匂い、高度、音量、大気汚染度、緯度、経度、移動速度、加速度、月齢、重力、振動量といったデータであり、これらは、明度計、ガスセンサ、温度計、気圧計、高度計、雨滴センサ、気圧計、時計、騒音センサ、大気汚染度センサ、GPS(Global Positioning System)により測定できる。この環境センサ3も、生体センサ2同様、情報記録装置1本体に設けられてもよいし、別体として構成されていてもよい。
変化検出部4は、パターン認識を用いてユーザの内的変化又は外的変化を検出する。パターン認識は、認識対象をいくつかのクラスに分類し、観測する値を特徴空間にマッピング(座標プロット)し、いくつかのクラスのうちの1つに対応させる処理である。クラスは、既に収集した観測値から学習的に生成される。なお、観測値のマッピングおよびクラス分類の方法については後述する。
制御部12は、変化検出部4が変化を検出すると、ビデオカメラ5、スチルカメラ6、およびマイクロフォン7の少なくとも1つを作動し、変化が発生したときのユーザの周囲の状況を示す画像や音声、ユーザ自身の画像や音声などとともに、そのときの各センサの出力値を記憶部8に記録する。さらに制御部12は、位置測定部9からユーザの位置、計時部10から現在時刻を取得し、画像や音声とともに記憶部8に記録する。位置測定部9は、上記のGPSにより位置情報を取得する方法以外に、いわゆるホットスポットと呼ばれる無線通信のためのアクセスポイントに接続することにより位置情報を取得することもできる。また、本装置が携帯電話としての機能を持つものであれば位置情報が取得できるのでそれを利用することもできる。以下、記録した画像や音声をコンテンツと記す。
表示部11は、記憶部8に記録される画像や音声、記録された画像や音声をユーザがモニタするために、制御部12により制御されて表示する。また、各種の操作情報や制御情報を表示するためにも使用される。
記録内容出力部13は、図示しない操作部より入力されたユーザの指示に応じて記録した内容を所定の形式で出力する。なお、この出力形式については後述する。
なお、生体情報および環境情報のうち、例えば瞬目、眼球運動、凝視時間、瞳孔径、体動、体位、明度、音量などは、ビデオカメラ5やマイクロフォン7から取得することもでき、これらを観測対象とする場合は、生体センサ2や環境センサ3は省略することもできる。
これらの各ブロックにより構成されるこの実施形態の情報記録装置1によれば、生体センサ2によりユーザの生体情報を観測し、環境センサ3によりユーザの周囲の環境情報を観測し、変化検出部4においてそれらの観測値を特徴空間上にマッピングしその観測値があるクラスから別のクラスへ移動したことを検出した場合に、ビデオカメラ5、スチルカメラ6、マイクロフォン7などの入力デバイスからの信号を記憶部8に記録するようにしている。このとき、ユーザの位置や記録時刻なども同時に記録するようにしているので、この後の再生時における検索などが容易に行える。
なお、生体情報や環境情報の観測値に変化が検出された時点も含めて、その直前から画像や音声を記録したい場合には、リングバッファ形式のメモリに常時記録しておき、観測値が変化した時点でそれよりも以前の画像や音声も記憶部8に転送し記録するようにすればよい。このメモリは制御部12の内部に設けてもよいし、記憶部8の一部に領域確保して設けるようにしてもよい。
1−1 観測値のマッピングおよびクラス分類
図2は、心拍数、皮膚抵抗、皮膚温度差の3つの生体情報を観測値として3次元特徴空間にマッピングする例を示している。ここでは、ユーザの平常状態を示すクラスCとその他の状態を示す3つのクラスC〜Cが生成されている。なお、ここでは説明を簡単にするため、および図面作図の都合上、クラスを4つとし、それらが十分に離れているように示しているが、各クラスは接近していてもよいし、さらに多くのクラスに分類されていてもよい。図2においては新たに測定した生体情報は、これら4つのクラスC〜Cのうちの1つに属する若しくはこれらのクラスC〜Cのいずれにも属さない飛び値となる。
変化検出部4は、新たな観測値を入力するごとに、この観測値がどのクラスC〜Cに属するのかを判定する。変化検出部4は、新たな観測値が属するクラスとこの観測値より手前に入力した観測値の属するクラスを比較し、これらのクラスが異なるときにはユーザの状態が変化したと判断する。また、観測値がいずれのクラスにも属さないときにもユーザの状態が変化したと判断する。すなわち、クラスC〜Cに属さない特徴空間領域も1つのクラスであるとすれば、新たな観測値が入力され特徴空間上でマッピングされたとき、観測値がこれまで属していたクラスから別のクラスに移動したときにユーザの状態が変化したと判断するものとする。
変化検出部4は、観測値をクラスに割り当てるとともに、観測値とクラスとの対応関係を知識として学習する。この学習の繰り返しにより、ユーザに適合した特徴空間を生成することができる。例えば、皮膚温度を観測値とした場合、いわゆる平熱と呼ばれる平常時の観測値領域をクラスCとして定義することができるが、この平常値はユーザにより異なるばかりでなく、同一ユーザにおいても時刻や季節などでも変化する。また、センサの種類や取り付け方法によっては観測値に突発的なノイズが混入することもあり、それらは観測対象としないことが望ましい。したがって、各観測値を特徴空間上にプロット(マッピング)するとき、ある期間内で観測値の分布状態、つまり密度や分散などを求めて、その密度の高い領域をクラスとして再定義し更新していくことが望ましい。
なお、ここでは、3つの生体情報の値を観測値として状態の変化を検出するが、他の生体情報及び環境情報を観測値として特徴空間を生成してもよい。このとき、観測値の個数を変えて、7次元特徴空間や8次元特徴空間など次数の異なる特徴空間を生成してもよい。さらに、多数の特徴空間を同時に生成してもよい。
本発明を適用した変化検出部4は、観測値の分布によって、ユーザの内部状態及び外部状態の大まかな分類を行い、状態があるクラスから他のクラスに遷移したことをトリガとして画像や音声を記録する。本発明の主旨は、状態の変化をトリガとしてユーザの周囲の状況を記録し、必要な場面を効率的に記録するという点にあるため、特にユーザがどのような状態にあるかを解析する必要はない。
1−2 他の変化検出方法
以下、他の変化検出方法を2つ説明する。第1の方法では、異なる時間に測定された同一の観測値を比較し、観測値の差が所定の閾値よりも大きい場合に変化を検出する。観測が所定の時間間隔ごとになされる場合、前回の観測値と今回の観測値との差分あるいは偏差分を求め、その値が大きい場合にユーザの状態が変化したと判断するものとする。もちろん、観測値がアナログ値である場合は、その微分あるいは偏微分を求めればよい。例えば、心拍数が変化したときにビデオカメラ5やマイクロフォン7を作動させると、運動をしているときや緊張しているときの画像を取得することができる。
但し、体温、明度、高度などは、徐々に変化する観測値である。このように緩慢に変化する観測値を短い時間間隔で比較しても変化を検出することができないので変化を検出するための時間間隔を設定し、現在測定した値と時間間隔前に測定した値の差が閾値より大きいときには変化したものと判断する。なお、時間間隔や閾値は、固定でもよいし学習によって更新してもよい。
第2の方法では、観測値が所定の閾値を超えるか否かによってユーザの変化を検出する。例えば、人間は、興味のないものを凝視することはない。ユーザの凝視時間が長いときは、ユーザが何かに集中している可能性が高い。そこで、凝視時間が所定の閾値より長いときにビデオカメラ5やスチルカメラ6を作動すると、ユーザが注目した対象を撮像することができる。また、人間の普段の生活では、あまり大きな音が発生することはない。そこで大きな音が発生したときは、事故やハプニングが起きた可能性が高い。そこで、閾値より大きな音がしたときにビデオカメラ5やスチルカメラ6を作動し、宴会での乾杯のシーンや事故現場などを撮像することができる。なお、閾値は、固定ではなく、ユーザごとに変更してもよい。
1−3 記録内容の出力方法
これまで、ユーザの周囲の情報を記録する構成について説明した。これからは、記録した情報をユーザが検索しやすい状態で出力する出力方法について説明する。記録内容出力部13は、ユーザの指示に応じて記録した内容を所定の形式で出力する。図3は、リスト形式で出力したときの画面41である。この例では、コンテンツを記録したときの時間、記録したときの位置、変化した測定値の種類などを表示している。コンテンツが動画や音声である場合には、記録開始時刻と記録終了時刻、あるいは記録開始時刻と記録時間を表示してもよい。このリストは、どのようなコンテンツを蓄積しているかをユーザに示す通知画面であるとともに、蓄積したデータの出力指示を受け付ける入力画面である。ユーザはポインティングデバイス又は十字キーの操作により表示するコンテンツを指示し、記録内容出力部13は指定されたコンテンツを出力する。もちろん、指定されたコンテンツを表示部11に表示するようにしてもよい。
図4は、地図形式で表示したときの画面42である。図4の地図上には、コンテンツの記録箇所であることを示す記号が表示されている。この記号は、コンテンツの名称やコンテンツを記録した時間、記録したコンテンツの個数、変化した観測値の種類などでもよい。ユーザが地図上の記号を選択すると、記録内容出力部13は地図上の位置に対応したコンテンツ43を出力する。
図5は、時間軸形式で表示したときの画面44である。図5の時間軸には、コンテンツの記録箇所であることを示す記号が表示されている。この記号は、コンテンツの名称、コンテンツを記録した位置、記録したコンテンツの個数、変化した観測値の種類などでもよい。時間軸上の記号を選択すると対応するコンテンツが表示される。時間軸形式の表示は、カレンダーや時計上の画面にしてもよい。
なお、記録内容出力部13は、観測値の種類を出力するとき、ユーザの分かり易い用語に変換して出力する。例えば、ユーザの呼吸量が多い場合には、単に「呼吸」と表現するのではなく「深呼吸」と表現する。また、クラス間の遷移状態や観測値の変化状態から検出されたユーザの情動に応じて「怒った」、「驚いた」という用語を表示してもよい。
以上説明したように本発明を適用した情報記録装置1は、ユーザの内部状態又は外部状態が変化したときにユーザの周囲の画像及び音声を記録することを特徴としている。この情報記録装置1は、タイミングを決めて情報を記録するので、連続記録の場合と比較して必要な記録容量が少なくなる。また、必要なコンテンツのみを記録するため、データの検索が容易になる。
さらに、情報記録装置1は、コンテンツを記録した日時及びコンテンツを記録した位置をコンテンツとともに記録するため、コンテンツを検索する目印として活用したり、コンテンツを整理するために活用したりすることができる。
2.携帯端末の実施形態
次いで、本発明を適用した携帯端末20について説明する。この携帯端末20は、上述した情報記録装置1に他の携帯端末20と情報交換をするという機能を追加したものである。
図6は、携帯端末20の構成を示すブロック図である。携帯端末20は、上述した情報記録装置1と同様に、ユーザの生体情報を測定する生体センサ21、ユーザの周囲の環境情報を測定する環境センサ22、ユーザの内的変化及び外的変化を検出する変化検出部23、静止画像を撮像するスチルカメラ25、動画像を撮像するビデオカメラ24、音声を収集するマイクロフォン26、画像や音声を記憶する記憶部27、ユーザの位置を測定する位置測定部28、日時を計時する計時部29、記録した内容を出力する表示部30、携帯端末20全体を制御する制御部31を備える。上述したブロックは、情報記録装置1のブロックと同じ動作をするものとみなし説明を省略する。
さらに、携帯端末20は、記録した情報を編集する編集部32、他の携帯端末20との情報交換を制御する情報交換部33を備える。
編集部32は、記録したコンテンツの名称、コンテンツに記録された人物の名称などのコンテンツ属性をコンテンツとともに記録する。コンテンツ属性は、後述するように自動的に入力されるが、ユーザが入力することもできる。
情報交換部33は、例えばブルーツゥース(Bluetooth)のような近距離無線技術に基づく通信手段を備える。同種の携帯端末20を所持するユーザ同士が至近距離にいるとき、互いにワイヤレス接続が可能になりP2P通信などが可能となる。すなわち、他の携帯端末20に記録されているコンテンツや各種の情報を、携帯端末20側で自動的に取得することができる。
また、記憶部27には上記の画像や音声のほかに、この携帯端末20の所有者としてのユーザの個人情報が記録されている。個人情報としては、名前、年齢、メールアドレス、電話番号、顔画像などが記録できるものとする。
コンテンツ属性の入力例を説明する。図7のコンテンツは、ある宴会の様子を示している。前述の実施形態で説明したように、この携帯端末20においても、ユーザの状態変化に応じて画像や音声が記録される。例えば、宴会における乾杯の音をトリガとしてその場の画像や音声が記録される。そして、それぞれのユーザが所持する携帯端末20同士が至近距離内にあるので情報交換部33の通信手段により互いにワイヤレス接続され、それぞれの携帯端末20に記録されるユーザの個人情報や記録されたコンテンツなどが情報交換される。送信されてきた個人情報は、記録された画像や音声と関連付けられて記憶部27に記録される。
個人情報やコンテンツの情報交換において、通信相手にかかわらずすべての情報を送信することは望ましくないので、情報交換部33はそれを制限するための交換許可情報を備える。情報交換部33は、ユーザの交換許可情報を入力し、交換許可情報に従って他のユーザとの情報交換を行う。交換許可情報には、情報を提供する人物及び提供する情報の種類が記述されている。交換許可情報は、ユーザが入力し、例えば記憶部27の所定領域に記録される。交換許可情報の入力画面には、図8に示すように送信許可人物を選択する人物選択エリア61が表示されている。ユーザが送信を許可する人物を選択すると、送信許可項目を選択する項目選択エリア62が表示される。送信許可項目選択エリア62には、名前、年齢、メールアドレス、電話番号、顔画像、コンテンツ、テキストなどの送信可能な項目が表示されている。コンテンツとはこの携帯端末20に記録されたコンテンツであり、テキストとはユーザが送信先のユーザに伝えるメッセージなどを記述したテキストである。ユーザは、送信許可項目選択エリア62から送信する情報を選択する。
情報交換部33は、ユーザの周囲に情報を送信する人物が存在するか否かを判断し、該当する人物を発見した場合には、その人物の携帯端末20にユーザの個人情報を送信する。情報交換部33は、各個人が所有する端末が発信する所有者を示す情報を受信し、この情報を元にその場にいる人物を特定する。また、情報交換部33は、他の携帯端末20から受信した他のユーザの個人情報をコンテンツとともに記録する。このように、コンテンツと、コンテンツに記録された周囲の人間とが同時に記録するとコンテンツを記録したときの様子を更に詳しく記録することができる。なお、情報交換部33は、その場にいる人物全員にブロードキャストで情報を伝送することもできる。
なお、上記の実施形態では、予め携帯端末20に登録された人物の個人情報に基づいて近距離通信の相手を特定しているが、未登録の人物の場合には編集部32によりユーザが入力するか、相手から個人情報を送信してもらい、それを記録したコンテンツと関連付けて記録する。あるいは、バイオメトリクスを用いて、顔写真の特徴点や声紋から人物を特定する。
以上説明したように、本発明を適用した携帯端末は、コンテンツと、コンテンツの属性と、コンテンツを記録したときに周囲にいた人間に関する情報とを関連付けて記録するため、コンテンツを記録したときの情景を思い出すことができる。
情報記録装置の構成を示すブロック図である。 特徴空間の一例を示す図である。 記録したコンテンツの一覧をリスト形式で表示した表示画面例である。 コンテンツの記録位置を地図上に表示した表示画面例である。 コンテンツの記録時間を時間軸形式で表示した表示画面例である。 携帯端末の構成を示すブロック図である。 コンテンツの属性を入力する入力画面例である。 送信許可情報を入力する入力画面例である。
符号の説明
1 情報記録装置、2 生体センサ、3 環境センサ、4 変化検出部、5 ビデオカメラ、6 スチルカメラ、7 マイクロフォン、8 記憶部、9 位置測定部、10 計時部、11 表示部、12 制御部、20 携帯端末、32 編集部、33 情報交換部、51 個人情報入力エリア、61 人物選択エリア、62 送信許可項目選択エリア

Claims (13)

  1. 情報を取得する取得手段と、
    ユーザの生体情報及び/又はユーザの周囲の環境情報を測定する測定手段と、
    上記生体情報及び/又は環境情報を基にユーザの状態の変化を検出する変化検出手段と、
    上記変化検出手段がユーザの状態の変化を検出したとき、上記取得手段が取得した情報を記録手段に記録させる記録制御手段と
    を備えることを特徴とする記録装置。
  2. 上記変化検出手段は、上記生体情報及び/又は環境情報に基づく値を観測値とする特徴空間にクラスを形成し、現在測定した生体情報及び/又は環境情報が属するクラスと、過去に測定した生体情報及び/又は環境情報が属するクラスとが異なるときにユーザの状態の変化を検出すること
    を特徴とする請求項1記載の記録装置。
  3. 上記変化検出手段は、異なる時間に測定された生体情報及び/又は環境情報の値を比較し、この差が所定の閾値より大きいときに変化をユーザの状態の検出すること
    を特徴とする請求項1記載の記録装置。
  4. 上記変化検出手段は、生体情報及び/又は環境情報の値と上記生体情報及び/又は環境情報の標準値を示す閾値とを比較し、当該生体情報及び/又は環境情報が上記閾値の範囲を超えたときにユーザの状態の変化を検出すること
    を特徴とする請求項1記載の記録装置。
  5. 時刻を計時する計時手段を備え、
    上記記録制御手段は、ユーザの状態が変化した時刻を記録手段に記録させること
    を特徴とする請求項1記載の記録装置。
  6. ユーザの位置を測定する位置測定手段を備え、
    上記記録制御手段は、ユーザの状態が変化した位置を記録手段に記録させること
    を特徴とする請求項1記載の記録装置。
  7. ユーザの個人情報を記憶する個人情報記憶手段と、
    特定の人物の識別情報とを記憶する記憶手段と、
    ユーザの周囲に存在する人物を特定する特定手段と、
    上記特定手段によってユーザの周囲に存在すると特定した人物が上記記憶手段に記憶に記憶された人物であるとき、当該人物が所有する情報通信端末にユーザの個人情報を送信する送信手段と
    を備えること特徴とする請求項1記載の記録装置。
  8. ユーザの生体情報及び/又はユーザの周囲の環境情報を測定する測定工程と、
    上記生体情報及び/又は環境情報を基にユーザの状態の変化を検出する変化検出工程と、
    上記変化検出工程が変化を検出したとき、情報を記録手段に記録する記録工程と
    を有することを特徴とする記録方法。
  9. 上記変化検出工程は、上記生体情報及び/又は環境情報を観測値とする特徴空間にクラスを形成し、上記測定工程で測定した生体情報及び/又は環境情報が属するクラスを判定し、異なる時間に測定された生体情報及び/又は環境情報が属するクラスが異なるとき、ユーザの状態の変化を検出すること
    を特徴とする請求項8記載の記録方法。
  10. 上記変化検出工程は、生体情報及び/又は環境情報の値と上記生体情報及び/又は環境情報の標準値を示す閾値とを比較し、当該生体情報及び/又は環境情報が上記閾値の範囲を超えたときにユーザの状態の変化を検出すること
    を特徴とする請求項8記載の記録方法。
  11. 時刻を計時する計時工程と、
    上記変化検出工程で変化を検出したときの時刻を記録する時刻記録工程と
    を有することを特徴とする請求項8記載の記録方法。
  12. ユーザの位置を測定する位置測定工程と、
    上記変化検出工程でユーザの状態の変化を検出したときのユーザの位置を記録する位置記録工程と
    を有することを特徴とする請求項8記載の記録方法。
  13. ユーザの周囲に存在する人物を特定する特定工程と、
    上記特定工程においてユーザの周囲に存在すると特定した人物が所有する情報通信端末にユーザの個人情報を送信する送信工程と
    を有することを特徴とする請求項8記載の記録方法。
JP2003347446A 2003-10-06 2003-10-06 記録装置、及び記録方法 Expired - Fee Related JP3968522B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2003347446A JP3968522B2 (ja) 2003-10-06 2003-10-06 記録装置、及び記録方法
US10/941,515 US7183909B2 (en) 2003-10-06 2004-09-15 Information recording device and information recording method
CNB2004100834353A CN1299186C (zh) 2003-10-06 2004-09-29 信息记录装置和信息记录方法
KR1020040078392A KR101072557B1 (ko) 2003-10-06 2004-10-01 정보 기록 장치 및 정보 기록 방법
EP04256129A EP1522256B1 (en) 2003-10-06 2004-10-04 Information recording device and information recording method
DE602004028434T DE602004028434D1 (de) 2003-10-06 2004-10-04 Informationsaufzeichnungsvorrichtung und Verfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003347446A JP3968522B2 (ja) 2003-10-06 2003-10-06 記録装置、及び記録方法

Publications (2)

Publication Number Publication Date
JP2005110869A true JP2005110869A (ja) 2005-04-28
JP3968522B2 JP3968522B2 (ja) 2007-08-29

Family

ID=34309190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003347446A Expired - Fee Related JP3968522B2 (ja) 2003-10-06 2003-10-06 記録装置、及び記録方法

Country Status (6)

Country Link
US (1) US7183909B2 (ja)
EP (1) EP1522256B1 (ja)
JP (1) JP3968522B2 (ja)
KR (1) KR101072557B1 (ja)
CN (1) CN1299186C (ja)
DE (1) DE602004028434D1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514583A (ja) * 2005-11-08 2009-04-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ クラスタリングを使用して、マルチパラメータ患者監視及び医療データにおける重要な傾向を検出する方法
JP2011154565A (ja) * 2010-01-27 2011-08-11 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
JP2011170109A (ja) * 2010-02-18 2011-09-01 Nikon Corp 情報処理装置
JP2011244841A (ja) * 2010-05-21 2011-12-08 Canon Inc 生体情報計測処理装置及び生体情報計測処理方法
JP5365193B2 (ja) * 2006-07-13 2013-12-11 日本電気株式会社 無線lanシステム、無線lanアクセスポイント
US9013399B2 (en) 2010-02-18 2015-04-21 Nikon Corporation Information processing device, portable device and information processing system
JP2016053990A (ja) * 2015-12-08 2016-04-14 株式会社ニコン 電子機器
JP2018011640A (ja) * 2016-07-19 2018-01-25 日本電信電話株式会社 影響マップ作成装置、その方法、及びプログラム
JP2018061239A (ja) * 2016-09-28 2018-04-12 カシオ計算機株式会社 画像再生装置、撮像装置、画像再生方法及びプログラム
JP2018106729A (ja) * 2018-01-30 2018-07-05 株式会社ニコン 電子機器
JP2019537491A (ja) * 2016-10-19 2019-12-26 泰興塑膠五金有限公司Tai Hing Plastic Metal Ltd. 下着に基づく身体データ監視方法及び装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333604B2 (en) * 2005-01-10 2008-02-19 Infone Tech, Ltd. Adaptive notification of an incoming call in a mobile phone
JP4407555B2 (ja) 2005-03-28 2010-02-03 ソニー株式会社 通信端末
WO2006132473A1 (en) * 2005-06-09 2006-12-14 Lig Nex1 Co., Ltd. The body activity measurement terminal
KR100763236B1 (ko) 2006-05-09 2007-10-04 삼성전자주식회사 생체 신호를 이용하는 동영상 편집 장치 및 방법
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
JP5228307B2 (ja) * 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5023663B2 (ja) 2006-11-07 2012-09-12 ソニー株式会社 撮像装置、撮像方法
JP5092357B2 (ja) * 2006-11-07 2012-12-05 ソニー株式会社 撮像表示装置、撮像表示方法
JP2008124885A (ja) * 2006-11-14 2008-05-29 Sony Corp 撮像システム、撮像方法
JP4961984B2 (ja) * 2006-12-07 2012-06-27 ソニー株式会社 画像表示システム、表示装置、表示方法
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
CN101458439A (zh) * 2007-12-11 2009-06-17 鸿富锦精密工业(深圳)有限公司 多功能相机及使用该相机的信息采集方法
US20090292179A1 (en) * 2008-05-21 2009-11-26 Ethicon Endo-Surgery, Inc. Medical system having a medical unit and a display monitor
JP2011109290A (ja) * 2009-11-16 2011-06-02 Hitachi Plant Technologies Ltd 無線送受信装置及び移動体管理システム
US10398366B2 (en) 2010-07-01 2019-09-03 Nokia Technologies Oy Responding to changes in emotional condition of a user
US8487760B2 (en) 2010-07-09 2013-07-16 Nokia Corporation Providing a user alert
US8922376B2 (en) * 2010-07-09 2014-12-30 Nokia Corporation Controlling a user alert
JP5772448B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
JP5113935B1 (ja) * 2011-11-17 2013-01-09 シャープ株式会社 再生装置、テレビジョン受像機、機器選択方法、プログラムおよび記録媒体
US9320441B1 (en) 2012-03-13 2016-04-26 Gregory Hays Medical glove for obtaining a patient's blood pressure, pulse and oxygen saturation
DE102012210249A1 (de) * 2012-06-18 2013-12-19 Rwth Aachen Verstärkeranordnung
CN103584852A (zh) * 2012-08-15 2014-02-19 深圳中科强华科技有限公司 个性化心电图智能辅助诊断装置与方法
JP5856995B2 (ja) * 2013-03-29 2016-02-10 株式会社ジャパンディスプレイ 電子機器および電子機器の制御方法
US9870697B2 (en) * 2013-12-17 2018-01-16 At&T Mobility Ii Llc Method, computer-readable storage device and apparatus for providing a collaborative standalone area monitor
CN104510482B (zh) * 2015-01-14 2017-08-01 北京理工大学 一种数字表演感官数据采集系统
JP6398743B2 (ja) * 2015-01-22 2018-10-03 オムロンヘルスケア株式会社 運動情報測定装置、運動情報測定装置の制御方法、運動情報測定装置の制御プログラム
WO2018073113A1 (de) 2016-10-20 2018-04-26 Bayer Business Services Gmbh Vorrichtung zur ermittlung von merkmalen einer person
JP6726093B2 (ja) * 2016-12-28 2020-07-22 オムロンヘルスケア株式会社 情報処理システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2229224T3 (es) * 1994-09-07 2005-04-16 Omron Healthcare Co., Ltd. Dispositivo medidor de una cantidad de ejercicio, capaz de presentar la cantidad de ejercicio que todavia ha de realizarse.
JPH1091782A (ja) * 1996-09-10 1998-04-10 Olympus Optical Co Ltd 濃淡画像用特定部位抽出方法
US6198394B1 (en) * 1996-12-05 2001-03-06 Stephen C. Jacobsen System for remote monitoring of personnel
JP3593459B2 (ja) 1998-07-27 2004-11-24 株式会社日立製作所 移動体監視方法及びシステム
JP4395908B2 (ja) * 1999-03-29 2010-01-13 ソニー株式会社 信号処理装置および信号処理方法
US7478108B2 (en) 1999-12-06 2009-01-13 Micro Strain, Inc. Data collection using sensing units and separate control units with all power derived from the control units
JP2001344352A (ja) 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
US6605038B1 (en) 2000-06-16 2003-08-12 Bodymedia, Inc. System for monitoring health, wellness and fitness
US6847892B2 (en) * 2001-10-29 2005-01-25 Digital Angel Corporation System for localizing and sensing objects and providing alerts
JP4304876B2 (ja) * 2001-03-29 2009-07-29 コニカミノルタビジネステクノロジーズ株式会社 情報処理装置及び情報処理方法
US6656125B2 (en) 2001-06-01 2003-12-02 Dale Julian Misczynski System and process for analyzing a medical condition of a user
CN1666218A (zh) * 2002-06-06 2005-09-07 成套仪器公司 用于在跟踪环境中选择性地监视活动的方法和系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514583A (ja) * 2005-11-08 2009-04-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ クラスタリングを使用して、マルチパラメータ患者監視及び医療データにおける重要な傾向を検出する方法
JP5365193B2 (ja) * 2006-07-13 2013-12-11 日本電気株式会社 無線lanシステム、無線lanアクセスポイント
JP2011154565A (ja) * 2010-01-27 2011-08-11 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
CN110347834A (zh) * 2010-02-18 2019-10-18 株式会社尼康 信息处理装置、便携式装置以及信息处理系统
JP2011170109A (ja) * 2010-02-18 2011-09-01 Nikon Corp 情報処理装置
US9013399B2 (en) 2010-02-18 2015-04-21 Nikon Corporation Information processing device, portable device and information processing system
US9626151B2 (en) 2010-02-18 2017-04-18 Nikon Corporation Information processing device, portable device and information processing system
JP2011244841A (ja) * 2010-05-21 2011-12-08 Canon Inc 生体情報計測処理装置及び生体情報計測処理方法
JP2016053990A (ja) * 2015-12-08 2016-04-14 株式会社ニコン 電子機器
JP2018011640A (ja) * 2016-07-19 2018-01-25 日本電信電話株式会社 影響マップ作成装置、その方法、及びプログラム
JP2018061239A (ja) * 2016-09-28 2018-04-12 カシオ計算機株式会社 画像再生装置、撮像装置、画像再生方法及びプログラム
JP2019537491A (ja) * 2016-10-19 2019-12-26 泰興塑膠五金有限公司Tai Hing Plastic Metal Ltd. 下着に基づく身体データ監視方法及び装置
JP2018106729A (ja) * 2018-01-30 2018-07-05 株式会社ニコン 電子機器

Also Published As

Publication number Publication date
JP3968522B2 (ja) 2007-08-29
DE602004028434D1 (de) 2010-09-16
KR20050033450A (ko) 2005-04-12
EP1522256B1 (en) 2010-08-04
US20050088297A1 (en) 2005-04-28
CN1605974A (zh) 2005-04-13
US7183909B2 (en) 2007-02-27
EP1522256A1 (en) 2005-04-13
KR101072557B1 (ko) 2011-10-11
CN1299186C (zh) 2007-02-07

Similar Documents

Publication Publication Date Title
JP3968522B2 (ja) 記録装置、及び記録方法
US11763580B2 (en) Information processing apparatus, information processing method, and program
US11039053B2 (en) Remotely identifying a location of a wearable apparatus
CN103561652B (zh) 用于辅助患者的方法和系统
US9268876B2 (en) Method and system for processing information based on detected biometric event data
US8781450B2 (en) Method and system for creating a personalized journal based on collecting links to information and annotating those links for later retrieval
CN109074117B (zh) 提供基于情绪的认知助理系统、方法及计算器可读取媒体
US7319780B2 (en) Imaging method and system for health monitoring and personal security
CN101286196B (zh) 图像存储处理装置和方法、图像搜索装置和方法
JP2004178593A (ja) 画像処理方法及びシステム
CN108574701A (zh) 用于确定用户状态的系统和方法
KR101194186B1 (ko) 지능형 상황 인식을 이용한 라이프로그 시스템
US20230336694A1 (en) Tagging Characteristics of an Interpersonal Encounter Based on Vocal Features
CN108335734A (zh) 临床图像记录方法、装置及计算机可读存储介质
JPWO2016136104A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR102188076B1 (ko) 노년층 피보호자를 모니터링하기 위한 IoT 기술을 이용하는 방법 및 그 장치
KR102171742B1 (ko) 노인 케어 시스템 및 그 방법
WO2017175447A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113288145A (zh) 一种用于训练情绪控制能力的示教装置与方法
JP2005044120A (ja) 情報蓄積装置、情報検索装置、情報蓄積方法、情報検索方法、情報蓄積システム、情報検索システム、クライアント装置およびサーバ装置
WO2022065386A1 (ja) 思考推論システム、推論モデル生成システム、思考推論装置、推論モデル生成方法、コンピュータプログラム、および推論モデル
Machajdik et al. Providing feedback on emotional experiences and decision making

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070521

R151 Written notification of patent or utility model registration

Ref document number: 3968522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees