JP2003533768A - 記憶支援装置 - Google Patents

記憶支援装置

Info

Publication number
JP2003533768A
JP2003533768A JP2001583340A JP2001583340A JP2003533768A JP 2003533768 A JP2003533768 A JP 2003533768A JP 2001583340 A JP2001583340 A JP 2001583340A JP 2001583340 A JP2001583340 A JP 2001583340A JP 2003533768 A JP2003533768 A JP 2003533768A
Authority
JP
Japan
Prior art keywords
image
memory
captured image
previously
predetermined condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001583340A
Other languages
English (en)
Inventor
ファーリンドン，ジョナサン
エイチ ポール，レナード
エス ヴァルデズ，アーマンド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003533768A publication Critical patent/JP2003533768A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/025—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/025—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application
    • G06F15/0283—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application for data storage and retrieval
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 記憶支援装置（１）は、記憶用手がかりをユーザに提供するためにユーザによって着用される。好ましい配置では、装置は、ユーザが出会う人の画像を捕捉する。顔認識処理は、捕捉された画像と、前に捕捉され、記憶手段（４）で既に保持される顔とを比較する。顔の適合が認められると、前に捕捉された画像が手首で着用されるディスプレイ、ヘッドアップ・ディスプレイ等の形態にあるディスプレイ（６）上でユーザに表示される。捕捉された画像は、背景及び全ての前景の対象物も含まれるような視野を有する。馴染みのある背景、前景の対象物、又は、その人が夏服を着ていることのような前に捕捉された画像の特徴は全て、記憶を思い出すことに関してユーザを支援するための視覚的記憶用手がかりとしての役割を担う。

Description

【発明の詳細な説明】
【０００１】 本発明は、記憶支援に係わり、より特定的には、他の人との前の出会いを思い
出すタスクにおいて人を支援する記憶支援に関わる。
【０００２】 一つの公知の記憶支援は、ＭＩＴ（Massachusetts Institute of Technolo
gy）のメディア研究室のメンバーによって開発されたいわゆる「記憶エージェン
ト（ＲＡ）」である。ＭＩＴの記憶エージェントは、記憶支援として機能するた
めに操作者によって着用されなくてはならないコンピュータベースの装置である
。ＭＩＴのＲＡは、コンピュータと、片手操作を可能にする特別なキーボードの
形態にある入力装置と、テキストベースのディスプレイとを含むハードウェアか
ら成る。テキストディスプレイは、着用者の上に取り付けられる装置によって運
ばれ、見られるためにはユーザの前に僅かな距離のところでぶら下がる。ＲＡが
記憶支援として機能するためには、着用者は各々の現在の活動に関連する情報を
常に打ち込む必要がある。打ち込まれた情報は、予め入力された情報、及び、記
憶された文書に対して適合するか確認され、又は、適合基準のある他の記録が表
示される。ＭＩＴのＲＡを使用できるようにするためには、ユーザは、様々なタ
スクを実行しながら一日中キーボードで情報を入力する必要がある。このような
キーボード操作は、ユーザにとって気が散ることであり、出会う他の人に対して
社会的に受け入れられないことであると考えられる。操作は自動でない。
【０００３】 一つの記憶理論によると、人間の記憶の動作は、エンコーディング、記憶、及
び、思い出しといった３つの構成要素に分割され得る。エンコーディングは、記
憶する部分に情報をロードすることであり、この情報は記憶され得る。思い出し
は、記憶する部分に予め記憶された所望の情報を引出すことに関わる。覚えてい
ることは、過去に記憶された情報と、対象となる人の直接的な認知環境に存在す
る情報との共同生成物として考えられる（Tulving E. & Thomson D. M. “Encod
ing specificity and retrieval processes in episodic memory” Psychologic
al Review pp. 352-373 Vol. 80(5), 1973）。記憶する部分にアクセス出来なく
なるということは忘れることである。例えば、試験を受ける必要のある生徒は、
家よりも廊下で試験の材料を復習した場合、試験中により効果的に材料を思い出
すであろう。深海研究者による研究は、文脈依存効果が実際にあると提案した。
一つの環境において学び別の環境で思い出す人は、同じ環境で学び思い出す人よ
りも思い出すことが約４０％低下している。
【０００４】 忘れることは、要求された時間に予め学んだ情報をアクセス又は引出すことが
出来ないこととして説明できる。人は、名前、顔、誕生日のような大切な日、或
いは、物を無くしたとき、記憶力が悪いと不満を言う。これら全ては、忘れるこ
との明らかな例である。
【０００５】 エピソード風の記憶は文脈依存性、つまり、特別な文脈上の引出し用手がかり
（cueの文脈においてだけ利用できる。比較では、一般的な知識（意味メモリ）
が様々な文脈においてアクセスされ得る。過去のイベントの記憶は、エピソード
の場所、そこにいる人、起こっていること、その前後に起こったことが思い出す
ための強い手がかりとなる、過去のエピソードに整理される。物理的な文脈は、
非常に強力な手がかりとなり得る。
【０００６】 イベントが知覚された認知環境は、回想処理において役割を担う。Tulvingは
、イベント以外でエンコーディングに影響を与える要素を指すのに「認知環境」
といった用語を用いる。各イベントは、特定の認知環境においてエンコーディン
グされる。エンコーディングは、人がエンコーディング処理に通常気付かなくと
も、覚えているために必要な条件として考えられる。エンコーディングは、知覚
されたイベントが記憶する部分に記憶されるときに生じ、エンコーディングの生
成物はエングラムである。
【０００７】 引出すことは、回想又はより自動且つ不本意な引出し処理（これは覚えている
ことの殆どの基礎になる）の意識的処理でもよい。エピソード風及び意味メモリ
に対して異なる引出し機構がある可能性が高いことが提案される。典型的には、
エピソードに対して「覚えている」といった単語を用い、意味メモリに対して「
知っている」といった単語を用いる。
【０００８】 システムは、引出しを行うために「引出しモード」にならなくてはならず、適
当な引出し用手がかりが処理を始めさせるのに存在しなくてはならない。
【０００９】 「エクホリー（ecphory）」といった単語は、「発表する」という意味を持つ
ギリシャ語に基づく。Tulvingは、「元々のイベントのある面の意識的な記憶」
を提供するために引出し用手がかりと痕跡或いはエングラムが組み合わされる処
理としてエクホリーを説明した。
【００１０】 Tulvingによって提案される記憶の異なる段は、 元のイベント‐エンコーディング‐エングラム‐引出し‐記憶の実施 である。
【００１１】 これがどのようにして働くかを示すために、Baddeleyによって用いられた例（
Baddeley, A. (1997) Human Memory, Theory & Practice. Revised Edition 199
8 Allyn & Bacon, Massachusetts 1997）を引用する。あるイベントが起こり、
個人によってエンコーディングされ、これは、イベントとその文脈内の認知環境
との間の相互作用を伴う処理である。例えば、個人が野原を渡っているときに馬
を見た場合、認知環境は個人に牛ではなく馬であることを伝え、馬に関する可能
な関連のある情報と関係付けられ「馬」といった単語を可能性として作動させる
。このイベント及び内部状態は、痕跡又はエングラムを生成するために組み合わ
される。
【００１２】 個人が歩き続け、馬を見かけたかと質問する人に出会ったとする。これは、引
出し用手がかりとして機能し、馬と出合ったことの痕跡と相互に作用する。この
エクホリック情報は、応答又は更なる回想経験につながる。
【００１３】 Tulvingによるとエンコーディングは、イベントをエングラムに変換する処理
である。エンコーディングは、覚えておくために必要な条件であり、知覚された
イベントが記憶する部分に記憶されるとき常に生ずる。エングラムは、エンコー
ディングの生成物であり、イベントを回想するのに必要な条件である。何万もの
エングラムが人の個々のエピソード風の記憶の中に存在し、引出すこととして公
知の特別な条件下で効果的となる。手がかりは、特に学び中にエンコーディング
された場合、特に効果的となる。手がかりの刺激がアイテムを引出すことにつな
がる場合、アイテムは、エンコードされたと仮定され、つながらない場合エンコ
ードされていないと推測される。
【００１４】 引出し用手がかりは、説明の記述として考えることができる。Tulvingによる
と「２つの考えを合わすと、引出し用手がかりは、過去の説明の現在の説明と考
えられる」である。Tulvingは、一連の実験から、対象となる人は、思い出すこ
とができる以上に認識することができ、実験者は、対象となる人がこの情報にア
クセスすることを可能にするよう引出し用手がかりを使用し得ることが分かった
。
【００１５】 本発明は、使用中に最低限の情報だけを入力することを操作者に要求し、記憶
用手がかりをユーザに提供する記憶支援装置を提供することを目的とする。
【００１６】 本発明の第１の面によると、画像を捕捉する画像捕捉手段と、所定の条件の現
在のステータスを示すデータを生成する情況解析手段と、生成されたステータス
情報と上記所定の条件に関連し、且つ、少なくとも一つの前に捕捉された画像と
関連のある、前に記憶されたステータス情報とを比較する比較手段と、画像思い
出し及び表示手段とを有する記憶支援装置が設けられ、この記憶支援装置では、
比較手段によって正の比較が生ずることにより画像思い出し及び表示手段が、前
に記憶されたステータス情報と関連のある少なくとも一つの前に捕捉された画像
を表示し、少なくとも一つの前に捕捉された画像が記憶を思い出すことに関して
人支援する視覚的記憶用手がかりを含む。
【００１７】 所定の条件は、装置の位置でもよく、情況解析手段は、位置探し手段を有して
もよい。この場合、位置探し手段は、位置データ処理手段、例えば、全地球測位
システム受信装置を含んでもよい。或いは、位置探し手段は、捕捉した画像と公
知の位置から前に捕捉した画像とを比較する手段を含んでもよい。
【００１８】 現在のステータスと、正の比較を生成するために要求される所定の条件の記憶
されたステータスとの間の類似度は調節可能である。
【００１９】 所定の条件は、捕捉された画像中の人間の顔の有無でもよく、このとき、情況
解析手段は、人間の顔の存在を検出するために捕捉された画像を解析する手段を
有してもよい。
【００２０】 所定の条件は、時間及び／又は日付でもよく、このとき情況解析手段は、時間
／日付データのソースに結合され、一つ以上の前に捕捉された画像を思い出し表
示するための所定の基準を現在の時間／日付がいつ満たすかを決定するために動
作可能な手段を有してもよい。
【００２１】 本発明の第２の面によると、画像を捕捉する段階と、所定の条件の現在のステ
ータスを示すデータを生成する段階と、生成されたステータス情報と上記所定の
条件に関連し且つ少なくとも一つの前に捕捉された画像と関連のある、前に記憶
されたステータス情報とを比較する段階と、画像を思い出し表示する段階とを有
する、記憶を思い出すことを支援する方法を提供し、比較段階中に正の比較が生
ずることにより、前に記憶されたステータス情報と関連のある少なくとも一つの
前に捕捉された画像が思い出され表示され、少なくとも一つの前に捕捉された画
像が、記憶を思い出すことに関して人を支援する視覚的記憶用手がかりを含む。
【００２２】 本発明の他の面及び任意の特徴は、添付の特許請求の範囲に記載され、又は、
本発明の好ましい実施例の以下の説明を読むことで明らかとなり、特許請求の範
囲をここで参照し、その開示は、本願で参照として本願で組み込まれる。
【００２３】 本発明を、添付の図面を参照して例によってだけここで説明する。
【００２４】 図１を参照するに、記憶支援装置１の例は、カメラの形態にある画像捕捉手段
２と、捕捉された画像を処理し、他の処理を実行する解析及び処理手段３と、顔
データ記憶手段４と、画像データ記憶手段５と、表示手段６とを有する。制御手
段７により、ユーザは装置を操作することができる。
【００２５】 使用中、カメラは、ユーザが観察しているものを「見る」ことできる場所でユ
ーザによって着用される。カメラは、ユーザがまっすぐな方向を見ているときに
ユーザが見ている画像と同じ画像を捕捉するために胸の辺りに取り付けられるこ
とが好ましい。カメラは、衣服の中に組み込まれてもよく、又は、ブローチ、ボ
タン等として姿を変えてもよい。この配置は、ユーザが誰かと会いその人をまっ
すぐに見るとき、カメラもその人の顔のイメージを含む画像を見ることを意味す
る。
【００２６】 画像中に顔があることを画像解析手段が認めた場合、画像が捕捉され、処理手
段は画像内の顔を示すデータを生成する。捕捉された画像の構成は、画像が人の
顔以外の特徴、例えば、背景又は前景の対象物を含むような構成である。処理手
段は、顔データ記憶手段４で保持される顔データと生成された顔データを比較す
るために比較動作を実施する。
【００２７】 記憶手段４においてデータが適合しない場合、生成された顔データは記憶４に
追加される。捕捉された画像自体は、画像データ記憶手段５に保存され、記憶さ
れた顔データに捕捉された画像を連想的に関係付けるための参照が形成される。
【００２８】 比較動作中に適合するデータが顔データ記憶手段４において見つかった場合、
適合する記憶された顔データは記憶手段から引出される。引出された顔データは
、画像データ記憶手段５で保持される少なくとも一つの画像と連想的に関係付け
られ、少なくとも一つの関係付けられた画像も引出される。引出された少なくと
も一つの関係付けられた画像は、ユーザが見るディスプレイに供給される。従っ
て、ユーザには、前の出会いからのその人の画像が供給される。ディスプレイは
、手首に着用されることが好ましいが、ヘッドアップ・ディスプレイ、ヘッドマ
ウント・ディスプレイ、又はフェイスマウント・ディスプレイの一部のように他
の形態でもよい。
【００２９】 ユーザには、前の出会いにおけるその人の引出された画像が供給されることを
通じて記憶用手がかりが供給される。記憶用手がかりの種類は、例えば、表示さ
れた画像にいて人を中心とした特徴、１）その人の髪の毛が太陽によって白くさ
れ、出会いが夏か、その人が暖かい場所から戻ったことを示す、２）その人が濡
れた衣服を着ており、泳いでいたことを示すが・・・海であったかは・・・を含
む。
【００３０】 他の記憶用手がかりの例は、引出された表示される画像の背景のシーンにおい
て現れ、例えば、画像の背景は有名な歴史的建造物、超高層ビル、ユーザに馴染
みのある戸口、又は、バスの中を示す。
【００３１】 これら記憶用手がかりの例全ては、対象となる人との前の出会いをユーザが思
い出すことを支援する。一つの記憶用手がかりは、カスケード状の回想をもたら
し得る。例えば、海辺の場所を示す濡れた衣服は、ユーザに特定の海浜の名前、
海浜に向かうまでに起こったイベント、海浜にいるときに起こったイベント、及
び、海浜から帰るときに起こったイベントを思い出させ得る。
【００３２】 顔データ記憶手段又は画像データ記憶手段中の各記録には、人の名前、出会っ
た時間と日付等の補足情報が一緒に提供されてもよい。この情報は、テキスト或
いはオーディオクリップの形態でユーザによって追加されてもよい。この情報が
顔データと関連付けられるとき、情報は、顔データが記憶から引出されるとき再
現される。情報が画像記憶手段５で保持される画像と関連付けられるとき、情報
は画像が引出されるとき再現される。テキストデータは、ディスプレイ手段６で
再現されるか、テキスト音声変換処理を用いて可聴にされ得る。イヤホンのよう
なオーディオ再現手段が設けられてもよい。
【００３３】 所与の人の顔に一組の顔データが割り当てられている場合、その人との幾つか
の出会いは結果として、その組の顔データ全てに関係付けられ、画像記憶手段５
で保存される幾つかの捕捉された画像の生成を生ずる。適合が、最近の出会いに
関連する捕捉された画像を思い出させることが好ましい。思い出す基準が「最近
の予め捕捉された画像であるが今日捕捉されたものではない」又は「最近捕捉さ
れた画像であるが今週／この１２ヶ月で捕捉されたものでない」等を含むよう設
定されてもよいことが好ましい。
【００３４】 所与の人の顔に一つ以上の組の顔データが割り当てられてもよく、各組は人の
顔を表示するが異なる方向から見たときのものである。これは、顔の認識の正確
さを高め得る。この場合、「人の記録」が装置によって形成され記憶されてもよ
く、その人に関連する各組の顔データは「人の記録」に関係付けられる。所与の
人に対する組の顔データの間の関連付けは、自動的に又はユーザによって成され
てもよい。
【００３５】 「ビジュアル拡張メモリシステム」と称する更なる実施例のシステムの詳細を
ここで提供する。ビジュアル拡張メモリシステム（ＶＡＭ）は、非常に使いやす
く、且つ、効果的な引出し用手がかりを提供するといった２つの基本的な目的を
有する。使い易さは、ＶＡＭの核となる機能を完全に自動化することで取り組ま
れる。顔認識とより広いビジュアルシーンを組み合すことで手がかりは、ユーザ
の記憶がエンコードされたときに存在する認知環境の特徴を含む。これらは、誰
（顔、背景にいる全ての人）、どこ（対象物及び環境中の歴史的建造物）、いつ
（捺印された時間、光の情況、季節、衣服、及び髪型）、及び、何（全ての可視
の動作、天候）を含む。この見本では、保存する画像データは捕捉された画像で
あり、生成された顔データが顔が埋める部分だけを含む捕捉された画像のトリミ
ングされた部分であることに注意する。しかしながら、認識処理は、顔の記憶さ
れた画像、又は、他の方法における顔の情報或いは記述に基づいて様々な方法で
行われ得る。ＶＡＭソフトウェアは、着用できるコンピュータで実行するよう設
計され、ヘッドマウント・ディスプレイ（ＨＭＤ）、腕時計、又は、リモート・
ディスプレイのような従来通りでないスクリーンを容易にする。図２は、カメラ
から最近みたもの２１と、画像が捕捉される頻度を設定する（デフォルトは５秒
であり、着用に対するＣＰＵ負荷を減少させ他の用途のために放される）制御部
２２と、正の顔識別を示すために捕捉された画像と記憶された画像中の顔の間で
要求される正確さ２３と、外部のビューアを用いるときにＶＡＭをオフにする制
御部２４（ＣＰＵ負荷を減少させる）と、ＨＭＤと使用するために引出し用手が
かり画像を拡大する２５と（デフォルトはオンである）、ビジュアル引出し用手
がかり２６自体とを含むＶＡＭインタフェース構成要素を示す図である。
【００３６】 次の構成要素、ライブビデオウィンドウ２７、捕捉された画像中で顔が識別さ
れ得る前に必要な信頼レベル（高い／低い）２８（顔が識別されたときだけ照合
シーケンスがトリガされる）、及び、ＶＡＭ動作を説明するテキストメッセージ
２９は、デフォルトで隠されているが「表示／隠れ設定」ボタン３０を押すこと
で露わにされ得る。
【００３７】 図２に示す引出し用手がかりは、明瞭性に欠ける点で圧縮され過ぎた画像とし
て現れる。しかしながら、画像に捕捉されたイベントを経験した個人には、画像
は記憶用手がかりとして機能し、イベント及び周囲の出来事を回想させる。この
ような画像では、表示するときに生ずる一連の意識の例は、「ヴァネッサ、古い
ポスターが貼ってある研究室の私の机の上にVAMを置いたよ。１９９９年５月。
ヴァネッサと展示の準備中」でもよい。
【００３８】 この後に続くアルゴリズムは、以下のとおりであり、上記設定によって伝えら
れる。
【００３９】 作動すると、記憶された全ての顔はデータベース中にロードされる。
【００４０】 ルーチン動作は、 １．Ｎ秒ごとにスナップショットがカメラに撮られ、 ２．顔がスナップショット中で検出された場合、 非常に圧縮されて、文脈手がかりを含むより広い視野の画像と一緒に顔
の画像として保存され、 顔の画像は、データベースに対して照合される、の繰り返しシーケンス
を伴う。
【００４１】 十分に適合すると関連のある記憶画像手がかりを表示させる。この画像
は、外部ディスプレイのために利用可能にされる。
【００４２】 記憶用手がかりの捕捉、及び、引出しは完全に自動であり、ユーザ動作が必要
でないことに注意する。理想的な使用要件は、オンにして着用することである。
【００４３】 第１の見本では、元々のハードウェアシステムは、東芝のリブレット１００（
１５８×２０７×３７ｍｍ、１２８５ｇ）、Videum社のＰＣカードカメラ（１３
６ｇ）、及び、通り過ぎる又はウェブページをロードしている全ての人が見るこ
とが可能なリモート・ディスプレイを有するラップトップへの無線ポイント・ツ
ー・ポイントネットワーク接続を有するSamsung社のＰＣカードから成る。着用
可能な使用のためにはウィンＣＥ（WinCE）装置（１２２×８１×１６ｍｍ、１
７３ｇ）がケーブルによってリブレットに接続され、WinCEウェブブラウザはリ
ブレット上のサーバからの画像を表示する。
【００４４】 第２の見本では、改善された着用性のために東芝のリブレット １０１０（１
５２×２１５×２８ｍｍ、１０００ｇ）、フィリップス社のＵＳＢカメラ（５０
ｇ）、及び、マイクロオプティカル社のクリップ・オン・ディスプレイ（ドライ
バユニット９９×１１４×４５ｍｍ、３９０ｇ）を含む新しいハードウェアが紹
介された。顔認識のためのセ用手がかりリティ・ドングル（３３×５５×１７ｍ
ｍ）が両方のシステムによって要求される。
【００４５】 カメラ及びディスプレイの位置決めでの実験を容易にするために「拡張メモリ
ジャケット」が作られた。これは、カメラ及びWinCEを位置決めするためにリブ
レット１００、ケーブリング・アイレット、及び、ベルクロの重さ及び体積を支
持する内部システムを有する。取り外し可能なアームは、暖かい気候における快
適な使用を可能にする。重さ及びケーブル管理は、ＶＡＭの着用をより目立たな
くさせる。新しいハードウェアは、小さいショルダーバックの中にもきちんと入
り、カメラは、移動電話用に設計されたポケットの中に入る。
【００４６】 リブレット１００は、１９人の異なる人の１６６の画像の対（顔及び用手がか
り）を含む８３８Ｋバイトのデータベースを有する。各顔及び用手がかり画像は
、典型的に３.５Ｋバイトを占有する。認識することは、ピクチャを捕捉し記憶
用手がかりを表示するまでに典型的に３秒かかる。ファイル名は、タイムスタン
プを含む。
【００４７】 ソフトウェアは、Visionics Facelt社のＳＤＫ Ｖ２.５５を用いて２００の
ラインのコード（及びＵＩ記述並びにコメント）でマイクロソフト社のビジュア
ル・ベーシックＶ５で書かれる。２進は、大きさが４３Ｋバイト、及び、Facelt
並びにＶＢライブラリーである。
【００４８】 ＶＡＭの核となるハンドフリー操作を支援する更なる面は、記憶される顔及び
手がかりの数を管理することを含む。例えば、特定の人の手がかりを関係付ける
ことで多数の手がかりが最近の顔を小数だけ必要として記憶され得る。更に、最
も少ない頻度でアクセスされた用手がかりをトラッキングすることが忘れること
の基本となり得る。
【００４９】 カメラ「ズーム」機能は、捕捉された画像が人の顔の画像を含むが背景又は直
接的な周囲を示す少なくとも一部分等の画像も含むよう視野を変えるために含ま
れてもよい。これは、自動的に実施され得る。
【００５０】 ファイルを管理する処理は、特定の基準に従ってファイルを再整理し、削除す
るために含まれてもよい。このような基準は、記憶された顔データの年齢、捕捉
された画像の年齢、記憶された顔データ又は、人の記録と関連のある画像の数等
を含む。
【００５１】 実行されてもよい７つの任意の特徴又はモードがある。
【００５２】 １．「記憶の探索」。「タイム・マシーン」により、例えば、毎回ある人に
会うたびに体験を呼び起こすことを可能にする。
【００５３】 ２．「記憶ビューア」。他の人と記憶を共有する。
【００５４】 ３．「記憶保護」。別の装置にバックアップを取ることで記憶を保護する。
【００５５】 ４．重要でない／非常に重要ボタン。表示される画像が重要でない又は非常
に重要として指定されてもよい。
【００５６】 ５．プライバシー項目。「プライベート」ボタンは、押す度に最後の１０、
２０、３０分を消去する。
【００５７】 ６．名前及びメモの打ち込み。人、イベントに関わる名前並びにメモ、及び
、簡単な注意書きは、実用性のために例えば、デスクトップコンピュータに入力
され得る。これらは、個々の画像又は個々の顔と関連付けられてもよい。
【００５８】 ビジュアル拡張メモリ（ＶＡＭ）適用法は完全に自動化され、ハンドフリーで
あり、視覚的記憶用手がかりの識別、記憶、及び、その後の引出しに関して着用
可能なシステムである。顔は覚えられ、人の顔のピクチャ及び周囲の文脈を手が
かりとして使用して照合される。ＶＡＭのハンドフリー操作は更なる利点である
。
【００５９】 顔の認識は、生成する適当な記憶用手がかりを決定するために情況を解析する
唯一の可能な手段ではないことは容易に理解できるであろう。記憶支援の他の実
施例は、顔の認識よりも場所の施設又は対象物の認識を含んでもよい。ある場所
に戻るとき、記憶支援は例えば、特定の戸口を認識し得る。前の訪問中に捕捉し
たその戸口を含む画像が表示される。認識処理の代わりに、その場所の前に捕捉
された画像が他の手段（例えば、ＧＰＳ）によってその場所に戻ったことを装置
が判断したとき、表示されてもよい。位置情報は、例えば、全地球測位システム
から得られ得る。更なるオプションは、記憶用手がかりをトリガするために（特
定の顔の位置又は存在よりも）時間を所定の条件として有し、ユーザには、前の
日、月、又は、年からの捕捉された画像が示される。
【００６０】 本開示を読むことで、他の変更態様が当業者に明らかとなるであろう。このよ
うな変更態様は、システム及び装置並びにそのコンポーネント部品の設計、製造
、及び、使用において既に既知であり、本願記載の特徴の代わりに、或いは、そ
れらに加えて使用されてもよい他の特徴を含んでもよい。
【図面の簡単な説明】
【図１】 本発明を例示する装置を概略的に示す図である。
【図２】 本発明に従って動作する記憶支援の例におけるインタフェース構成素子を示す
図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ポール，レナード エイチ オランダ国，5656 アーアー アインドー フェン，プロフ・ホルストラーン ６ (72)発明者 ヴァルデズ，アーマンド エス オランダ国，5656 アーアー アインドー フェン，プロフ・ホルストラーン ６ Ｆターム(参考） 5B050 BA12 CA07 EA06 EA18 FA02 FA13 GA08 5B057 AA19 BA02 BA26 BA30 DA11 DA16 DB02 DB06 DC34 DC36 DC39 5B075 ND06 ND20 PP28 PQ02 QT10 UU40 5C054 CE01 CF01 EA05 FC11 HA00

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 画像を捕捉する画像捕捉手段と、 所定の条件の現在のステータスを示すデータを生成する情況解析手段と、 上記生成されたステータス情報と、上記所定の条件に関連し、且つ、少なくと
    も一つの前に捕捉された画像と関連のある、前に記憶されたステータス情報とを
    比較する比較手段と、 画像を思い出し及び表示する手段とを有する記憶支援装置であって、 上記比較手段によって正の比較が生ずることにより、上記画像思い出し及び表
    示手段は、上記前に記憶されたステータス情報と関連のある上記少なくとも一つ
    の前に捕捉された画像を表示し、上記少なくとも一つの前に捕捉された画像は、
    記憶を思い出すことに関して人を支援する視覚的記憶用手がかりを含む、記憶支
    援装置。
  2. 【請求項２】 上記所定の条件は装置の位置であり、上記情況解析手段は位
    置探し手段を有する請求項１記載の記憶支援装置。
  3. 【請求項３】 上記位置探し手段は、位置データ処理手段を含む請求項２記
    載の記憶支援装置。
  4. 【請求項４】 上記位置データ処理手段は、全地球測位システム受信装置を
    含む、請求項３記載の記憶支援装置。
  5. 【請求項５】 上記位置探し手段は、上記捕捉した画像と公知の位置からの
    前に捕捉した画像とを比較する手段を含む、請求項２記載の記憶支援装置。
  6. 【請求項６】 現在のステータスと、正の比較を生成するために要求される
    所定の条件の記憶されたステータスとの間の類似度は調節可能である、請求項２
    、３、又は、４記載の記憶支援装置。
  7. 【請求項７】 上記所定の条件は、上記捕捉された画像における人の顔の有
    無であり、上記情況解析手段は、人間の顔が有ることを検出するために上記捕捉
    された画像を解析する手段を有する、請求項１記載の記憶支援装置。
  8. 【請求項８】 現在のステータスと、正の比較を生成するために要求される
    所定の条件の記憶されたステータスとの間の類似度は調節可能である、請求項７
    記載の記憶支援装置。
  9. 【請求項９】 上記所定の条件は、時間及び／又は日付であり、上記情況解
    析手段は、上記時間／日付データのソースに結合され、前に捕捉された画像を一
    つ以上思い出し表示するための所定の基準を現在の時間／日付がいつ満たすかを
    決定するために動作可能な手段を有する、請求項１記載の記憶支援装置。
  10. 【請求項１０】 画像を捕捉する段階と、 所定の条件の現在のステータスを示すデータを生成する段階と、 上記生成されたステータス情報と、上記所定の条件に関連し、且つ、少なくと
    も一つの前に捕捉された画像と関連のある、前に記憶されたステータス情報とを
    比較する段階と、 画像を思い出し表示する段階とを有する、記憶を思い出すことを支援する方法
    であって、 上記比較段階中に正の比較が生ずることにより、上記前に記憶されたステータ
    ス情報と関連のある上記少なくとも一つの前に捕捉された画像は思い出され表示
    され、上記少なくとも一つの前に捕捉された画像は、記憶を思い出すことに関し
    て人を支援する視覚的記憶用手がかりを含む方法。
JP2001583340A 2000-05-12 2001-04-23 記憶支援装置 Pending JP2003533768A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB0011438.9A GB0011438D0 (en) 2000-05-12 2000-05-12 Memory aid
GB0011438.9 2000-05-12
PCT/EP2001/004559 WO2001086464A1 (en) 2000-05-12 2001-04-23 Memory aid

Publications (1)

Publication Number Publication Date
JP2003533768A true JP2003533768A (ja) 2003-11-11

Family

ID=9891439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001583340A Pending JP2003533768A (ja) 2000-05-12 2001-04-23 記憶支援装置

Country Status (6)

Country Link
US (1) US20010040986A1 (ja)
EP (1) EP1285344A1 (ja)
JP (1) JP2003533768A (ja)
KR (1) KR20020037745A (ja)
GB (1) GB0011438D0 (ja)
WO (1) WO2001086464A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014518100A (ja) * 2011-06-01 2014-07-28 コーニンクレッカ フィリップス エヌ ヴェ 患者を支援する方法及びシステム
JP2016503217A (ja) * 2013-01-13 2016-02-01 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 拡張現実デバイスを制御するための装置および方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2372131A (en) * 2001-02-10 2002-08-14 Hewlett Packard Co Face recognition and information system
US7324246B2 (en) * 2001-09-27 2008-01-29 Fujifilm Corporation Apparatus and method for image processing
US6738631B1 (en) * 2002-05-06 2004-05-18 Nokia, Inc. Vision-guided model-based point-and-click interface for a wireless handheld device
US7843495B2 (en) * 2002-07-10 2010-11-30 Hewlett-Packard Development Company, L.P. Face recognition in a digital imaging system accessing a database of people
US8064650B2 (en) 2002-07-10 2011-11-22 Hewlett-Packard Development Company, L.P. File management of digital images using the names of people identified in the images
JP2004246767A (ja) * 2003-02-17 2004-09-02 National Institute Of Information & Communication Technology 個人的な喪失記憶情報を通信によって補完する方法及びその通信システム並びにプログラム
US20060257827A1 (en) * 2005-05-12 2006-11-16 Blinktwice, Llc Method and apparatus to individualize content in an augmentative and alternative communication device
US8107605B2 (en) * 2007-09-26 2012-01-31 Hill-Rom Sas Memory aid for persons having memory loss
US20120026191A1 (en) * 2010-07-05 2012-02-02 Sony Ericsson Mobile Communications Ab Method for displaying augmentation information in an augmented reality system
GB201015349D0 (en) * 2010-09-15 2010-10-27 Univ Southampton Memory device
CN102354462A (zh) * 2011-10-14 2012-02-15 北京市莱科智多教育科技有限公司 儿童教育系统及儿童教育方法
KR20140130331A (ko) * 2013-04-30 2014-11-10 (주)세이엔 착용형 전자 장치 및 그의 제어 방법
KR102108066B1 (ko) * 2013-09-02 2020-05-08 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
US9928463B2 (en) 2014-03-25 2018-03-27 Nany Ang Technological University Episodic and semantic memory based remembrance agent modeling method and system for virtual companions
US9245175B1 (en) * 2014-10-21 2016-01-26 Rockwell Collins, Inc. Image capture and individual verification security system integrating user-worn display components and communication technologies
CN106856063A (zh) * 2015-12-09 2017-06-16 朱森 一种新型教学平台
CN106557744B (zh) * 2016-10-28 2019-06-25 南京理工大学 可穿戴人脸识别装置及实现方法
US11133099B2 (en) 2018-07-13 2021-09-28 International Business Machines Corporation Memory recall assistance for memory loss
CN111276238A (zh) * 2020-01-09 2020-06-12 钟梓函 一种用于辅助阿尔茨海默症患者日常活动的装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4770636A (en) * 1987-04-10 1988-09-13 Albert Einstein College Of Medicine Of Yeshiva University Cognometer
US5012522A (en) * 1988-12-08 1991-04-30 The United States Of America As Represented By The Secretary Of The Air Force Autonomous face recognition machine
US5392447A (en) * 1992-01-10 1995-02-21 Eastman Kodak Compay Image-based electronic pocket organizer with integral scanning unit
DE69328599T2 (de) * 1992-08-24 2000-08-24 Casio Computer Co Ltd Datensuchvorrichtung
EP0650125A1 (en) * 1993-10-20 1995-04-26 Nippon Lsi Card Co., Ltd. Handy computer with built-in digital camera and spot state recording method using the same
US5890905A (en) * 1995-01-20 1999-04-06 Bergman; Marilyn M. Educational and life skills organizer/memory aid
US5642431A (en) * 1995-06-07 1997-06-24 Massachusetts Institute Of Technology Network-based system and method for detection of faces and the like
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
US6863535B2 (en) * 2001-10-09 2005-03-08 Jack G. Krasney Personal mnemonic generator

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014518100A (ja) * 2011-06-01 2014-07-28 コーニンクレッカ フィリップス エヌ ヴェ 患者を支援する方法及びシステム
US9747902B2 (en) 2011-06-01 2017-08-29 Koninklijke Philips N.V. Method and system for assisting patients
JP2016503217A (ja) * 2013-01-13 2016-02-01 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 拡張現実デバイスを制御するための装置および方法
US10359841B2 (en) 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
US11366515B2 (en) 2013-01-13 2022-06-21 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device

Also Published As

Publication number Publication date
KR20020037745A (ko) 2002-05-22
US20010040986A1 (en) 2001-11-15
GB0011438D0 (en) 2000-06-28
EP1285344A1 (en) 2003-02-26
WO2001086464A1 (en) 2001-11-15

Similar Documents

Publication Publication Date Title
JP2003533768A (ja) 記憶支援装置
KR102002979B1 (ko) 사람-대-사람 교류들을 가능하게 하기 위한 헤드 마운티드 디스플레이들의 레버리징
US8364680B2 (en) Computer systems and methods for collecting, associating, and/or retrieving data
US20200380299A1 (en) Recognizing People by Combining Face and Body Cues
CN111241340B (zh) 视频标签确定方法、装置、终端及存储介质
CN107925725B (zh) 显示装置以及该显示装置的控制方法
CN110914872A (zh) 用认知洞察力导航视频场景
US20160224591A1 (en) Method and Device for Searching for Image
US10318574B1 (en) Generating moments
US20220262091A1 (en) Image alignment method and device therefor
US7003140B2 (en) System and method of searching for image data in a storage medium
CN112911324B (zh) 直播间的内容展示方法、装置、服务器以及存储介质
WO2019232883A1 (zh) 推送保险产品的方法、装置、计算机设备和存储介质
US20220092307A1 (en) Contextual media filter search
JP2013105345A (ja) 情報登録装置、情報登録方法、情報登録システム、情報提示装置、情報提示方法、情報提示システムおよびプログラム
US20190227634A1 (en) Contextual gesture-based image searching
CN111796925A (zh) 算法模型的筛选方法、装置、存储介质和电子设备
Farringdon et al. Visual augmented memory (VAM)
WO2017036516A1 (en) Externally wearable treatment device for medical application, voice-memory system, and voice-memory-method
KR20150135688A (ko) 시청 데이터를 이용한 기억 보조 방법
JP2003304486A (ja) 記憶システムとそれを用いたサービスの販売方法
KR20240036715A (ko) 메시징 시스템에서의 화제들의 진화
Hoisko Early experiences of visual memory prosthesis for supporting episodic memory
CN111198926B (zh) 业务办理管理方法、装置、电子设备及存储介质
US11514082B1 (en) Dynamic content selection