JP2016530562A - 暗点を生じさせる網膜疾患に罹患した個人の視覚的探索を支援する方法 - Google Patents

暗点を生じさせる網膜疾患に罹患した個人の視覚的探索を支援する方法 Download PDF

Info

Publication number
JP2016530562A
JP2016530562A JP2016535402A JP2016535402A JP2016530562A JP 2016530562 A JP2016530562 A JP 2016530562A JP 2016535402 A JP2016535402 A JP 2016535402A JP 2016535402 A JP2016535402 A JP 2016535402A JP 2016530562 A JP2016530562 A JP 2016530562A
Authority
JP
Japan
Prior art keywords
zone
interest
visual
display device
blind
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016535402A
Other languages
English (en)
Other versions
JP6502351B2 (ja
Inventor
アギラル,カルロ
カステ,エリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aix Marseille Universite
Original Assignee
Aix Marseille Universite
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aix Marseille Universite filed Critical Aix Marseille Universite
Publication of JP2016530562A publication Critical patent/JP2016530562A/ja
Application granted granted Critical
Publication of JP6502351B2 publication Critical patent/JP6502351B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/008Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091Fixation targets for viewing direction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本発明は、暗点を生じさせる網膜病変に罹患した個人の視覚的探索を支援することに関し、より詳細には、表示デバイス上のデジタル画像のそのような個人による視覚的探索を支援する方法Sに関し、この方法は、形状認識ソフトウェアを用いて、デジタル画像の物体エリアZO内に含まれる少なくとも1つの物体を認識することS10と、画像を見ているユーザの視野内の暗点の位置に対応する画像内の盲目エリアZ1を特定することS30と、盲目エリア及び物体エリアが互いに近いことが検出される場合、ユーザに対して物体エリアを強調表示することS70、S90にある画像処理を画像に適用することとを含む。

Description

本発明は、加齢黄斑変性症(ARMD)、スタルガルト病、又は黄斑症等の暗点が現れる網膜病変に罹患した個人の視覚的探索を支援する方法の分野に関する。
本発明は、より詳細には、暗点が現れる網膜病変に罹患した個人による表示デバイスでのデジタル画像の視覚的探索を支援する方法に関する。
ARMD、スタルガルト病、又は黄斑症は、中心視の漸次的破壊と、中心領域に到達する情報を消す「暗点」と呼ばれる盲点の発生が現れる視覚欠損を生じさせることがある。この情報は、読書又はより一般的に画像内の物体の認識等の特定の日常作業の実行に必須である。この苦痛を確実になくすことが可能な治療がないことにより、個人は、多くの場合で光学的性質の支援方法を選ぶことが余儀なくされる。
したがって、例えば、個人の病変に適応可能であり、視神経科学の原理を使用して、個人を最良に支援するか、又は実際に読書性能を増大させる、テキスト内のナビゲーション等の画像の視覚的探索を促進する方法を提供する必要性が存在する。
既知の解決策は、米国特許出願第2012/0200595号明細書に記載されている。このシステムは、オキュロメータ(oculometer)が装着されたスマート眼鏡からなる。ユーザがARMDに罹患した個人である場合、システムは、黄斑性暗点で隠された個人の視野のゾーンを考慮に入れる。まず、眼鏡はシーンの画像を捕捉し、それを眼鏡レンズに投射する。その後、これらの眼鏡に埋め込まれたオキュロメータは、投射画像への注視位置を測定できるようにする。ユーザは、暗点で隠された画像ゾーンの強調をアクティブ化することができる。この画像ゾーンの強調は、サイズの増大、行の増大及びシフト、又は暗点周囲の行の変位及び変形のいずれかであることができる。
このシステムによれば、注視の位置及び暗点のサイズが使用されて、暗点周囲の強調情報が定義される。したがって、各個人の暗点の特徴に適応することが可能である。しかし、このシステムによって提案される画像処理は、個人の網膜病変を考慮に入れるが、実行される強調は、黄斑性暗点が存在する状態での読書の基本的な側面を考慮に入れない。実際に、このシステムは、画像ゾーンのピクセル上で、暗点によって隠された情報を変位させるようにのみ機能する。その結果、注視の位置、暗点のサイズ、及びテキストの実体「単語」及び「文字」との相互作用を最適化することが可能ではない。さらに、このシステムは、網膜病変に罹患した個人の眼球運動を最適化するために必要であるにも関わらず、中心視がない状態での眼球運動事象を考慮に入れた注視への従属を提案していない。したがって、このシステムは、快適性、特に読み取り性能に関する有効性を欠くというリスクを有する。
この状況において、本発明は、暗点が現れる網膜病変に罹患した個人による表示デバイス上のデジタル画像の視覚的探索を支援する方法を提案することにより、上述した欠点の1つ又は複数を軽減することを目的とし、デジタル画像は、ゾーンに分割された点行列で構成される。
このために、本発明の方法は基本的に、
−形状認識ソフトウェアを用いて、デジタル画像の物体ゾーン内に含まれる少なくとも1つの物体を認識することにあるステップと、
−画像を見ているユーザの視野内の暗点の位置に対応する画像内の盲目ゾーンを特定することにあるステップと、
−盲目ゾーン及び物体ゾーンの近接性が検出される場合、画像の処理を適用して、ユーザのために物体ゾーンを強調表示することにあるステップと
を含むようなものである。
したがって、本方法は有利なことに、注視の位置及び暗点のサイズを使用して、強調して再現される情報を定義可能にするのみならず、画像の様々な物体を検出し、個人が探索しているか、又は視覚的に探索したい物体を特に識別し、この物体の強調表示を最適化して、視覚を制限する要因を補償できるようにもする。
上で使用されたような「形状」及び「物体」という用語は、非常に広い意味で考慮されるべきである。幾何学的形状のみに対応するのではなく、デジタル画像の任意のタイプの大域的、局所的、又は半局所的に抽出可能な視覚的特徴に対応する。認識されるべき形状又はパターンは、かなり様々な性質ものであることができる。形状又はパターンは、全く同時に物体、顔、単語行、単語、文字等からなり得る。
本方法の特定の特徴によれば、本方法は、
−デジタル画像上の盲目ゾーンの位置決めの基準に従って、少なくとも1つの物体ゾーンを含む関心ゾーンを特定することにあるステップであって、盲目ゾーンは、ポインティングデバイスに従属することによって表示デバイス上に位置決め可能である、特定することにあるステップと、
−特定された関心ゾーンの閲覧を可能にするマークを表示デバイスに表示することにあるステップと
を更に含み、
物体ゾーンの強調表示が、少なくとも1つの所定の処理に従って、特定された関心ゾーンを変更し、視覚ゾーン内に再現することにより、特定された関心ゾーンを強調することにある。
したがって、本方法は有利なことに、自動マークによって認識された物体を強調することができることを個人に視覚的に通知できるようにする。
本方法の別の特定の特徴によれば、デジタル画像上に盲目ゾーンを位置決めする、関心ゾーンが特定される基準は、
−盲目ゾーンによる関心ゾーンの重複の基準、及び
−各個人に特定される偏心視域ゾーンによる関心ゾーンの重複の基準
の中から選ばれ、表示デバイスへのこの偏心視域ゾーンの位置決めが、この同じデバイス上での盲目ゾーンの位置決めに関連する。
前の特定の特徴によれば、重複の上記基準は、
−関心ゾーン上の盲目ゾーン及び偏心視域ゾーンの特定の点の位置決め、又は
−盲目ゾーン又は偏心視域ゾーンによる関心ゾーンの重複のうちより大きな面積
を特定することにある。
本方法の別の特定の特徴によれば、関心ゾーンが、視覚ゾーンが上記所定の処理に従って表示デバイス上に部分的にしか再現されないように、表示デバイスの縁部近くに配置される場合、関心ゾーンの強調は、表示デバイスで完全に再現され、上記所定の処理に従って表示デバイスに部分的にのみ再現された視覚ゾーンとの実質的に最大の重複を示すように視覚ゾーンを変位することに更にある。
本方法の別の特定の特徴によれば、物体ゾーンの強調表示が、アクチュエータを作動させ、任意選択的に作動させた状態を保つことにより、個人によって制御され、本方法が、強調前のデジタル画像に戻るステップを更に含み、この戻ることは、アクチュエータの作動及び任意選択的な解放のそれぞれにより個人によって制御される。
したがって、この特定の特徴による方法では、有利なことに、個人が強調の持続時間を制御することができる。
本方法の別の特定の特徴によれば、盲目ゾーン及び視覚ゾーン以外の少なくとも1つのゾーンは、表示デバイス上に可視マークを含む。
したがって、この特定の特徴による本方法は、有利なことに、個人が暗点の程度に気付くことを助け、個人が眼球運動を最適化できるようにする。さらに、本方法が、テキストの表示デバイスでの読み取りを支援する方法である場合、この特定の特徴による本方法は、有利なことに、個人が読み取りの過程である行上に垂直に安定化させることを助けることを更に可能にする。
本方法の第1の実施形態によれば、形状認識ソフトウェアは、自動画像処理で利用される人物−背景分離の原理に基づく、背景から物体を分離するアルゴリズムを含む。
したがって、この第1の実施形態による本方法は、有利なことに、物体、顔、又は幾何学的形状を局所的又は半局所的に認識するように合わせられる。
本方法の第1の実施形態の特定の特徴によれば、関心ゾーンの所定の処理は、表示デバイス上で視覚ゾーンを占めるまでのサイズの漸次的増大及び任意選択的なデジタル画像での初期位置からの漸次的シフトからなり、方法は、強調前のサイズ及び位置に戻るまでの強調された関心ゾーンのサイズの漸次的低減及び任意選択的な位置の漸次的シフトからなる強調前のデジタル画像に戻るステップを更に含む。
したがって、第1の実施形態のこの特定の特徴による本方法では、有利なことに、個人は、デジタル画像内の関心ゾーンの初期位置のメモリを保持して、特に、デジタル画像の残りの部分での続く視覚的探索を促進することができる。強調された関心ゾーンの位置のシフトにより、有利なことに、視覚ゾーンを各個人に特定された偏心視域ゾーンに最良に一致させることが更に可能になる。
本方法の第2の実施形態によれば、視覚的探索を支援する方法は、読書を支援する方法であり、デジタル画像は、読まれることが意図されるテキストを含み、形状認識ソフトウェアは、文字認識ソフトウェアを含み、行ゾーンに分離し、次に、各行ゾーンを単語ゾーンに分離することにより、少なくとも1つのテキスト部分を認識できるようにし、物体ゾーンは単語ゾーンであり、視覚ゾーンは、盲目ゾーンの周辺に配置される。
したがって、第2の実施形態による本方法は、有利なことに、注視の位置及び暗点のサイズを使用して、暗点近傍で強調されて再現される情報を定義可能であるのみならず、画像の様々な単語を検出して、特に、個人が読みたい単語群を識別し、この単語群の自動マークにより単語群を強調可能なことを個人に視覚的に通知し、個人の読み取り能力を制限する要因を補償するようにこの単語群の強調表示を最適化することもできるようにする。画像を単語ゾーンに分割することにより、視覚ゾーン内に完全な単語を再現可能なことに更に留意されたい。
第2の実施形態の特定の特徴によれば、本方法は、関心ゾーンの特定の前に、キャラクタのサイズ、行の長さ及び/又は数、表示デバイスのサイズ、及び/又は盲目ゾーンのサイズの関数としての行間隔の寸法変更及び/又は変更により、テキストの画像を変更することにあるステップを更に含む。
したがって、本方法では、有利なことに、テキストについての最大の大域的情報を表示のために保持することが可能であり、それにより、個人は、画像を永続的に変位することを強制せずに、自分がどこにいるかを容易に知ることができる。
第2の実施形態の別の特定の態様によれば、上記少なくとも1つのテキスト部分の認識は、各単語ゾーンの文字ゾーンへの分離を更に含む。
したがって、第2の実施形態による本方法では、有利なことに、関心ゾーンに配置された単語の変更及び再現をより細かく制御することができる。
本方法の第2の実施形態の別の特定の特徴によれば、関心ゾーンは、上記少なくとも1つの単語ゾーンに加えて、同じ行ゾーンに属する少なくとも2つの他の単語ゾーンを含み、関心ゾーンの各単語ゾーンは、関心ゾーンの別の単語ゾーンと並置される。
したがって、本方法では、有利なことに、個人に提供される支援を個人の視覚的広がりに合わせることができる。
本方法の第2の実施形態の別の特定の特徴によれば、関心ゾーンの上記少なくとも1つの所定の処理は、
−各単語ゾーンのキャラクタゾーンへの分離、及び/又は
−盲目ゾーンのサイズの関数としての任意選択的なキャラクタのサイズの増大、及び/又は
−キャラクタフォントの変更、及び/又は
−数行にわたる単語のレイアウト、及び/又は
−単語の割れ、及び/又は
−キャラクタの間隔の増大、及び/又は
−コントラストの変更、及び/又は
−極性反転、及び/又は
−関心ゾーンに含まれる単語の音声合成
からなる。
したがって、第2の実施形態による方法では、有利なことに、関心ゾーンの各単語を別様に変更することができる。
前の特定の特徴の変形によれば、キャラクタのサイズ及び/又はキャラクタの間隔は、キャラクタが盲目ゾーンから離れた視覚ゾーンの行で再現されることが意図されるにつれ、更に増大される。
したがって、本方法では、有利なことに、視覚的過密現象を制限し、又は実際にはなくすことが可能である。
本方法の第2の実施形態の別の特定の特徴によれば、現在の関心ゾーンの両側にそれぞれ配置される前の関心ゾーン及び/又は次の関心ゾーンが更に特定され、これらのゾーンの少なくとも一方は表示デバイス上に可視マークを含む。
したがって、第2の実施形態による本方法では、有利なことに、全く同じ単語群が数回強調されないようにし、且つ/又は連続した関心ゾーンが共通の単語ゾーンを示さないようにすることが可能であり、又は少なくともこれらの発生を個人に知らせることが可能である。したがって、さらに、本方法では、有利なことに、強調される次の単語群を個人に知らせることが可能である。
第2の実施形態の別の特定の特徴によれば、本方法は、関心ゾーンを含む行ゾーンの真下に配置される行ゾーンの左側にフレームを表示デバイスにおいて表示することにあるステップを更に含む。
したがって、第2の実施形態による方法では、有利なことに、続く行に渡る際に読み手を支援することが可能であり、この渡りは、偏心視下で読む場合に特に難しい。
第1及び第2の実施形態の特定の特徴によれば、本方法は、処理された関心ゾーンの視覚ゾーンでの再現前又は上記位置決め基準の選択に従っての関心ゾーンの特定前に、各個人に特定された偏心視域ゾーンの位置に対応するものとして、盲目ゾーンに対して視覚ゾーンの周辺位置を決定することにあるステップを含む。
したがって、本方法では、有利なことに、各個人に合わせたように、黄斑視がない状態での注視に従属する有効性を最適化することが可能である。
前の特定の特徴によれば、盲目ゾーンに対する視覚ゾーンの周辺位置の決定は、
−複数のターゲットを表示デバイスに表示し、
−ターゲット毎に、オキュロメータを用いて、個人がターゲットに視線を固定させたときのターゲットに対する個人の暗点の相対位置を検出し、
−暗点の位置に対するターゲットの相対位置であるものとして、偏心視域ゾーンの位置を較正し、
−ターゲットの位置に対する暗点の相対位置が、固定ターゲットの関数として変化する場合、
−前の検出に従って実行された較正の関数として、表示デバイスに表示される形状輪郭の位置決めをオキュロメータによって検出される暗点の位置決めに従属させ、
−固定ターゲット記号を表示デバイスに表示し、
−ターゲット記号を含むように従属する形状輪郭を位置決めされるべき個人の場合、従属する形状輪郭とターゲット記号との間のシフトを測定し、
−測定の関数として、前の検出に従って実行された較正を補正する
ことにある較正ステップを含む。
本方法の第1及び第2の実施形態の別の特定の特徴によれば、視覚ゾーンは、盲目ゾーンの下又は上に並置されセンタリングされて配置される。
したがって、第1及び第2の実施形態による本方法では、有利なことに、個人は、単一の固視で文字等の最大数の視覚的特徴を識別し、したがって、個人の視覚的広がりを増大させることができる。さらに、この他の特定の特徴による本方法では、個人は、視覚ゾーンの表示中であっても、個人の知覚の広がりをそのまま保持することができる。
本方法の第1及び第2の実施形態の別の特定の特徴によれば、盲目ゾーンの位置決めを支配するポインティングデバイスは、コンピュータキーボード、マウス、及びオキュロメータの中から選ばれる。
別の態様による本発明は、プロセッサによって実行される場合、上記請求項の何れか一項に記載の方法を実施する命令を含むコンピュータプログラムに関する。
簡潔に上述されたようなコンピュータプログラムによって提供される利点は、本発明の第1の態様による本方法と併せて上述した利点と少なくとも同一である。
本発明の他の特徴及び利点は、添付図面を参照して、完全に非限定的な指示により以下与えられる説明から明確になろう。
読まれるキャラクタのサイズの関数としての中央視下及び周辺視下での最大読み取り速度の展開を示す。 視覚の広がり(左側)と、読み取り速度に対する視覚の広がりのサイズの影響(右側)とを示す。 視覚過密性の現象と、本発明によるこの現象を抑制する形態とをそれぞれ示す。 本発明による方法の第2の実施形態の幾つかの変形を示す。 本発明による方法の第2の実施形態の特定の特徴を示す。 本発明による方法の第2の実施形態の別の特定の特徴を示す。 盲目ゾーンに対する視覚ゾーンの周辺位置を特定する実施形態を示す。 第1及び第2の実施形態による方法のステップのフローチャートを表す。 第2の実施形態での本発明による方法の特定の特徴を示す。 本発明による方法の第1の実施形態を示す。
その最も広い受容において、本発明は、暗点が現れる網膜病変に罹患した個人による表示デバイスD上でのデジタル画像Iの視覚的探索を支援する方法Sに関する。デジタル画像Iは、ゾーンに分割可能な点行列で構成される。
方法Sは、
−形状認識ソフトウェアを用いて、デジタル画像の物体ゾーンZO内に含まれる少なくとも1つの物体を認識することにあるステップ(S10)と、
−画像を見ているユーザの視野内の暗点の位置に対応する画像内の盲目ゾーンZ1を特定することにあるステップ(S30)と、
−盲目ゾーン及び物体ゾーンの近接性が検出される場合、画像の処理を適用して、ユーザのために物体ゾーンを強調表示することにあるステップ(S70、S90)と
を含む。
したがって、方法Sは有利なことに、注視の位置及び暗点のサイズを使用して、強調して再現される情報を定義可能にするのみならず、画像Iの様々な物体を検出し、個人が探索しているか、又は視覚的に探索したい物体を特に識別し、この物体の強調表示を最適化して、視覚を制限する要因を補償できるようにもする。
方法Sは、
−デジタル画像上の盲目ゾーンZ1の位置決めの基準に従って、少なくとも1つの物体ゾーンZOを含む関心ゾーンZ2を特定することにあるステップ(S50)であって、
−特定された関心ゾーンZ2の閲覧を可能にするマークMZ2を表示デバイスに表示することにあるステップ(S60)と
を更に含む。
さらに、物体ゾーンの強調表示(S70、S90)は、少なくとも1つの所定の処理に従って、特定された関心ゾーンZ2を変更し(S70)、視覚ゾーンZ3内に再現すること(S90)により、特定された関心ゾーンZ2を強調することにある。
同じようにして、個人の注視がデジタル画像Iを横切る際、盲目ゾーンZ1は、表示デバイスD、特にデジタル画像I上で読み手によって自由に位置決め可能でなければならない。これは、コンピュータキーボード、マウス、又は好ましくはオキュロメータ等のポインティングデバイスに盲目ゾーンZ1の位置決めを支配させることによって実行される。
したがって、方法は有利なことに、自動マークによって認識された物体を強調することができることを個人に視覚的に通知できるようにする。実際に、関心ゾーンZ2のマークMZ2は、個人が強調することができる認識された物体に気付けるようにする。
ゾーンが何であれ、ゾーンのマーク、特に関心ゾーンZ2のマークは、視覚的属性を変更することによりこのゾーンを構成するグラフィカル要素(又は特に、後述する第2の実施形態によるテキスト部分)を強調する動作にある。例として、マークは、ゾーンの輪郭及び/又はオーバー行からなることができる。
方法Sの特定の特徴によれば、デジタル画像I上に盲目ゾーンZ1を位置決めする、関心ゾーンZ2が特定される基準は、
−盲目ゾーンZ1による関心ゾーンZ2の重複の基準、及び
−各個人に特定される偏心視域ゾーンPRLによる関心ゾーンZ2の重複の基準
の中から選ばれ、表示デバイスDへのこの偏心視域ゾーンPRLの位置決めは、この同じデバイス上での盲目ゾーンZ1の位置決めに関連する。
前の特定の特徴によれば、重複の上記基準は、
−関心ゾーンZ2上の盲目ゾーンZ1及び偏心視域PRLゾーンの特定の点の位置決めであって、上記特定の点は、例えば、考慮されているゾーンの中心又は右下隅にある、位置決め、又は
−盲目ゾーンZ1又は偏心視域PRLゾーンによる関心ゾーンZ2の重複のうちより大きな面積
を特定することにある。
より大きな重複面積を特定することに基づく重複の基準は、恐らく、例えば、認識された各物体の座標に基づく少数の単純な幾何学的計算を必要とする。これらの計算は、当業者の能力の分野内にあると仮定される。
方法の第2の実施形態に関連して図9A及び図9Bに示されるように、しかし、この図に示される特定の特徴はこの実施形態に限定されず、関心ゾーンZ2が、視覚ゾーンZ3が上記所定の処理に従って表示デバイスD上に部分的にしか再現されないように、表示デバイスDの縁部近傍に配置されることを提供することがある。その場合、方法Sの特定の特徴によれば、関心ゾーンZ2の強調は、関心ゾーンZ2の変更(S70)及び再現(S90)に加えて、表示デバイスDで完全に再現されるように視覚ゾーンZ3を変位することにある。この変位は、好ましくは、そうして変位された視覚ゾーンZ3が、上記所定の処理に従って部分的にのみ再現される視覚ゾーンZ3との実質的に最大の重複を示すように実行される。この好ましさは一層、盲目ゾーンZ1に対する視覚ゾーンZ3の位置が、例えば、後述する検定に従って各個人に特定される偏心視域ゾーンの位置に対応するものとして選ばれる場合に顕著である。
方法Sの別の特定の特徴によれば、物体ゾーンの強調表示又は特定された関心ゾーンZ2の強調は、アクチュエータを作動させることにより個人によって制御され、方法は、強調前のデジタル画像Iに戻るステップを更に含むことができ、この戻ることも、アクチュエータの作動により個人によって制御される。任意選択的に、アクチュエータの作動は、個人によって維持することができ、任意選択的に、強調前のデジタル画像Iに戻るステップは、アクチュエータの解放によって制御される。
したがって、この特定の特徴による方法Sでは、有利なことに、個人が強調のトリガー及び持続時間を制御することができる。
方法Sの別の特定の特徴によれば、関心ゾーンZ2の必要とされるマークMZ2に加えて、盲目ゾーンZ1及び視覚ゾーンZ3以外の少なくとも1つのゾーンは、表示デバイス上に可視マークを含む。
したがって、方法は、有利なことに、強調したい認識された物体上に安定化させるのみならず、暗点の程度に気付き、眼球運動を最適化させることを助けられるようにする。
図10に示される第1の実施形態による方法は、基本的に、自動画像処理で利用される人物−背景分離の原理に基づく、背景から物体を分離するアルゴリズムを含むようなものである。
したがって、この第1の実施形態による方法は、有利なことに、物体、顔、又は幾何学的形状を局所的又は半局所的に認識するように合わせられる。
図10は、3人の全く同じ写真を個人の暗点を表す盲目ゾーンZ1と一緒に表す図を示す。3人のうちの少なくとも1人の顔は、強調すべき物体として認識されている。図10の真ん中にある写真に示されるように、上述した位置決め基準に従って盲目ゾーンをこの顔に移動させる個人は、この顔の周囲に現れる(黒い)輪郭を見、それにより、例えば、図10の右側の図面に示されるように、認識される顔を強調する可能性が提供されていることが個人に通知される。
方法Sの第1の実施形態の特定の特徴によれば、関心ゾーンZ2の所定の処理は、図10の右側の写真に表されるように、認識された物体を含む関心ゾーンZ2又は同等に物体ゾーンZOのサイズの拡大からなる。さらに、この実施形態により、この拡大のサイズが、表示デバイスD上で視覚ゾーンZ3を占めるまで、漸次的であることが提案される。この拡大は更に、例えば、個人のマウスのサムホイールを介して個人によって直接駆動することができる。
任意選択的に、デジタル画像Iでの初期位置からの物体ゾーンZOの漸次的シフトが、有利なことに、とりわけ、盲目ゾーンZ1に対する視覚ゾーンZ3の位置が、偏心視域PRLゾーンの位置に対応するものとして選ばれる場合、強調された物体が視覚ゾーンの中心に配置されるように実行することができる。
第1の実施形態のこの特定の特徴によれば、方法Sは、強調前のデジタル画像Iに戻るステップを更に含むことができ、この戻るステップは、強調前のサイズ及び位置に戻るまで、強調された関心ゾーンZ2のサイズを逆に漸次的に低減することと、任意選択的に、位置を逆に漸次的にシフトさせることとからなる。
したがって、第1の実施形態のこの特定の特徴による方法では、有利なことに、個人は、デジタル画像内の関心ゾーンの初期位置のメモリを保持して、特に、デジタル画像の残りの部分での続く視覚的探索を促進することができる。強調された関心ゾーンZ2の位置のシフトにより、有利なことに、視覚ゾーンZ3を各個人に特定された偏心視域PRLゾーンに最良に一致させることが更に可能になる。
第2の実施形態によれば、方法Sは、より詳細には、暗点が現れる網膜病変に罹患した個人による読み取りが意図されるテキストの表示デバイス上での読み取りを支援する方法に関し、図1〜図9を参照して以下に説明される。
テキストは、点行列で構成されるデジタル画像Iの部分を形成する。任意の点行列のように、テキストの画像を構成する点行列はゾーンに分割可能である。各ゾーンは、好ましくは、単一の個片からなる。
本発明による方法が、読み手を最良に支援できるようにするために、まず、特に、例えばスクロールバーを用いて画像を永続的に変位することを強制せずに、個人がどこにいるかを容易に知ることができるように、表示デバイスDに、テキストについての最大の大域的情報を保持することが提案され得る。
このために、方法は、テキストの画像を変更することにあるステップを含む。この変更は、デジタル画像Iの寸法変更からなることができる。例えば、テキストの画像は、テキストの行が、テキストの画像が表示されている表示デバイスDの縁部から開始され、表示デバイスの逆縁部前に終わるように寸法変更され、それにより、読み手は、読み取りの過程で、テキストの各行の終了及び開始で対応するスクロールバーを用いて画像を変位させる必要がない。
そのような寸法変更は自動的に、行間隔の変更を含み得るが、行間隔の変更を独立して行うことができることも示唆される。
画像のこの変更ステップは、好ましくは、キャラクタのサイズ、行の長さ及び/又は数、表示デバイスのサイズ、及び/又は表示デバイス上で個人の暗点を表すいわゆる盲目ゾーンZ1のサイズからの少なくとも1つのパラメータを考慮に入れることによって実行される。例えば、テキストの画像は、盲目ゾーンが3つ以上の連続した行部分に重ならないように寸法変更される。
図8を参照すると、本発明による方法は、文字認識ソフトウェアを用いて、行ゾーンLZに分離し、次に、各行ゾーンを単語ゾーンWZに分離することにより、少なくとも1つのテキスト部分を認識することにあるステップ(S10)を含む。認識ソフトウェアは、光学文字認識(OCR)ソフトウェア等の、プリントされるか、又はタイプで書かれたテキストの画像をテキストファイルに変換するコンピュータ方法を指定する。画像の単語ゾーン分離が実行されると、各単語の座標が検出され、使用可能になる。
図8を参照すると、本発明による方法は、盲目ゾーンZ1を特定することにあるステップ(S30)を更に含む。この盲目ゾーンは、表示デバイスD上の個人の暗点を表す。好ましくは、この盲目ゾーンは暗点を完全に含む。このゾーンの形状は、例えば、概して円盤の形状の個人の暗点の形状に合わせることができ、又は例えば、矩形としてデフォルトによって定義することができる。
第2の実施形態による方法は、少なくとも1つの単語ゾーンWZを含む関心ゾーンZ2を特定することにあるステップ(S50)を更に含む。
方法の第2の実施形態によれば、位置決め及び重複基準は、上述したようなものである。したがって、個人が利用する戦略に応じて、関心ゾーンZ2に含まれる単語は、例えば、盲目ゾーンZ1の下又は縁部の近傍に配置され得る。
方法の第2の実施形態によれば、より大きな面積の重複の特定に必要な少数の単純な幾何学的計算は、各単語ゾーンの座標の検出と、任意選択的に各文字ゾーンの検出とに基づく。図4c及び図4dの比較分析に示されるように、連続した行ゾーン及び単語ゾーンが必ずしも、例えば、全てのゾーンの和がテキストの画像を完全に包含するように並置されるわけではなく、逆に、空のテキストゾーンによってわずかに離間され得ることに留意されたい。
方法の第1の実施形態と同様に、上述した位置決め又は重複基準の一方に従って特定される関心ゾーンZ2は、閲覧を可能にするマークMZ2を介して表示デバイスに表示される(S60)。
図8を参照すると、本発明による方法は、少なくとも1つの所定の処理に従って関心ゾーンZ2を変更することにあるステップ(S70)と、盲目ゾーンZ1の周辺に配置された視覚ゾーンZ3内に処理された関心ゾーンZ2を再現することにあるステップ(S90)とを更に含む。変更(S70)及び再現(S90)又は再現(S90)のみは、例えば、個人がマウスのボタン又はキーボードのキーを押下することによって制御される。
方法の第2の実施形態によれば、上記少なくとも1つのテキスト部分の認識(S10)は、各単語ゾーンの文字ゾーンへの分離を更に含む。したがって、方法では、有利なことに、例えば、強調すべき単語群の文字を曲げることによる変形により、又は暗点の中心に最も近い文字よりも重要な暗点の中心から最も離れた文字のサイズの増大により、関心ゾーンに配置された単語の変更(S70)及び再現(S90)をより細かく制御することができる。画像の文字ゾーンへの分離が実行されると、各文字ゾーンの座標が検出され、使用可能になる。
方法の第2の実施形態により実行される強調は、有利なことに、黄斑性暗点が存在する場合での読み取りの実行によって呈される基本的な側面を考慮に入れる。実際に、この強調は、暗点によって隠された情報の変位(テキストの画像の寸法変更又は変形による)で済ませず、画像の単語を認識し、個人が読みたい単語を特に識別できるようにし、これらの単語の表示を最適化して、暗点が存在する状態で読み取りを制限する要因を補償する。しかし、これらの利点は、画像を単語に分割せずには利用不可能なままであり、この特徴のみを介して達成することはできず、読み手を知的及び効率的に支援するためには、方法の第2の実施形態による方法のステップ(S50)、(S70)、及び(S90)と組み合わせられなければならない。
これをよりよく理解するために、偏心視域ゾーン(PRL)、視覚的過密性、視力、及び視覚的広がり等の視神経科学の特定の表記を説明する必要がある。これらの表記は、認知の視点及び眼球運動の視点の両方からの作用を可能にする。
図1を参照すると、偏心視下での視力が、テキストのキャラクタのサイズが増大する場合、読み取り速度に関して恩恵を受けることが確立されている。しかし、連続視覚物体の高速提示又はRSVP(高速逐次視覚提示)条件下での健康な個人での周辺視(b)でのキャラクタサイズの単なる増大は、中心視(a)で得られる速度閾値の達成を可能にしない。図1のグラフ(Legge et al. 1985a;Legge et al. 1985b)は、横座標として描かれる読まれるキャラクタのサイズの関数としての縦座標として描かれる読み取り速度測定値を示す。したがって、図1は、正常視を使用する個人(a)及び周辺視を使用する個人(b)のキャラクタのサイズの関数としての読み取り性能を示す。
図2を参照すると、視覚的広がりは、読み取りでの研究の枠組み内の基本的な表記として定義される。視覚的広がりは、文字が任意の言語情報外で識別することができる視野の広がりに対応する。文脈を用いずに固視に基づいて識別することができる文字数を定量化する。図2の左側の画像は、視覚的広がり(VS)の表記を示す。個人の注視が、単語を含む円の中心に固定される場合、視覚的広がりは単語「this must」に対応する。図2の右側のグラフ(O’Regan 1979及びO’Regan et al. 1983)は、読み取り速度(縦座標として)に対する視覚的広がりのサイズ(横座標として)の影響を提示する。この画像は以下の現象を示す:読み取り速度は視覚的広がりのサイズに伴って増大する。
図3aを参照すると、視覚的過密性は、単語の隣接する文字間又は単語それ自体の間での空間相互作用の産物である。識別すべき文字(又は単語)が、十分に大きな分離空間ゾーンを有する場合、過密性は識別に作用しない。逆に、他の文字(又は単語)がこのゾーン内部に提示される場合、問題となっている文字の識別は妨げられる。視覚的過密性の現象を回避するために必要な空間ゾーン(分離ゾーンと呼ばれる)のサイズは、偏心に比例して増大する。図3aは、この実証を可能にする。真ん中の十字を固視する場合、左側の文字「r」の識別は容易である。しかし、右側の文字「r」は識別することが不可能であり、識別するには、文字「a」の左側にある小さな十字を固視する必要がある(Pelli and Tillman,2007)。
偏心視域PRLゾーンは、暗点存在下で注意が向けられる視覚ゾーンとして定義される。実際に、中心暗点が存在する場合、網膜の中心はターゲットの識別に使用することができ、個人は、そうして注視を注意を向けるゾーンから解離させることにより、罹患領域外に注意を向けるように強いられる。したがって、偏心視域ゾーンは、暗点存在下で、中心窩外網膜の1つ又は複数の視覚ゾーンZ3に向けて無意識に変位される。個人によるターゲットの固視作業中、これらの偏心視域ゾーンは、例えば、オキュロメータを用いて検出可能であり、位置決め可能である。
したがって、関心ゾーンZ2の特定(S50)前に、テキストの画像を変更することにあるステップにより、個人が、暗点のサイズの関数として単語視力閾値にすることによって各単語を読むことができるサイズにテキストキャラクタを設定することが可能にあることが明らかに理解される。テキストのキャラクタのこのサイズは、個人が暗点がある状態で正確に読み取ることを可能にするのに十分に大きいが、テキスト上の大域的情報を失うことを回避するために大きすぎない。テキストの行間隔は、暗点のサイズに応じて増大させることができ、それにより、個人は、読んでいる間、行上に暗点をよりよく位置決めすることができる。
図3bを参照すると、方法の第2の実施形態の特定の特徴によれば、関心ゾーンZ2の上記少なくとも1つの所定の処理は、各単語ゾーンのキャラクタゾーン(又は文字ゾーン)への分離と、キャラクタ間隔の増大とからなり、視覚的過密の現象を制限するか、又は実際に回避できるようにする。図3bは、左側に、文字間隔が通常通りであり、それにより、偏心視での識別を難しくした(例えば、左側の十字を固視する場合)単語を示し、右側に、文字間隔が増大され、それにより、偏心視での識別を容易にした(右側の十字を固視する場合)単語を示すことにより、これを示す。
方法の第2の実施形態の別の特定の特徴によれば、関心ゾーンZ2は、上記少なくとも1つの重複単語ゾーンに加えて、同じ行ゾーンに属する少なくとも2つの他の単語ゾーンを含むことができ、関心ゾーンZ2の各単語ゾーンは、好ましくは、関心ゾーンZ2の別の単語ゾーンに並置される。したがって、方法により、有利なことに、各単語ゾーンのサイズを考慮に入れ、個人に提供される支援を個人の視覚的広がりに合わせることができる。
さらに、特定の特徴が方法の第1の実施形態を参照して既に上で紹介された方法の第2の実施形態の別の特定の特徴によれば、盲目ゾーンZ1及び視覚ゾーンZ3のうちの少なくとも一方のゾーンは、表示デバイス上に可視マークを含む。したがって、特定の特徴による方法により、有利なことに、個人が読み取りの過程である行上に垂直に安定化させることを更に助けることを可能にする。さらに、図4a〜図4dに示されるように、盲目ゾーンZ1は輪郭によって区切られ、この輪郭の存在は、個人が盲点の境界に気付くことを助け、眼球運動を最適化できるようにする。
図4aに示される例では、テキストの文章に対して高い位置から、盲目ゾーンZ1は個人によりポインティングデバイスによって強調したい単語群に運ばれる。関心ゾーンZ2が表示されて、個人がターゲットに位置決めするのを助ける。関心ゾーンZ2の所定の処理又は強調は、この例によれば、サイズの増大にあり、増大の幅は恐らく、例えば、盲目ゾーンZ1のサイズに依存する。
図4aでは、図4bと同様に、盲目ゾーンZ1が透明になり、重なっている単語を見せているが、実際の状況では、図4c及び図4dに示されるように、盲目ゾーンが重なった単語は、暗点によって個人から隠され、したがって、見えないことに留意されたい。
図4bに示される例では、第2の実施形態による方法Sは、図4aを参照して上述した例と同一の様式で実施されるが、関心ゾーンZ2の強調は、サイズの増大のみならず、視覚ゾーンZ3の数行、この場合は2行にわたって構成する単語の分配にもある。
図4cに示される例では、方法Sは、図4bを参照して上述した例と同一の様式で実施されるが、関心ゾーンZ2の強調は更に、キャラクタが盲目ゾーンZ1から離れた視覚ゾーンZ3の行で再現される(S90)場合、キャラクタのサイズ及び/又はキャラクタ間隔が更に増大されることにある。
図4dに示される例では、方法Sは、図4cを参照して上述した例と同一の様式で実施されるが、関心ゾーンZ2は長い単語ゾーンWZを含み、この関心ゾーンの強調は更に、長い単語の分割からなる。
方法の一実施形態によれば、図5に示されるように、現在の関心ゾーン(ステップ(S50)において特定される)の両側にそれぞれ配置される前の関心ゾーンZ20及び/又は次の関心ゾーンZ22が更に特定される。図5に示される例では、各ゾーンZ20、Z21、及びZ22は、表示デバイスで可視の輪郭を備える。
第2の実施形態の特定の特徴によれば、図6を参照すると、方法は、関心ゾーンZ2を含む行ゾーンの真下に配置される行ゾーンの左側にフレームZ4を表示デバイスに表示することにあるステップを更に含む。偏心視でテキストを読む場合、行の移動はかなりの問題である。図6は、テキストの左側にある、ここでは黒い矩形のフレームZ4が、次の行ゾーンLZの冒頭を位置特定するのをいかに助けることができるかを示す。この例では、方法Sは、暗点の下縁部下にある単語を選べるようにする。黒い矩形は、個人が暗点の縁部を、真上にあり、例えば、行ゾーンLZの関心ゾーンZ2に配置する場合、表示され、数秒、例えば3秒にわたり表示されたままである。したがって、個人がある行から別の行に移る場合(右図)、関心ゾーンZ2は黒い矩形Z4の真横にある。個人が行を見逃す場合、黒い矩形Z4は、関心ゾーンZ2と同じ行になく、したがって、個人は、続く行にないことを知覚する。
方法Sの第1及び第2の実施形態の特定の特徴によれば、個人の、任意選択的には垂直の偏心視域PRLゾーンを選ぶことを目的とした検定が実行されて、強調された単語を個人の視野の最適位置に表示する。
したがって、この実施形態によれば、方法Sは、処理された関心ゾーンZ2の視覚ゾーンZ3内の再現の前に、例えば、暗点の位置及びサイズを考慮に入れることによる各個人に特定された偏心視域ゾーンの位置に対応するものとして、盲目ゾーンZ1に対する視覚ゾーンZ3の周辺位置を特定することにあるステップを含む。
より詳細には、この実施形態によれば、図7aの左側の2つの画像を参照すると、盲目ゾーンZ1に対する視覚ゾーンZ3の周辺位置の特定は、
−複数のターゲットFを表示デバイスに表示し、
−ターゲットF毎に、オキュロメータを用いて、個人がターゲットに視線を固定させたときのターゲットに対する個人の暗点Sの相対位置を検出し、
−暗点Sの位置に対するターゲットFの相対位置であるものとして、偏心視域PRLゾーンの位置を較正する
ことにある較正ステップを含む。
この較正は、ターゲットF毎に、ターゲットに対する暗点Sの相対位置が同じである場合、十分である。逆の場合、好ましくは、以下の変形に従い得る較正の補正が検討される。
この変形によれば、図7a及び図7bの右側の画像を参照すると、ターゲットFの位置に対する暗点Sの相対位置が、ターゲットに応じて変化する場合、盲目ゾーンZ1に対する視覚ゾーンZ3の周辺位置の特定は、
−複数のターゲットFを表示デバイスに表示し、
−ターゲットF毎に、オキュロメータを用いて、個人がターゲットに視線を固定させたときのターゲットに対する個人の暗点Sの相対位置を検出し、
−暗点の位置に対するターゲットの相対位置であるものとして、偏心視域PRLゾーンの位置を較正し、
−前の検出に従って実行された較正の関数として、表示デバイスに表示される形状輪郭SOの位置決めをオキュロメータによって検出される暗点Sの位置決めに従属させ、
−固定ターゲット記号Tを表示デバイスに表示し、
−ターゲット記号Tを含むように従属する形状輪郭SOを位置決めされるべき個人の場合、従属する形状輪郭とターゲット記号との間のシフトdを測定し、
−この測定の関数として、前の検出に従って実行された較正を補正して、暗点の位置に対する偏心視域ゾーンの相対位置を較正する
ことにある較正ステップを含む。
個人の偏心視域ゾーンを選ぶことを目的とする検定の別の変形によれば、個人は使用の快適性を最適化するように、視覚ゾーンZ3を手動で調整することができる。
次に、視覚ゾーンZ3又はRAV(自動視覚領域)は、好ましくは、個人の偏心視域PRLゾーンに表示される。
方法の第2の実施形態に関連する上述した全ての例では、個人の偏心視域PRLゾーンは、垂直であり、暗点の下に配置されるものとして上述した検定に従って特定されていると仮定され、したがって、表されるように、視覚ゾーンZ3は盲目ゾーンZ1と垂直に並び、盲目ゾーンZ1の下に配置される。
方法の第2の実施形態の特定の特徴によれば、視覚ゾーンZ3の中心は、好ましくは、盲目ゾーンZ1の中心に位置合わせされ、それにより、個人は、1回の固視で最大数の文字を識別できるようにし、したがって、視覚的広がりを増大させることができる。
方法の第2の実施形態によれば、視覚ゾーンZ3が表示されている間、関心ゾーンZ2が、好ましくは、可視のままであることに留意されたい。
方法の第2の実施形態によれば、関心ゾーンZ2が、上記所定の処理に従って視覚ゾーンZ3が表示デバイスD上で部分的にのみ再現されるように、表示デバイスDの縁部近傍に配置されることは、表示デバイスの縁部に可能な限り近い単語ゾーンへの関心ゾーンの制限も誘導し得る。その場合、方法は、有利なことに、同じ行ゾーン内で表示デバイスの縁部とは逆の側に配置された他の単語ゾーンも、関心ゾーン内にあるものとして選択されて、この状況に含まれる個人の視覚的広がりから完全に恩恵を受け続けることを提供する。
方法の第2の実施形態によれば、単語ゾーンへの画像のテキストの分離により、視覚ゾーンZ3内で完全な単語を再現すること(S90)が可能になることにも留意されたい。
方法の第2の実施形態によれば、画像のテキストが文字認識ソフトウェアによって1回で画像のテキストが完全に認識可能(S10)であることに更に留意されたい。しかし、非限定的に、例えば、マウスの左ボタンの押下と共にマウスの移動によって画像上で読み手によって選択されるテキストの一部のみが認識され得る。その後、テキストの別の部分を同じように選択することができる。別の例により、盲目ゾーンが重なったテキスト行の部分のみ又は盲目ゾーンの周囲にあるテキスト部分が認識される(S10)。さらに、認識(S10)及び方法の他のステップ(S30〜S90)は、マウスのボタン又はキーボードのキーを押下することにより個人によってトリガーし得る。
本発明による方法は、方法を実施する命令を含むコンピュータプログラムの実行に適する少なくとも1つのプロセッサを備えるコンピュータで実施される。
テキスト行への任意の参照が、所与の言語の読み書きに関して考慮されるべきであることが当業者には明らかなはずである。したがって、特許請求される本発明から逸脱せずに、考慮される言語に応じて、行の代わりに列を考慮することが可能である。同様に、図5に示される等の前の関心ゾーンZ20、現在の関心ゾーンZ21、及び次の関心ゾーンZ22は、左から右に読む方向を示すが、アラビア語等の特定の他の言語は読み書きに逆の方向を使用する。
本発明は、プロセッサによって実行されると、上述した方法を実施する命令を含むコンピュータプログラムも考案する。本発明は、そのようなプログラムを記憶する媒体(特に非一時的な)も考案する。コンピュータプログラムは、例えば、Python(商標)言語等の様々なプログラミング言語で書かれ得る。さらに、このプログラムは、開発を容易にすることが意図されたプログラミングアプリケーション及び/又はインターフェースに基づき得、このタイプのアプリケーションは、例えば、商品名PsychoPy(商標)で知られており、このタイプのプログラミングインターフェースは、例えば、OpenGL(商標)インターフェースである。
上述したように、本発明による方法は、様々なデジタルコンテンツの視覚的探索を促進する様々なハードウェアアイテムを使用することによって実施することができる。
非限定的な例示として与えられる第1の例として、表示デバイスは、コンピュータ画面又はタブレット画面からなることができ、考慮されるコンテンツは、デジタル書籍又は仮想訪問(virtual visit)からなることができる。次に、コンテンツは、視覚的探索と同時又は任意の視覚的探索の又はの上流の方法に従って処理することができる。より詳細には、例えば、アートギャラリーの仮想訪問のデジタルコンテンツは、物体ゾーンに含まれる物体として示される芸術作品を認識することによって事前処理することができ、したがって、上記ゾーンは、全ての来る視覚的探索中に本発明の方法に従って強調することができ、それにより、展示される芸術作品の視覚的探索を任意のユーザに対して促進する。
非限定的な例示として与えられる第2の例として、表示デバイスは、恐らくはインターネット等の通信ネットワークに接続されたビデオのレンズ又はマルチメディア眼鏡からなり得、そして、眼鏡レンズに表示されるデジタル画像Iは、眼鏡装着者の視野のピクチャの全て又は一部からなることができる。このピクチャは、眼鏡に構成されるカメラによって捕捉され、連続してリフレッシュされて、各瞬間に装着者が眼鏡を通して何を見ているかを表すことができる。次に、このピクチャ内の物体の認識が連続して実行されることができ、例えば、装着者の視野内にいる人々の顔が、物体ゾーンに含まれる物体として認識することができ、したがって、上記ゾーンは本発明の方法に従って強調して、少なくとも装着者が上記人々を識別するのに役立つことができる。この意味では、強調された物体ゾーンも連続してリフレッシュして、認識された物体の移動、より一般的には時間の経過を表し得る。第1の結果は、物体、より詳細には装着者の視野内にいる人々の顔の認識について得られた。
ARMDに罹患した20人前後の装着者が、顔を認識する以下の検定を受けた。9人の顔が装着者に提示された画像に表示される:1人の顔は中心にあり、8人の顔は周囲にある。作業は、周囲の顔の中から、真ん中に対応する顔を見つけ、選択された顔に刻まれた数字を読み取ることにある。画像に存在する8人の顔は検定全体を通して同じであり、向きのみが変わり、顔の表情及び中心にある顔は検定毎に異なる。この顔認識は、視覚的補助なし及び本発明による視覚的探索を支援する方法を用いて実行された。
パラメトリック検定(スチューデント検定)は、視覚的補助なしでの認識と本発明による視覚的探索を支援する方法を用いた認識との間で、本発明による視覚的探索を支援する方法が有利で約31%の有意差を示した。この結果は、装着者が本発明による視覚的探索を支援する方法を使用する場合、視野内の人々の顔の認識中、ARMDに罹患した装着者の性能のかなりの増大を示すため、非常に有望である。

Claims (22)

  1. 暗点が現れる網膜病変に罹患したユーザによる表示デバイス上でのデジタル画像(I)の視覚的探索を支援する方法(S)であって、前記デジタル画像は、ゾーンに分割可能な点行列で構成され、前記方法は、
    形状認識ソフトウェアを用いて、前記デジタル画像の物体ゾーン(ZO)内に含まれる少なくとも1つの物体を認識することにあるステップ(S10)と、
    前記画像を見ている前記ユーザの視野内の前記暗点の位置に対応する前記画像内の盲目ゾーン(Z1)を特定することにあるステップ(S30)と、
    前記盲目ゾーン及び前記物体ゾーンの近接性が検出される場合、前記画像の処理を適用して、前記ユーザのために前記物体ゾーンを強調表示することにあるステップ(S70、S90)と
    を含む、方法。
  2. 前記デジタル画像上の前記盲目ゾーン(Z1)の位置決めの基準に従って、少なくとも1つの物体ゾーン(ZO)を含む関心ゾーン(Z2)を特定することにあるステップ(S50)であって、前記盲目ゾーンは、ポインティングデバイスに従属することによって前記表示デバイス上に位置決め可能である、特定することにあるステップ(S50)と、
    前記特定された関心ゾーン(Z2)の閲覧を可能にするマーク(MZ2)を前記表示デバイスに表示することにあるステップ(S60)と
    を更に含み、
    前記物体ゾーンの強調表示(S70、S90)が、
    少なくとも1つの所定の処理に従って、前記特定された関心ゾーン(Z2)を変更し(S70)、視覚ゾーン(Z3)内に再現すること(S90)により、前記特定された関心ゾーン(Z2)を強調する
    ことにあることを特徴とする、請求項1に記載の方法。
  3. 前記デジタル画像(I)上に前記盲目ゾーン(Z1)を位置決めする、前記関心ゾーン(Z2)が特定される基準が、
    前記盲目ゾーン(Z1)による前記関心ゾーン(Z2)の重複の基準、及び
    各個人に特定される偏心視域ゾーン(PRL)による前記関心ゾーン(Z2)の重複の基準
    の中から選ばれ、前記表示デバイス(D)へのこの偏心視域ゾーン(PRL)の位置決めが、この同じデバイス上での前記盲目ゾーン(Z1)の位置決めに関連することを特徴とする、請求項2に記載の方法。
  4. 前記重複の基準が、
    前記関心ゾーン(Z2)上の前記盲目ゾーン(Z1)及び前記偏心視域ゾーン(PRL)の特定の点の位置決め、又は
    前記盲目ゾーン(Z1)又は前記偏心視域(PRL)ゾーンによる前記関心ゾーン(Z2)の重複のうちより大きな面積
    を特定することにあることを特徴とする、請求項3に記載の方法。
  5. 前記関心ゾーン(Z2)が、前記視覚ゾーン(Z3)が前記所定の処理に従って前記表示デバイス(D)上に部分的にしか再現されないように、前記表示デバイス(D)の縁部近くに配置される場合、前記関心ゾーン(Z2)の前記強調が、前記表示デバイス(D)で完全に再現され、前記所定の処理に従って前記表示デバイス(D)に部分的にのみ再現された前記視覚ゾーン(Z3)との実質的に最大の重複を示すように前記視覚ゾーン(Z3)を変位することに更にあることを特徴とする、請求項2〜4の何れか一項に記載の方法。
  6. 前記物体ゾーンの強調表示(S70、S90)が、アクチュエータを作動させ、任意選択的に作動させた状態を保つことにより、前記個人によって制御され、前記方法が、強調前の前記デジタル画像(I)に戻るステップを更に含み、この戻ることが、前記アクチュエータの作動及び任意選択的な解放のそれぞれにより前記個人によって制御されることを特徴とする、請求項1〜5の何れか一項に記載の方法。
  7. 前記盲目ゾーン(Z1)及び前記視覚ゾーン(Z3)以外の少なくとも1つのゾーンが、前記表示デバイス上に可視マークを含むことを特徴とする、請求項2〜6の何れか一項に記載の方法。
  8. 前記形状認識ソフトウェアが、自動画像処理で利用される人物−背景分離の原理に基づく、背景から物体を分離するアルゴリズムを含むことを特徴とする、請求項1〜7の何れか一項に記載の方法。
  9. 前記関心ゾーン(Z2)の所定の処理が、前記表示デバイス(D)上で前記視覚ゾーン(Z3)を占めるまでのサイズの漸次的増大及び任意選択的な前記デジタル画像(I)での初期位置からの漸次的シフトからなり、前記方法が、強調前のサイズ及び位置に戻るまでの前記強調された関心ゾーン(Z2)のサイズの漸次的低減及び任意選択的な位置の漸次的シフトからなる強調前の前記デジタル画像(I)に戻るステップを更に含むことを特徴とする、請求項2〜8の何れか一項に記載の方法。
  10. 前記視覚的探索を支援する方法(S)が、読書を支援する方法であり、前記デジタル画像(I)が、読まれることが意図されるテキストを含み、前記形状認識ソフトウェアが、文字認識ソフトウェアを含み、行ゾーン(LZ)に分離し、次に、各行ゾーン(LZ)を単語ゾーン(WZ)に分離することにより、少なくとも1つのテキスト部分を認識できるようにし、前記物体ゾーン(ZO)が単語ゾーン(WZ)であり、前記視覚ゾーン(Z3)が、前記盲目ゾーン(Z1)の周辺に配置されることを特徴とする、請求項2〜7の何れか一項に記載の方法。
  11. 前記関心ゾーン(Z2)の特定(S50)の前に、キャラクタのサイズ、行の長さ及び/又は数、前記表示デバイスのサイズ、及び/又は前記盲目ゾーンのサイズの関数としての行間隔の寸法変更及び/又は変更により、前記テキストの前記画像を変更することにあるステップを更に含むことを特徴とする、請求項10に記載の方法。
  12. 前記少なくとも1つのテキスト部分の認識(S10)が、各単語ゾーン(WZ)の文字ゾーンへの分離を更に含むことを特徴とする、請求項10又は11に記載の方法。
  13. 前記関心ゾーン(Z2)が、前記少なくとも1つの単語ゾーン(WZ)に加えて、同じ行ゾーン(LZ)に属する少なくとも2つの他の単語ゾーンを含み、前記関心ゾーン(Z2)の各単語ゾーンが、前記関心ゾーン(Z2)の別の単語ゾーンと並置されることを特徴とする、請求項10〜12の何れか一項に記載の方法。
  14. 前記関心ゾーン(Z2)の前記少なくとも1つの所定の処理が、
    各単語ゾーン(WZ)のキャラクタゾーンへの分離、及び/又は
    前記盲目ゾーン(Z1)のサイズの関数としての任意選択的な前記キャラクタのサイズの増大、及び/又は
    キャラクタフォントの変更、及び/又は
    数行にわたる前記単語のレイアウト、及び/又は
    単語の割れ、及び/又は
    前記キャラクタの間隔の増大、及び/又は
    コントラストの変更、及び/又は
    極性反転、及び/又は
    前記関心ゾーン(Z2)に含まれる前記単語の音声合成
    からなることを特徴とする、請求項10〜13の何れか一項に記載の方法。
  15. 前記キャラクタのサイズ及び/又は前記キャラクタの間隔が、前記キャラクタが前記盲目ゾーン(Z1)から離れた前記視覚ゾーン(Z3)の行で再現されること(S90)が意図されるにつれ、更に増大されることを特徴とする、請求項14に記載の方法。
  16. 現在の関心ゾーン(Z21)の両側にそれぞれ配置される前の関心ゾーン(Z20)及び/又は次の関心ゾーン(Z22)が更に特定され(S50)、これらのゾーンの少なくとも一方が前記表示デバイス上に可視マークを含むことを特徴とする、請求項10〜15の何れか一項に記載の方法。
  17. 前記関心ゾーン(Z2)を含む前記行ゾーンの真下に配置される前記行ゾーン(LZ)の左側にフレーム(Z4)を前記表示デバイス(D)において表示することにあるステップを更に含むことを特徴とする、請求項10〜16の何れか一項に記載の方法。
  18. 前記処理された関心ゾーン(Z2)の前記視覚ゾーン(Z3)での再現(S90)前又は位置決め基準の選択に従っての前記関心ゾーン(Z2)の特定(S50)前に、各個人に特定された偏心視域ゾーン(PRL)の前記位置に対応するものとして、前記盲目ゾーン(Z1)に対して前記視覚ゾーン(Z3)の周辺位置を決定することにあるステップを含むことを特徴とする、請求項2〜17の何れか一項に記載の方法。
  19. 前記盲目ゾーン(Z1)に対する前記視覚ゾーン(Z3)の前記周辺位置の決定が、
    複数のターゲット(F)を前記表示デバイスに表示し、
    ターゲット毎に、オキュロメータを用いて、前記個人が前記ターゲットに視線を固定させたときの前記ターゲット(F)に対する前記個人の前記暗点(S)の相対位置を検出し、
    前記暗点の前記位置に対する前記ターゲット(F)の前記相対位置であるものとして、前記偏心視域ゾーン(PRL)の前記位置を較正し、
    前記ターゲット(F)の前記位置に対する前記暗点(S)の前記相対位置が、前記固定ターゲット(F)の関数として変化する場合、
    前の検出に従って実行された前記較正の関数として、前記表示デバイスに表示される形状輪郭(SO)の位置決めを前記オキュロメータによって検出される前記暗点の位置決めに従属させ、
    固定ターゲット記号(T)を前記表示デバイスに表示し、
    前記ターゲット記号(T)を含むように前記従属する形状輪郭を位置決めされるべき前記個人の場合、前記従属する形状輪郭(SO)と前記ターゲット記号との間のシフト(d)を測定し、
    この測定の関数として、前記前の検出に従って実行された較正を補正する
    ことにある較正ステップを含むことを特徴とする、請求項18に記載の方法。
  20. 前記視覚ゾーン(Z3)が、前記盲目ゾーンの下又は上に並置されセンタリングされて配置されることを特徴とする、請求項10〜19の何れか一項に記載の方法。
  21. 前記盲目ゾーン(Z1)の前記位置決めを支配するポインティングデバイスが、コンピュータキーボード、マウス、及びオキュロメータの中から選ばれることを特徴とする、請求項2〜20の何れか一項に記載の方法。
  22. プロセッサによって実行される場合、請求項1〜21の何れか一項に記載の方法を実施する命令を含むコンピュータプログラム。
JP2016535402A 2013-08-21 2014-08-07 暗点を生じさせる網膜疾患に罹患した個人の視覚的探索を支援する方法 Active JP6502351B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306159 2013-08-21
EP13306159.8 2013-08-21
PCT/EP2014/067017 WO2015024790A1 (fr) 2013-08-21 2014-08-07 Procede d'assistance a l'exploration visuelle pour un individu atteint d'une pathologie retinienne se traduisant par un scotome

Publications (2)

Publication Number Publication Date
JP2016530562A true JP2016530562A (ja) 2016-09-29
JP6502351B2 JP6502351B2 (ja) 2019-04-17

Family

ID=49054480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016535402A Active JP6502351B2 (ja) 2013-08-21 2014-08-07 暗点を生じさせる網膜疾患に罹患した個人の視覚的探索を支援する方法

Country Status (8)

Country Link
US (1) US9861274B2 (ja)
EP (1) EP3036733A1 (ja)
JP (1) JP6502351B2 (ja)
KR (1) KR102306768B1 (ja)
CN (1) CN105637570B (ja)
BR (1) BR112016003520B1 (ja)
CA (1) CA2921476C (ja)
WO (1) WO2015024790A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3039978A1 (fr) * 2015-08-14 2017-02-17 Essilor Int Procede de determination de moyens d'aide visuelle par rapport au comportement d'un individu soumis a un test
EP3463045B1 (en) * 2016-05-29 2022-07-06 Nova-Sight Ltd. Display system and method
US10347050B1 (en) 2016-09-22 2019-07-09 Apple Inc. Augmented reality device to warp images
JP6805733B2 (ja) * 2016-10-31 2020-12-23 オムロン株式会社 制御システム、その制御方法およびそのコンピュータ読取可能な記憶媒体
CN106943116B (zh) * 2017-03-13 2018-10-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种婴幼儿视力自动检测方法
US10805676B2 (en) * 2017-07-10 2020-10-13 Sony Corporation Modifying display region for people with macular degeneration
US10650702B2 (en) * 2017-07-10 2020-05-12 Sony Corporation Modifying display region for people with loss of peripheral vision
US10303427B2 (en) 2017-07-11 2019-05-28 Sony Corporation Moving audio from center speaker to peripheral speaker of display device for macular degeneration accessibility
US10845954B2 (en) 2017-07-11 2020-11-24 Sony Corporation Presenting audio video display options as list or matrix
US11113985B2 (en) * 2017-08-30 2021-09-07 Focus Reading Technology Inc. Visual acuity measurement apparatus
DE102018106125B4 (de) * 2018-03-16 2019-09-26 Carl Zeiss Vision International Gmbh Vorrichtung und Verfahren zum Erfassen eines Gesichtsfelds einer ein Skotom aufweisenden Person
CN110584587A (zh) * 2019-09-03 2019-12-20 北京爱博同心医学科技有限公司 补偿视野缺损的方法及装置
CN115457574B (zh) * 2022-09-02 2024-04-09 郭列维 一种基于预设距离的视觉信息处理方法及视觉信息的载体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5589897A (en) * 1995-05-01 1996-12-31 Stephen H. Sinclair Method and apparatus for central visual field mapping and optimization of image presentation based upon mapped parameters
FR2846120A1 (fr) * 2002-10-21 2004-04-23 Inst Sciences De La Vision Procede de demasquage de l'information visuelle presente sous une zone visuelle peu ou pas fonctionnelle et le dispositif de mise en oeuvre
US20080247620A1 (en) * 2007-04-02 2008-10-09 Lewis Conrad W Apparatus and Method for Augmenting Sight

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1259635C (zh) * 2003-06-18 2006-06-14 摩托罗拉公司 用于识别文本行的方法
JP2009530731A (ja) * 2006-03-23 2009-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像操作の眼球追跡制御のためのホットスポット
US8197065B2 (en) * 2009-08-03 2012-06-12 Nike, Inc. Vision testing and/or training using adaptable visual indicia
CN103065521B (zh) * 2011-10-19 2015-03-18 北京奥美达科技有限公司 助视器和智能标记方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5589897A (en) * 1995-05-01 1996-12-31 Stephen H. Sinclair Method and apparatus for central visual field mapping and optimization of image presentation based upon mapped parameters
FR2846120A1 (fr) * 2002-10-21 2004-04-23 Inst Sciences De La Vision Procede de demasquage de l'information visuelle presente sous une zone visuelle peu ou pas fonctionnelle et le dispositif de mise en oeuvre
US20080247620A1 (en) * 2007-04-02 2008-10-09 Lewis Conrad W Apparatus and Method for Augmenting Sight

Also Published As

Publication number Publication date
BR112016003520A8 (pt) 2018-08-14
KR102306768B1 (ko) 2021-09-30
CN105637570A (zh) 2016-06-01
WO2015024790A1 (fr) 2015-02-26
US9861274B2 (en) 2018-01-09
EP3036733A1 (fr) 2016-06-29
BR112016003520B1 (pt) 2021-04-27
JP6502351B2 (ja) 2019-04-17
CN105637570B (zh) 2019-07-02
CA2921476C (fr) 2022-01-04
KR20160046802A (ko) 2016-04-29
US20160198941A1 (en) 2016-07-14
CA2921476A1 (fr) 2015-02-26
BR112016003520A2 (ja) 2017-08-22

Similar Documents

Publication Publication Date Title
JP6502351B2 (ja) 暗点を生じさせる網膜疾患に罹患した個人の視覚的探索を支援する方法
US11195315B2 (en) Language element vision augmentation methods and devices
Zhao et al. CueSee: exploring visual cues for people with low vision to facilitate a visual search task
Zhao et al. Foresee: A customizable head-mounted vision enhancement system for people with low vision
US9965062B2 (en) Visual enhancements based on eye tracking
US9165185B2 (en) Optical character recognition of text in an image according to a prioritized processing sequence
US20160274660A1 (en) Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN107111749A (zh) 用于改进的显示的系统和方法
US20220383389A1 (en) System and method for generating a product recommendation in a virtual try-on session
JP2024026103A (ja) 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース
JP2011243108A (ja) 電子ブック装置及び電子ブック操作方法
US11640200B2 (en) Gaze-contingent screen magnification control
JP2023090721A (ja) 画像表示装置、画像表示用プログラム及び画像表示方法
JP2018055320A (ja) 情報処理装置および情報処理方法
EP3951619A1 (en) Information processing device, program, and information provision system
JP2017224141A (ja) 情報表示装置
US20230244307A1 (en) Visual assistance
Shoaei Shirehjini Smartphones as Visual Prosthesis
Havanki et al. What They See Impacts the Data You Get: Selection and Design of Visual Stimuli
JP6172909B2 (ja) 表示装置、表示制御方法及び表示制御プログラム
JP2023177230A (ja) 顕著性解析システム、顕著性解析方法及びプログラム
JP2020161163A (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法
CN113256661A (zh) 图像处理方法、装置、设备、介质及程序产品
JP2019160021A (ja) 表示装置
CN113554557A (zh) 以增强现实方式显示皮肤细节的方法及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170714

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190320

R150 Certificate of patent or registration of utility model

Ref document number: 6502351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250