JP2006153909A - 携帯情報端末装置 - Google Patents

携帯情報端末装置 Download PDF

Info

Publication number
JP2006153909A
JP2006153909A JP2004339970A JP2004339970A JP2006153909A JP 2006153909 A JP2006153909 A JP 2006153909A JP 2004339970 A JP2004339970 A JP 2004339970A JP 2004339970 A JP2004339970 A JP 2004339970A JP 2006153909 A JP2006153909 A JP 2006153909A
Authority
JP
Japan
Prior art keywords
image
target area
display
terminal device
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004339970A
Other languages
English (en)
Inventor
Hideki Osada
英喜 長田
Toru Nakamura
透 中村
Masako Okazaki
理子 岡崎
Kentaro Sekiyama
健太郎 関山
Takehiro Yoshida
剛洋 吉田
Takahiro Amauchi
隆裕 天内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004339970A priority Critical patent/JP2006153909A/ja
Publication of JP2006153909A publication Critical patent/JP2006153909A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Telephone Set Structure (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】外界の明るさに関係なく、また、視覚に疾患があっても、画像情報の認識を良好に行える携帯情報端末装置を提供する。
【解決手段】把持部と、情報を表示する表示面を有する表示部と、ビームコンバイナと、ビームコンバイナを表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、実視野での観察対象領域と同じ対象領域を撮像する撮像ユニットと、画像処理ユニットを備える。画像処理ユニットは、撮像された対象領域の画像を構成する対象物や背景部の画像をそれぞれ個別の対象領域構成画像として抽出する抽出工程と、隣接する対象領域構成画像同士の特性について所定の演算を行う演算工程と、演算工程での演算値が所定の閾値よりも低い場合に、隣接する対象領域構成画像のうちの少なくとも一方の対象領域構成画像に対応する表示面の表示領域に対して、所定の画像処理を施す画像処理工程を備える。
【選択図】 図8

Description

本発明は、液晶パネルなどの表示素子を有する携帯情報端末装置に関する。
近年、一人の人間が複数のコンピュータを使用するネットワーク社会、いわゆるユビキタス・ネットワーク社会が提唱されている。ユビキタス・ネットワーク社会では、インターネット等の情報ネットワークに、いつでも、どこからでもアクセスできる環境が実現できる。このようなアクセスに使うことのできる携帯情報端末装置は、パソコンに限られず、例えば携帯電話等も用いることができる。
また、携帯電話においては、通話とディスプレイ認識とを同時に行える表示機能付き携帯情報端末装置としての構成が提案されている(例えば、特許文献1参照。)。
特開2001−308997号公報
特許文献1に開示されている構成では、小型のディスプレイをホログラム素子により遠方に拡大投影する。これにより、例えば、通話をしながら表示画像情報を見ることができる。さらに、ホログラム素子を介して遠方の物体の透過像を同時に観察できる。このような表示機能付き携帯情報端末装置は、実視野の像にデジタル情報を重畳させて表示する、いわゆるシースルービュアー(see−through viewer)として用いることができる。
ところで、例えば、日中と薄明時では、外界の明るさが異なる。このため、実視野の見え方が異なり、それに伴い観察対象の認識の難易度が異なってくる。
しかしながら、従来技術の表示機能付き携帯情報端末装置では、画像情報を、常時、そのままの状態でディスプレイを介してして、ホログラム素子等に表示するように構成されている。
そのため、従来技術の表示機能付き携帯情報端末装置では、日中と薄明時とでは、表示された画像情報の認識の難易度が大きく異なり、画像情報の認識が困難になる場合がある。また、使用者が視覚に疾患を持つ場合には、表示された画像情報を認識できない場合が起こり得る。
本発明は、上記に鑑みてなされたものであって、外界の明るさに関係なく、画像情報の認識を良好に行うことができ、また、視覚に疾患があっても、画像情報の認識を良好に行うことができる携帯情報端末装置を提供することを目的とする。
上記目的を達成するため、本発明による携帯情報端末装置は、把持部と、情報を表示する表示面を有する表示部と、前記表示部で表示した情報を、実視野に重畳して表示するビームコンバイナと、前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、前記実視野での観察対象領域と同じ対象領域を撮像する撮像ユニットと、画像処理ユニットを備え、前記画像処理ユニットは、撮像された前記対象領域の画像を構成する対象物の画像や背景部の画像を、それぞれ個別の対象領域構成画像として抽出する抽出工程と、隣接する対象領域構成画像同士の特性について所定の演算を行う演算工程と、前記演算工程での演算値が所定の閾値よりも低い場合に、前記隣接する対象領域構成画像のうちの少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に対して、所定の画像処理を施す画像処理工程を備えることを特徴とする。
また、本発明の携帯情報端末装置においては、前記演算工程が、前記隣接する対象領域構成画像が有する色の3属性(色相、明度、彩度)のうちの少なくとも1つについて、その差を算出する工程であるのが好ましい。
また、本発明の携帯情報端末装置においては、前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に対して、該対象領域構成画像が有する色の3属性(色相、明度、彩度)に基づいて、該3属性のうちの少なくとも1つを変化させる処理であるのが好ましい。
また、本発明の携帯情報端末装置においては、前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像について、その輪郭を強調する処理であるのが好ましい。
また、本発明の携帯情報端末装置においては、前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に、模様を付加する処理であるのが好ましい。
また、本発明による携帯情報端末装置は、把持部と、情報を表示する表示面を有する表示部と、前記表示部で表示した情報を、実視野に重畳して表示するビームコンバイナと、前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、前記実視野での観察対象領域と同じ対象領域を撮像する撮像ユニットと、画像処理ユニットを備え、前記画像処理ユニットは、撮像された前記対象領域の画像を構成する対象物の画像や背景部の画像を、それぞれ個別の対象領域構成画像として抽出する工程と、抽出した対象領域構成画像から、所定の色を持つ対象領域構成画像を特定する工程と、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に対して、所定の画像処理を施す画像処理工程を備えることを特徴とする。
また、本発明の携帯情報端末装置においては、前記画像処理が、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に対して、該対象領域構成画像が有する色の3属性(色相、明度、彩度)に基づいて、該3属性のうちの少なくとも1つを変化させる処理であるのが好ましい。
また、本発明の携帯情報端末装置においては、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像について、その輪郭を強調する処理であるのが好ましい。
また、本発明の携帯情報端末装置においては、前記画像処理が、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に、模様を付加する処理であるのが好ましい。
本発明によれば、外界の明るさに関係なく、画像情報の認識を良好に行うことができ、また、視覚に疾患があっても、画像情報の認識を良好に行うことができる携帯情報端末装置が得られる。
実施例の説明に先立ち、本発明の作用効果について説明する。
図1は本発明の一実施形態にかかる携帯情報端末装置を示す概略構成図である。図1では、携帯情報端末装置の表示部とビームコンバイナとの位置、及びこれらと使用者の眼との関係を示している。なお、図1中、Eは使用者の眼球である。
本実施形態の携帯情報端末装置は、情報入力部4を有する把持部3と、表示面1aを有する表示部1と、ビームコンバイナ2を有している。表示面1aは、画像(情報)を表示する。ビームコンバイナ2は、表示面1aに表示された画像(情報)を拡大するような光学的パワーを持つ。このビームコンバイナ2は、ハーフミラーで構成されている。また、把持部3と表示部1の接続部には、表示部開閉部材5が設けられている。また、表示部1とビームコンバイナ2の接続部には、ビームコンバイナ開閉部材6が設けられている。また、表示部1には、撮像ユニット7が設けられている。なお、情報入力部4は、必ずしも必要ではない。
表示部1の表示面1aに表示された画像(情報)は、ビームコンバイナ2で反射されて使用者の眼Eに導かれる。使用者の眼Eから、ビームコンバイナ2を隔てた所定の位置に、表示面1aに表示された画像(情報)の虚像が、拡大形成される。よって、使用者は、この虚像を拡大観察できる。このように、使用者の眼Eには、ビームコンバイナ2を通過してくる光と、ビームコンバイナ2で反射された光とが入射する。
撮像ユニット7は、表示部1の一面1c側に配置されている。そして、この撮像ユニット7は、実視野の観察対象領域と同じ対象領域からの光を受光するように、配置されている。この面1cは、使用者がビームコンバイナ2を介して透過観察している領域、すなわち実視野と略対向する面となる。図1に示す構成では、使用者が、把持部3を右手で掴んで、携帯情報端末装置を保持しながらビームコンバイナ2を介して観察するとき、撮像ユニット7は、使用者の前方の実視野からの光を受光する位置に配置されていることになる。
このような状態において、撮像ユニット7は、使用者の前方の実視野の観察対象領域と同じ対象領域を撮像する。また、実視野の観察対象領域は、ビームコンバイナ2を介して透過観察される。よって、ビームコンバイナ2の光学面で透過観察される実視野と撮像ユニット7で撮像した画像とには、同じ対象領域の対象物や背景部が存在していることになる。
また、本実施形態の携帯情報端末装置は、画像処理ユニット13を備えている。
画像処理ユニット13は、実視野の観察対象領域と同じ対象領域を撮像した画像を構成する対象物の画像や背景部の画像を、それぞれ個別の対象領域構成画像として抽出する抽出工程と、隣接する対象領域構成画像同士の特性について所定の演算を行う演算工程と、この演算工程での演算値が所定の閾値よりも低い場合に、隣接する対象領域構成画像のうちの少なくとも一方の対象領域構成画像に対応する表示面1aの表示領域の画像に対して所定の画像処理を施す画像処理工程を備えている。
すなわち、この画像処理は、撮像ユニット7を介して撮像された画像そのものに対して直接行われるわけではなく、表示面1aの全表示領域のうち、少なくとも一方の対象領域構成画像に対応する表示領域の画像に対して行われる。また、この画像処理では、少なくとも一方の対象領域構成画像に対応する表示面1aの表示領域の画像に対して、この対象領域構成画像が有する色の3属性(明度、彩度、色相)に基づいて、該3属性のうちの少なくとも1つを変化させる処理を行うようにしている。また、その他の画像処理として、前記少なくとも一方の対象領域構成画像に対応する表示面1aの表示領域の画像についてその輪郭を強調する、あるいは、表示領域の画像に模様を付加するなどの処理を行うようにすることもできる。
なお、本実施形態の携帯情報端末装置では、上述のように表示面1aで表示された画像をビームコンバイナ2で反射して、使用者の眼Eに導くように構成している。このような構成の携帯情報端末装置においては、ビームコンバイナ2が、表示面1aに対して偏心配置されている。このため、ビームコンバイナ2を介して観察される像に偏心収差が生じやすい。
しかるに、本実施形態の携帯情報端末装置では、ビームコンバイナ2に非対称なパワーを持たせている。具体的には、第2の仮想線に沿う方向において、徐々にパワーが変化するように、ビームコンバイナ2の光学面を形成する。このようにすれば、表示面1aに対しビームコンバイナ2が偏心していることにより偏心収差が発生しても、この偏心収差を補正することができる。
以下、本発明の実施例について、図面を用いて説明する。
図2は本発明の実施例1に係る携帯情報端末装置を、側方からみた概略図である。ここで、(a)は表示部を閉じた状態、(b)は表示部を展開した状態、(c)は(b)の状態からビームコンバイナを展開した状態を示している。図3は携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の瞳位置との関係を示す説明図である。
実施例1の携帯情報端末装置は、情報入力部4を有する把持部3と、表示面1aを有する表示部1と、光学的パワーを有するビームコンバイナ2と、表示部開閉部材5を有している。ここで、表示面1aは、情報入力部4で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉部材5は、表示部1を把持部3に対して開閉可能に支持している。このような構成により、実施例1の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。
そして、更に、ビームコンバイナ2が、ビームコンバイナ開閉部材6を介して、表示部1に接続されている。この接続位置は、表示部1の一端側であって、表示部開閉部材5と対向する位置である。このビームコンバイナ開閉部材6によって、表示部1に対して、所定の角度でビームコンバイナ2を固定することができる。このような構成により、実施例1の携帯情報端末装置は、図3に示すように、シースルービュアーとしても構成されている。
表示部開閉部材5は、図4に示すように、円筒部5bと円筒部5aと、バネ5cと、球状部材5dと、ピン5eと、止め具5fを有している。ここで、円筒部5bは、表示部1の一端に一体形成されている。また、円筒部5aは、把持部3の一端に一体形成されている。
円筒部5aには、長手方向に沿って、中央に貫通孔5a1が形成されている。そして、円筒部5aの一端には、ピン5eの頭部を収納するための凹部5a2が、他端には、バネ5cを取り付けるための取付部(図示省略)が、それぞれ形成されている。
円筒部5bの中央には、長手方向に沿って、中央に貫通孔5b1が形成されている。そして、円筒部5bの一端には、止め具5fを収納するための凹部(図示省略)が、他端には、球状部材5dの一部を嵌合可能な係止溝5b2,5b3が、それぞれ形成されている。
そして、表示部開閉部材5では、バネ5cを円筒部5aの取付部に取り付けるとともに、バネ5cの先端に球状部材5dを取り付けている。そして、この状態で、ピン5eを円筒部5aの凹部5a2側から、円筒部5a,5bの貫通孔5a1,5b1に通し、その先端を止め具5fで止めている。このような構成により、表示部開閉部材5は、表示部1を把持部3に対し開閉可能に支持している。
また、表示部開閉部材5では、表示部1を展開したときに、球状部材5dが係止溝5b2,5b3に嵌合し、且つ、バネ5cに付勢される。このようにすることで、表示部1と把持部3を、任意の角度で固定することができるようになっている。
なお、表示部開閉部材5の具体的な構成は、上記構成に限定されるものではない。例えば、円筒部5a,5bのそれぞれに磁石を備えた係止部を設け、互いの係止部が当接したときに、表示部1と把持部3が固定されるように構成してもよい。
ビームコンバイナ開閉部材6は、円筒部6aと係止部6bと、円筒部6cと、係止爪6c2と、図示省略したピン及び止め具を有している。ここで、円筒部6aと係止部6bは、表示部1の他端に一体形成されている。一方、円筒部6cは、ビームコンバイナ2の一端に一体形成されている。また、係止爪6c2は、円筒部6cに一体形成されている。
円筒部6a,6cには、中央に貫通孔6a1,6c1がそれぞれ形成されている。係止部6b及び係止爪6c2にはそれぞれ磁石が設けられている。
そして、ビームコンバイナ開閉部材6は、図示省略したピンを円筒部6a,6cの貫通孔6a1,6c1に通し、その先端を図示省略した止め具で止めて構成されている。このような構成により、ビームコンバイナ開閉部材6は、ビームコンバイナ2を、表示部1に対し開閉可能に支持している。
また、ビームコンバイナ開閉部材6は、ビームコンバイナ2を展開したときに、係止爪6c2が係止部6bに当接し、且つ、互いの磁力でその状態を保持することで、ビームコンバイナ2を表示部1に対して固定することができるようになっている。
なお、ビームコンバイナ開閉部材6は、上記構成に限定されるものではない。例えば、表示部開閉部材5における球状部材5dが係止溝5b2,5b3に嵌合し、且つ、バネ5cに付勢される構成と同様に構成してもよい。
このような構成によって、図3に示すように、表示面1aに表示された情報が、使用者の瞳E方向に反射されるようになっている。このように、実施例1の携帯情報端末装置は、携帯電話としての使用と、シースルービュアーとしての使用が可能になる。
そして、実施例1の携帯情報端末装置では、撮像ユニット8が、表示部1内に設けられている。撮像ユニット8は、ビームコンバイナ2を介して観察される実視野と略対向している面1cに設けられた撮像用の窓を介して、外部を撮像するように構成されている。具体的には、撮像ユニット8は、図5(a)に示すように、撮像レンズ8aと、撮像素子8bと、カバーガラス8cを有している。撮像レンズ8aは、プリズム8a1と、負レンズ8a2と、正レンズ8a3とからなる。そして、カバーガラス8cが、撮像用の窓となっている。また、撮像素子8bは受光素子である。実施例1の携帯情報端末装置では、撮像素子8bはCCDであって、複数の受光部で構成されている。
なお、実施例1の携帯情報端末装置では、表示部1を展開した時に、表示部1が把持部3に対して、180°以上の角度で折り曲がった状態になっている。そのため、図5(b)に示すように、矢印X1の方向と矢印X2の方向が異なる。ここで、矢印X1の方向は、ビームコンバイナ2を介して、使用者が実視野を透過観察する方向である。一方、矢印X2の方向は、面1cにおける法線の方向である。このため、撮像レンズ8aの光軸が矢印X2の方向と平行になるように撮像レンズ8aを配置すると、使用者が見ている実視野を撮像できない。そこで、撮像レンズ8aの光軸が矢印X1の方向とほぼ平行な矢印X3の方向となるように、撮像レンズ8aを配置する。そして、このような構成において、撮像素子8bは実視野の観察対象領域と同じ対象領域を撮像する。 また、携帯情報端末装置は、メモリ12を内蔵している。そして、撮像素子8bで撮影された画像を、一旦、メモリ12に保存するようになっている。また、携帯情報端末装置は、信号処理ユニット13を内蔵している。そして、この信号処理ユニット13が、上述したような所定の処理を行うようになっている。
なお、実施例1の携帯情報端末装置は、図6に示すように表示面回動部材9を設けた構成としても良い。表示面回動部材9は、表示面1aを外枠部1bに対して回動可能に支持し、且つ、表示面1aを所定量回動させたときの状態を保持するように構成されている。表示面回動部材9としては、公知の回転機構を用いればよい。よって、具体的な構成について、詳細な説明は省略する。
次に、対象領域について説明する。対象領域は、撮像ユニット8で撮像する領域である。図7は実施例1の携帯情報端末装置の使用者が、ビームコンバイナ2を介して観察している観察対象領域の実視野の様子を示す説明図である。この実視野の観察対象領域が、撮像ユニット8で撮像する対象領域になる。そして、図7に示す実視野の観察対象領域には、対象物として、ビル10の屋上に設けられた広告塔11が存在している。広告塔11の表面には、文字“A”,“B”,“C”,“D”が描かれている。ここで、例えば、文字“A”,“B”,“C”,“D”の背景部11aの色は黒、文字“A”及び文字“C”の色は濃い緑、文字“B”及び文字“D”の色は水色であるとする。また、日中は、背景部11aに向かって太陽の光が照射され、夕方になると、広告塔11の背面側(背景部11aの裏側)から太陽の光が照射されるものとする。
上述のように、日中は、背景部11aに向かって太陽の光が照射される。よって、携帯情報端末装置の使用者は、ビームコンバイナ2の実視野に存在する広告塔11の文字“A”,“B”,“C”,“D”を容易に認識できる。しかしながら、夕方になると、太陽の光は、背景部11aに照射されなくなる。そのため、携帯情報端末装置の使用者は、ビームコンバイナ2の実視野に存在する濃い緑の文字“A”及び文字“C”を黒の背景部11aと区別して認識することが難しくなる。
そこで、使用者は、広告塔11を含む観察対象領域を、撮像ユニット8で撮像する。撮像された画像、すなわち対象領域の画像には、ビル10、広告塔11及び後方の背景12の画像が含まれている。また、広告塔11の画像には、背景部11a、脚部11b及び文字“A”,“B”,“C”,“D”の画像が含まれている。撮像された画像は、メモリ12に保存される。
画像処理ユニット13は、この撮像された画像を用いて、所定の処理を施す。図8は画像処理ユニット13が行う処理手順を示すフローチャートである。
まず、画像処理ユニット13は、撮像された画像をメモリ12から読み出す(ステップS1)。ここで、撮像された画像、すなわち対象領域の画像には、対象物の画像として、ビル10、背景部11a、脚部11b及び文字“A”,“B”,“C”,“D”の画像が含まれている。また、対象領域の画像には、背景部の画像として、後方の背景12の画像が含まれている。そこで、画像処理ユニット13は、ビル10、背景部11a、脚部11b、文字“A”、文字“B”、文字“C”、文字“D”及び後方の背景12の画像を、それぞれ、個別の対象領域構成画像として抽出する(ステップS2)。なお、各対象領域構成画像の抽出には、公知の画像処理技術を用いる。
対象領域構成画像について、図9を用いて説明する。図9は図7に示した観察対象領域を撮像した画像における対象領域構成画像を示す説明図である。図9中、100は、対象領域を構成するビル10の画像である。120は、対象領域を構成する後方の背景12の画像である。110aは、対象領域を構成する背景部11aの画像である。110bは、対象領域を構成する脚部11bの画像である。また、130A,130B,130C,130Dの各々は、対象領域を構成する文字“A”、文字“B”、文字“C”、文字“D”の画像である。
ここで、文字“A”、文字“B”、文字“C”、文字“D”の画像130A,130B,130C,130Dの各々は、背景部11aの画像110aと隣接している。また、背景部11aの画像110aは、背景12の画像120及び脚部11bの画像110bと隣接している。また、背景12の画像120は、ビル10の画像100、背景部11aの画像110a及び脚部11bの画像110bと隣接している。また、ビル10の画像100は、脚部11bの画像110bと隣接している。
次に、画像処理ユニット13は、隣接する対象領域構成画像(ここではM及びNとする)の有する色の属性について比較を行う。ここでは、明度について比較を行うものとする。なお、撮像ユニット8で撮像される画像がモノクロの場合、撮像ユニット8からは、輝度信号が出力される。一方、撮像ユニット8で撮像される画像がカラーの場合、撮像ユニット8からは、輝度信号と色信号が出力される。いずれの場合も、この輝度信号が明度に対応する。そこで、画像処理ユニット13は、対象領域構成画像M及びNのそれぞれにおける輝度信号IM,INを、隣接する対象領域構成画像の各々について算出する(ステップS3)。続いて、画像処理ユニット13は、対象領域構成画像M及びNのそれぞれにおける輝度信号IMとINの輝度信号の差の絶対値|IM−IN|を算出し、算出した値と所定の閾値αとの比較を行う(ステップS4)。
ここで、隣接する対象領域構成画像M及びNが、それぞれ対象領域構成画像110a及び対象領域構成画像130Aである場合、背景部11aの色は黒、文字“A”の色は濃い緑であり、いずれも輝度が低い。そのため、この場合、|IM−IN|は、所定の閾値αよりも小さくなる。
そこで、画像処理ユニット13は、使用者にこの対象領域構成画像に対応する実視野の観察対象構成領域を明るく認識させることができるような処理を行う。上述したように、ビームコンバイナ2を介して使用者の眼に入射する光には、実視野からの透過光と、表示面1aからの反射光がある。このうち、光の明るさを調整できるのは、表示面1aからの光である。そこで、対象領域構成画像M,Nが、表示面1aのどの表示領域に対応するかを特定する必要がある。そのため、画像処理ユニット13は、表示面1a上において、対象領域構成画像M,Nに対応する表示面1aの表示領域M’及びN’を特定する(ステップS5)。
そして、画像処理ユニット13は、表示面1aの表示領域M’及びN’のうち、少なくとも一方の表示領域について、輝度(明度)を上げた画像を作成する。この輝度を上げた画像は、対象領域構成画像MあるいはN、またはその両方に対応する画像である。そして、輝度を上げた画像を、表示面1aに表示する(ステップS6)。実施例1の携帯情報端末装置では、表示面1aの表示領域M’及びN’のうち、表示領域N’について輝度を上げた画像を作成して、表示領域N’に表示している。これにより、表示領域N’からの、輝度を上げた明るい光が、観察者の眼に入射する。これは、ビームコンバイナ2を介して透過観察している実視野の文字Aの輝度が、実質的に増加した効果を持つ。よって、使用者は、文字Aの認識を容易に行うことができる。
一方、隣接する対象領域構成画像M及びNが、それぞれ対象領域構成画像110a及び対象領域構成画像130Bである場合、背景部11aの色は黒、文字“B”の色は水色である。日中に比べて夕方の場合、両者の輝度信号の差|IM−IN|の値は小さくなる。ただし、水色は濃い緑よりも明度が高い。よって、この場合、|IM−IN|は、所定の閾値αよりも大きくなる。そこで、画像処理ユニット13は、輝度を上げた画像を作成して、表示領域N’に付加するような処理は行わない。
次に、画像処理ユニット13は、隣接する対象領域構成画像の全ての組み合わせについて、ステップS3以降の処理が終了したかどうか判断する(ステップS7)。隣接する対象領域構成画像の比較の組み合わせが残っている場合、画像処理ユニット13は、ステップS3に戻る。そして、画像処理ユニット13は、残っている組み合わせについてステップS3以降の処理を行う。一方、組み合わせが残っていない場合、画像処理ユニット13は、全ての処理を終了する。
実施例1の携帯情報端末装置によれば、夕方のような明るさが少ない状態であっても、使用者は、文字“A”及び文字“C”の認識を容易に行うことができる。すなわち、実施例1によれば、外界の明るさに関係なく、使用者が、画像情報の認識を良好に行える携帯情報端末装置が得られる。
[変形例]
実施例1の携帯情報端末装置では、画像処理ユニット13によるステップS3以降の処理を、隣接する対象領域構成画像の全てについて行った。しかしながら、画像処理ユニット13によるステップS3〜ステップS6の処理を、特定の対象領域構成画像のみに対して行うようにしても良い。例えば、撮影された画像、すなわち対象領域全体の画像のうち、明度を変更したい対象領域構成画像を指定する。そして、指定した対象領域構成画像に対応する表示面1aの表示領域の輝度を、増加させるようにしても良い。なお、対象領域構成画像の指定や、輝度の調整は、情報入力部4を介して行うようにすればよい。また、視線検出手段を用いて、使用者が、対象物を注視することによって明度を変更したい対象領域構成画像を指定するようにしてもよい。
あるいは、対象領域において明度を変更する特定点を設定してもよい。例えば中央に位置する対象領域構成画像を、明度を変更したい対象領域構成画像となるように設定しておく。この場合には、使用者は、明度を変更したい対象物を、観察対象領域の中央に位置するようにして撮像すればよい。
また、上記実施例の携帯情報端末装置では、色の3属性(明度、色度、彩度)のうち、明度を変更するように構成した。しかしながら、これに加えて、彩度あるいは色相を変化させても良い。また、明度、彩度及び色相のうち、少なくとも1つを変化させても良い。
実施例2の携帯情報端末装置は、実施例1と基本的構成は同じである。ただし、画像処理ユニット13での処理内容が異なる。実施例2の携帯情報端末装置における画像処理ユニット13での処理を図10に示す。実施例2の携帯情報端末装置では、視覚に異常があっても、良好に画像情報の認識が行える携帯情報端末装置となるように画像処理ユニット13が構成されている。
視覚に異常がある例としては、色盲および色弱がある。色盲及び色弱である場合、色に対するの認識の可否の度合いは以下の表1のようになる。
表1
しかるに、実施例2の携帯情報端末装置では、まず、使用者が色盲・色弱情報を入力する(ステップS1’)。続いて、画像処理ユニット13は、撮像された画像をメモリ12から読み出して、個別の対象領域構成画像を抽出し(ステップS2’)、抽出した対象領域構成画像の各々について色を特定する(ステップS3’)。次いで、画像処理ユニット13は、使用者が入力した色盲・色弱情報に基づいて、認識不能あるいは認識困難な色を持つ対象領域構成画像を特定する(ステップS4’)。
上述したように、ビームコンバイナ2を介して使用者の眼に入射する光には、実視野からの透過光と、表示面1aからの反射光がある。このうち、光の明るさを調整できるのは、表示面1aからの光である。そこで、画像処理ユニット13は、特定した対象領域構成画像に対応する、表示面1aの表示領域を特定する(ステップS5’)。
次いで、色盲・色弱情報が色盲の場合と色弱の場合とで、上記特定された表示領域の画像に施す処理を異ならせる(ステップS6’)。色盲・色弱情報が色盲の場合、上記特定された表示領域の画像に、上記表1における識別可能な色を付与する(ステップS7’)。これにより、使用者が色盲であっても、対象物を良好に認識することができる。一方、色盲・色弱情報が色弱の場合、上記特定された表示領域について、明度、彩度、色相の少なくとも1つを変化させた画像を作成する。この変化は、表示領域に対応する対象領域構成画像の明度、彩度、色相に基づいて行われる。そして、明度、彩度、色相の少なくとも1つを変化させた画像を、表示する(ステップS7)。これにより、使用者が色弱であっても、対象物を良好に認識することができる。
図11は実施例2の携帯情報端末装置の使用者が第1色盲である場合に、ビームコンバイナ2を介して見た観察対象物の様子を示す図であり、(a)は実視野のそのままの状態を示す説明図、(b)は画像処理ユニット13を介して表示部の所定表示領域に画像処理を施して表示した像を、実視野に重畳して表示した状態を示す説明図である。なお、図11(a)では実視野では“OPEN”の文字が赤色で表示されているものとする。
第1色盲の人は、赤色を識別することができない。そのため、図11(a)の場合、携帯情報端末装置の使用者は“OPEN”という文字を認識できない。そこで、画像処理ユニット13を介して“OPEN”という文字を、識別可能な緑色で表示面1a上に表示するようにする。これにより、緑色の“OPEN”という文字が、ビームコンバイナ2を介して見た実視野における“OPEN”という文字の位置に重畳して投影される。よって、使用者は、“OPEN”という文字を認識できる。ここで、使用者の眼には、実視野からは赤色の光が、表示面1aからは緑色の光が重なって入射する。よって、使用者が実際に認識する色は、赤色と緑色の混色である。そこで、表示面1aからの光を強くすることで、緑色を強く認識させることができる。あるいは、混色した結果が緑色になるように、表示面1aに表示させる色を設定すればよい。
なお、実施例2の携帯情報端末装置においても、上記変形例に示した処理を行っても良い。
実施例3の携帯情報端末装置は、実施例1と基本的構成は同じである。ただし、画像処理ユニット13での処理内容が異なる。すなわち、実施例3の携帯情報端末装置における画像処理ユニット13は、対象領域構成画像に対応する表示面1aの表示領域に模様を付加する、あるいは表示領域の輪郭を強調するように構成されている。図12は対象領域構成画像に対応する表示面1aの表示領域に、模様を設けた一例を示す説明図であり、(a)は観察対象領域の実視野を示す説明図、(b)は画像処理ユニット13を介して表示面1aの所定表示領域に付加した模様を、(a)の観察対象領域の実視野に重畳して表示した状態を示す説明図である。また、図13は、対象領域構成画像に対応する表示面1aの表示領域の輪郭を強調した例を示す説明図であり、(a),(c)は観察対象領域の実視野を示す説明図、(b),(d)はそれぞれ画像処理ユニット13を介して表示面1aの所定表示領域の輪郭を強調して、(a),(c)の観察対象領域の実視野に重畳して表示した状態を示す説明図である。
実施例3の携帯情報端末装置によっても、実施例1や実施例2の携帯情報端末装置と同様の効果が得られる。
以上、本発明の携帯情報端末装置の実施例を示したが、本発明の携帯情報端末装置の画像処理ユニットで行う処理内容は、上記各実施例1〜3の処理内容に限定されるものではない。
実施例4の携帯情報端末装置も、実施例1と基本的構成は同じである。ただし、画像処理ユニット13での処理内容が異なる。すなわち、実施例4の携帯情報端末装置における画像処理ユニット13は、指定された色について、対象領域構成画像に対応する表示面1aの表示領域にこの対象領域構成画像のコントラストを変化させた像を付加するように構成されている。 図14は実施例4の携帯情報端末装置の画像処理ユニット13を介して指定された色についてコントラストの変更を行う場合の処理手順を示すフローチャートである。なお、ここではコントラストを増強する場合について説明する。
まず、携帯情報端末装置の使用者は、操作部4を介してコントラストを増強したい色を指定する(ステップS1”)。続いて、画像処理ユニット13は、撮像された画像をメモリ12から読み出して、個別の対象領域構成画像を抽出する(ステップS2”)。次いで、画像処理ユニット13は、抽出した対象領域構成画像のうち、使用者が指定した色を持つ対象領域構成画像を特定する(ステップS3”)。次いで、画像処理ユニット13は、特定した対象領域構成画像に対応する、表示面1aの表示領域を特定する(ステップS4”)。次いで、画像処理ユニット13は、特定した対象領域構成画像の輝度情報を抽出する(ステップS5”)。次いで、画像処理ユニット13は、抽出した輝度情報に基づいて、特定した対象領域構成画像のコントラストを増強した画像を作成し、特定した表示面1aの表示領域に表示する。(ステップS6”)
実施例4の携帯情報端末装置によっても、上記各実施例の携帯情報端末装置と同様の効果が得られる。
本発明の一実施形態にかかる携帯情報端末装置を示す概略構成図である。 本発明の実施例1に係る携帯情報端末装置を、側方からみた概略図であって、(a)は表示部を閉じた状態、(b)は表示部を展開した状態、(c)は(b)の状態からビームコンバイナを展開した状態を示す図である。 実施例1の携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の瞳位置との関係を示す説明図である。 実施例1の携帯情報端末装置における表示部開閉部材、及びビームコンバイナ開閉部材の構造を示す説明図である。 実施例1の携帯情報端末装置における撮像ユニットの構造を示す説明図であり、(a)は斜視図、(b)は側面図である。 実施例1の携帯情報端末装置として適用可能な別の携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の瞳位置との関係を示す説明図である。 実施例1の携帯情報端末装置の使用者が、ビームコンバイナ2を介して観察している観察対象領域の実視野の様子を示す説明図である。 実施例1の携帯情報端末装置において、撮像ユニットで撮像した画像を用いて、画像処理ユニット13が行う処理手順を示すフローチャートである。 図7に示した観察対象領域を撮像した画像における対象領域構成画像を示す図である。 本発明の実施例2に係る携帯情報端末装置において、撮像ユニットで撮像した画像を用いて、画像処理ユニット13が行う処理手順を示すフローチャートである。 実施例2の携帯情報端末装置の使用者が第1色盲である場合に、ビームコンバイナ2を介して見た観察対象物の様子を示す図であり、(a)は実視野のそのままの状態を示す説明図、(b)は画像処理ユニット13を介して表示部の所定表示領域に画像処理を施して表示した像を、実視野に重畳して表示した状態を示す説明図である。 本発明の実施例3に係る携帯情報端末装置の画像処理ユニット13を介して、対象領域構成画像に対応する表示面1aの表示領域に、模様を設けた一例を示す説明図であり、(a)は観察対象領域の実視野を示す説明図、(b)は画像処理ユニット13を介して表示面1aの所定表示領域に付加した模様を、(a)の観察対象領域の実視野に重畳して表示した状態を示す説明図である。 実施例3に係る携帯情報端末装置の画像処理ユニット13を介して、対象領域構成画像に対応する表示面1aの表示領域の輪郭を強調した例を示す説明図であり、(a),(c)は観察対象領域の実視野を示す説明図、(b),(d)はそれぞれ画像処理ユニット13を介して表示面1aの所定表示領域の輪郭を強調して、(a),(c)の観察対象領域の実視野に重畳して表示した状態を示す説明図である。 本発明の実施例4に係る携帯情報端末装置において、色を指定してコントラストを変化させる場合の画像処理ユニット13の処理手順を示すフローチャートである。
符号の説明
1 表示部
1a 表示面
1a' 表示面構成部
1b 外枠部
1c 表示部の一面(側面)
2 ビームコンバイナ
3 把持部
3a,3b 把持部の一面(側面)
4 情報入力部
5 外枠部開閉手段
5a,5b 円筒部
5a1,5b1 貫通孔
5a2 凹部
5b2,5b3 係止溝
5c バネ
5d 球状部材
5e ピン
5f 止め具
6 ビームコンバイナ開閉手段
6a,6c 円筒部
6a1,6c1 貫通孔
6b 係止部
6c2 係止爪
7 受光ユニット
8 撮像ユニット
8a 撮像レンズ
8b 撮像素子
8c カバーガラス
9 表示面回動部材
10 ビル
11 広告塔
11a 背景部
11b 脚部
12 後方の背景
100 ビルの画像
110 広告塔の画像
110a 背景部の画像
110b 脚部の画像
120 後方の背景の画像
130A 文字“A”の画像
130B 文字“B”の画像
130C 文字“C”の画像
130D 文字“D”の画像
E 観察者の眼

Claims (9)

  1. 把持部と、
    情報を表示する表示面を有する表示部と、
    前記表示部で表示した情報を、実視野に重畳して表示するビームコンバイナと、
    前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、
    前記実視野での観察対象領域と同じ対象領域を撮像する撮像ユニットと、
    画像処理ユニットを備え、
    前記画像処理ユニットは、撮像された前記対象領域の画像を構成する対象物の画像や背景部の画像を、それぞれ個別の対象領域構成画像として抽出する抽出工程と、
    隣接する対象領域構成画像同士の特性について所定の演算を行う演算工程と、
    前記演算工程での演算値が所定の閾値よりも低い場合に、前記隣接する対象領域構成画像のうちの少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に対して、所定の画像処理を施す画像処理工程を備えることを特徴とする携帯情報端末装置。
  2. 前記演算工程が、前記隣接する対象領域構成画像が有する色の3属性(色相、明度、彩度)のうちの少なくとも1つについて、その差を算出する工程であることを特徴とする請求項1に記載の携帯情報端末装置。
  3. 前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に対して、該対象領域構成画像が有する色の3属性(色相、明度、彩度)に基づいて、該3属性のうちの少なくとも1つを変化させる処理であることを特徴とする請求項1又は2に記載の携帯情報端末装置。
  4. 前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像について、その輪郭を強調する処理であること特徴とする請求項1〜3のいずれかに記載の携帯情報端末装置。
  5. 前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に、模様を付加する処理であること特徴とする請求項1〜4のいずれかに記載の携帯情報端末装置。
  6. 把持部と、
    情報を表示する表示面を有する表示部と、
    前記表示部で表示した情報を、実視野に重畳して表示するビームコンバイナと、
    前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、
    前記実視野での観察対象領域と同じ対象領域を撮像する撮像ユニットと、
    画像処理ユニットを備え、
    前記画像処理ユニットは、撮像された前記対象領域の画像を構成する対象物の画像や背景部の画像を、それぞれ個別の対象領域構成画像として抽出する工程と、
    抽出した対象領域構成画像から、所定の色を持つ対象領域構成画像を特定する工程と、
    前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に対して、所定の画像処理を施す画像処理工程を備えることを特徴とする携帯情報端末装置。
  7. 前記画像処理が、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に対して、該対象領域構成画像が有する色の3属性(色相、明度、彩度)に基づいて、該3属性のうちの少なくとも1つを変化させる処理であることを特徴とする請求項6に記載の携帯情報端末装置。
  8. 前記画像処理が、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域画像について、その輪郭を強調する処理であること特徴とする請求項6又は7のいずれかに記載の携帯情報端末装置。
  9. 前記画像処理が、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に、模様を付加する処理であること特徴とする請求項6〜8のいずれかに記載の携帯情報端末装置。
JP2004339970A 2004-11-25 2004-11-25 携帯情報端末装置 Pending JP2006153909A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004339970A JP2006153909A (ja) 2004-11-25 2004-11-25 携帯情報端末装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004339970A JP2006153909A (ja) 2004-11-25 2004-11-25 携帯情報端末装置

Publications (1)

Publication Number Publication Date
JP2006153909A true JP2006153909A (ja) 2006-06-15

Family

ID=36632342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004339970A Pending JP2006153909A (ja) 2004-11-25 2004-11-25 携帯情報端末装置

Country Status (1)

Country Link
JP (1) JP2006153909A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009142154A1 (ja) * 2008-05-23 2009-11-26 コニカミノルタホールディングス株式会社 文書ファイル取扱方法、文書ファイル取扱装置、および、文書ファイル取扱プログラム
WO2013192095A1 (en) * 2012-06-18 2013-12-27 Ambrus Tony Color vision deficit correction

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288754A (ja) * 1994-04-20 1995-10-31 Sony Corp 頭部搭載型表示装置
JPH09192164A (ja) * 1996-01-23 1997-07-29 Topcon Corp 弱視者用眼鏡装置
JP2001308997A (ja) * 2000-04-20 2001-11-02 Dainippon Printing Co Ltd 表示装置付き携帯情報装置
JP2001331164A (ja) * 2000-05-23 2001-11-30 Information-Technology Promotion Agency Japan 視覚障害者を考慮した処理が可能な画像処理装置、記憶媒体、オブジェクトの画像診断方法およびデジタルカラーチャートファイル
JP2002156600A (ja) * 2000-09-11 2002-05-31 Minolta Co Ltd 映像表示装置
JP2002278537A (ja) * 2001-03-22 2002-09-27 Canon Inc 画像処理装置、および、画像処理方法
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288754A (ja) * 1994-04-20 1995-10-31 Sony Corp 頭部搭載型表示装置
JPH09192164A (ja) * 1996-01-23 1997-07-29 Topcon Corp 弱視者用眼鏡装置
JP2001308997A (ja) * 2000-04-20 2001-11-02 Dainippon Printing Co Ltd 表示装置付き携帯情報装置
JP2001331164A (ja) * 2000-05-23 2001-11-30 Information-Technology Promotion Agency Japan 視覚障害者を考慮した処理が可能な画像処理装置、記憶媒体、オブジェクトの画像診断方法およびデジタルカラーチャートファイル
JP2002156600A (ja) * 2000-09-11 2002-05-31 Minolta Co Ltd 映像表示装置
JP2002278537A (ja) * 2001-03-22 2002-09-27 Canon Inc 画像処理装置、および、画像処理方法
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009142154A1 (ja) * 2008-05-23 2009-11-26 コニカミノルタホールディングス株式会社 文書ファイル取扱方法、文書ファイル取扱装置、および、文書ファイル取扱プログラム
JP5177222B2 (ja) * 2008-05-23 2013-04-03 コニカミノルタホールディングス株式会社 文書ファイル取扱方法、文書ファイル取扱装置、および、文書ファイル取扱プログラム
WO2013192095A1 (en) * 2012-06-18 2013-12-27 Ambrus Tony Color vision deficit correction
US9398844B2 (en) 2012-06-18 2016-07-26 Microsoft Technology Licensing, Llc Color vision deficit correction

Similar Documents

Publication Publication Date Title
US6614408B1 (en) Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety
US10719704B2 (en) Information processing device, information processing method, and computer-readable storage medium storing a program that extracts and corrects facial features in an image
EP1447995B1 (en) Information terminal device
US20140254939A1 (en) Apparatus and method for outputting information on facial expression
US20110249042A1 (en) Terminal device and recording medium with control program recorded therein
CN104834852B (zh) 一种移动终端基于高质量眼纹图像进行解锁的方法及系统
TW201604586A (zh) 顯示裝置、顯示裝置之控制方法、及程式
JPWO2005072667A1 (ja) 視覚補助表示装置
CN105827943B (zh) 一种人眼的自拍方法及电子设备
JP2007101618A (ja) 表示装置
US20160264051A1 (en) Night Driving System and Method
CN106454118A (zh) 照片虚化方法和移动终端
CN106506950A (zh) 一种图像处理方法及装置
WO2014148031A1 (ja) 画像生成装置、撮像装置および画像生成方法
US20180288333A1 (en) Displaying Images on a Smartglasses Device Based on Image Data Received from External Camera
JP2014015127A (ja) 情報表示装置、情報表示方法およびプログラム
WO2016157923A1 (ja) 情報処理装置及び情報処理方法
CN106937102B (zh) 一种全景倒车系统色彩平衡调节方法
JP2006153909A (ja) 携帯情報端末装置
JP2000137789A (ja) 画像処理装置
JP2012103941A (ja) 画像処理装置および画像処理方法
US20130343656A1 (en) Image creating device, image creating method and recording medium
WO2023160075A1 (zh) 图像修复方法、装置、设备和介质
CN108429886A (zh) 一种拍照方法及终端
KR20180000017A (ko) 스마트 글래스를 이용한 증강현실 제공 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110405