JP2009183592A - 操作情報入力装置および超音波撮像装置 - Google Patents

操作情報入力装置および超音波撮像装置 Download PDF

Info

Publication number
JP2009183592A
JP2009183592A JP2008028889A JP2008028889A JP2009183592A JP 2009183592 A JP2009183592 A JP 2009183592A JP 2008028889 A JP2008028889 A JP 2008028889A JP 2008028889 A JP2008028889 A JP 2008028889A JP 2009183592 A JP2009183592 A JP 2009183592A
Authority
JP
Japan
Prior art keywords
button
unit
image
proximity
touch panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008028889A
Other languages
English (en)
Inventor
Hiroshi Hashimoto
浩 橋本
Kiyo Saito
恭代 齋藤
Shinichi Amamiya
慎一 雨宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Priority to JP2008028889A priority Critical patent/JP2009183592A/ja
Priority to US12/367,016 priority patent/US20090201266A1/en
Publication of JP2009183592A publication Critical patent/JP2009183592A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

【課題】タッチパネルを用いた操作情報の入力を、オペレータに負担をかけることなく、確実に行う操作情報入力装置および超音波撮像装置を実現する。
【解決手段】ボタン位置情報として、ボタン画像41〜44が有する画像領域の中心方向の内部に位置する確定領域の位置情報を設定し、オペレータ2によるタッチパネル24の近接位置情報が、この確定領域に含まれない場合には、ボタン配列画像35の拡大画像71を表示し、再度近接を促すこととしているので、オペレータ2に負担をかけることなく、ボタンの誤入力を防止し、確実に目的とするボタンの入力を行うことを実現させる。
【選択図】図7

Description

この発明は、タッチパネル(touch panel)から、操作情報を入力する操作情報入力装置および超音波撮像装置に関する。
近年、超音波撮像装置においても、操作情報の入力にタッチパネルが用いられている。タッチパネルは、操作情報の入力において、機械的接点を有せず、寿命が長く信頼性の高いものである。
また、超音波撮像装置の高機能化に伴い、オペレータ(operator)の手入力により入力される操作情報の数は、増大している。これに伴い、タッチパネル上に表示される、必要とされるボタン(button)画像の数も増加している。この様な操作情報の増加には、表示画面の大型化、画面情報の複数ページ(page)化、さらに表示される画面情報の並び替え等による対応が一般的に行われている(例えば、特許文献1参照)。
一方、超音波撮像装置は、ベッドサイド(bedside)等の臨床現場で使用されるので、装置の機動性、コンパクト(compact)性および操作性が特に重要視されており、キーボード(keyboard)等の入力部近傍に配設されるタッチパネルもコンパクトで、操作性が高いものであることが好ましい。従って、タッチパネルの表示画面に表示されるボタン画像は、小さく高密度に配列されたものとなる。
特開2004−070736号公報、(第1頁、第1図)
しかしながら、上記背景技術によれば、オペレータは、操作情報を、誤入力する頻度が高くなり、操作性が低下する。すなわち、タッチパネルには、小さく、高密度に配列されたボタン画像が表示されているので、オペレータによりボタン画像を選択する際に、間違ったボタン画像を選択する可能性が高くなる。特に、1つのボタン画像の大きさが、オペレータの指頭部分の大きさと比較して、同等か、一層小さいものとなる場合には、高密度に配列されたこれらボタン画像を選択する作業では、複数のボタンを同時に選択してしまい、結果として異なるボタンが選択される等、一層困難なものとなる。
また、超音波撮像装置では、オペレータが片手で超音波プローブ(probe)を被検体に密着させつつ、もう片方の手で操作情報の入力を行う場合等が存在する。この様な例では、オペレータは、ペン等でタッチパネルに触れるよりも、直接、指頭部分でタッチパネルに接触し、操作情報の入力を行うのが簡便である。
しかし、タッチパネルが小さく、しかもボタン画像が高密度に配列される場合には、オペレータにとって、指頭部分で正確に目的とするボタン画像に接触することは容易でなくなる。しかも、指頭部分の大きさは、オペレータによって異なるので、操作性がオペレータにより異なるという不都合も生じる。なお、操作情報を同じ大きさで、複数ページに渡って分割表示することもできるが、ページ選択の操作が加わり、操作性の観点から好ましいことではない。
また、超音波撮像装置等の医用電子装置は、臨床現場で用いられる際に、撮像に緊急性を要する場合も存在する。この場合、オペレータの意図する操作情報の入力に手間取ることは、超音波撮像装置の有用性を、低下させる要因となる。
この発明は、上述した背景技術による課題を解決するためになされたものであり、タッチパネルを用いた操作情報の入力を、オペレータに負担をかけることなく、確実に行う操作情報入力装置および超音波撮像装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、第1の観点の発明にかかる操作情報入力装置は、複数のボタン画像が配列されたボタン配列画像を表示するボタン画像表示部と、前記ボタン画像表示部の表示面に重ねられ、前記表示面にオペレータが近接した際に、前記近接した表示面内の位置を示す近接位置情報を検出するタッチパネル部と、前記近接位置情報および前記ボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する押ボタン特定部とを備える操作情報入力装置であって、前記ボタン位置情報は、前記ボタン画像が位置するボタン領域を、前記ボタン領域の境界から、前記ボタン領域の中心方向に縮小させた確定領域の情報を有し、前記押ボタン特定部は、前記近接位置情報の近接位置が、前記確定領域に含まれる場合に前記特定を行い、前記近接位置情報の近接位置が、前記確定領域に含まれない場合に前記特定を行わないことを特徴とする。
この第1の観点による発明では、ボタン領域よりも小さい確定領域により、押されたボタンの特定を行う。
また、第2の観点の発明にかかる操作情報入力装置は、第1の観点に記載の操作情報入力装置において、前記押ボタン特定部に、前記近接位置情報の近接位置が前記確定領域に含まれない場合に、前記近接位置近傍に位置するボタン画像を、前記ボタン画像表示部に拡大表示するボタン画像拡大手段を備えることを特徴とする。
この第2の観点の発明では、ボタン画像を拡大し、押されたボタンを容易に特定する。
また、第3の観点の発明にかかる操作情報入力装置は、第2の観点に記載の操作情報入力装置において、前記押ボタン特定部に、前記拡大表示を行った後の所定時間の間に、前記近接位置情報の入力が行われない場合に、前記拡大表示を消去し、前記ボタン配列画像を表示する初期画像復帰手段を備えることを特徴とする。
この第3の観点の発明では、常に初期画面をボタン配列画像とし、この画像内のすべてのボタンが選択される様にする。
また、第4の観点の発明にかかる操作情報入力装置は、第2または3の観点のいずれか1つに記載の操作情報入力装置において、前記押ボタン特定部に、前記拡大表示を行う際の拡大率を設定する拡大率設定手段を備えることを特徴とする。
この第4の観点の発明では、拡大率を、変更できるようにする。
また、第5の観点の発明にかかる操作情報入力装置は、第1ないし4の観点のいずれか1つに記載の操作情報入力装置において、前記押ボタン特定部に、前記近接位置情報の近接位置が前記確定領域に含まれない場合に、オペレータに再近接の督促を行う再近接督促手段を備えることを特徴とする。
この第5の観点の発明では、オペレータに、押されたボタンが、操作情報として入力されなかったことを認識させる。
また、第6の観点の発明にかかる操作情報入力装置は、第5の観点に記載の操作情報入力装置において、前記再近接督促手段に、再近接を促す警告音を発生する警告音発生手段を備えることを特徴とする。
この第6の観点の発明では、音により、再入力を促す。
また、第7の観点の発明にかかる操作情報入力装置は、第5または6の観点に記載の操作情報入力装置において、前記再近接督促手段に、再近接を促す文字を前記ボタン画像表示部に表示する督促文字発生手段を備えることを特徴とする。
この第7の観点の発明では、表示される文字情報により、再入力を促す。
また、第8の観点の発明にかかる操作情報入力装置は、複数のボタン画像が配列されたボタン配列画像を表示するボタン画像表示部と、前記ボタン画像表示部の表示面に重ねられ、前記表示面にオペレータが近接した際に、前記近接した表示面内の位置を示す近接位置情報を検出するタッチパネル部と、前記近接位置情報および前記ボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する押ボタン特定部と、を備える操作情報入力装置であって、前記押ボタン特定部は、前記ボタン画像表示部に前記ボタン配列画像が表示されている際に行われる前記近接位置情報の第1の検出と同時に、前記ボタン画像表示部に前記ボタン配列画像を拡大表示するボタン画像拡大手段、並びに、前記第1の検出の後に行われる前記近接位置情報の第2の検出と同時に、前記近接位置情報および前記拡大表示されたボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する位置情報比較手段を有することを特徴とする。
この第8の観点の発明では、2度入力される近接位置情報の最初の入力で、ボタン配列画像の拡大表示を行い、近接位置情報の2度目の入力で、ボタン画像の特定を行う。
また、第9の観点の発明にかかる操作情報入力装置は、第8の観点に記載の操作情報入力装置において、前記押ボタン特定部が、前記第1の検出の後に所定時間が経過しても前記第2の検出が行われない場合に、前記拡大表示を止め、前記ボタン配列画像を再度表示する初期画像復帰手段を備えることを特徴とする。
この第9の観点の発明では、常にボタン配列画像から、操作情報の入力を開始する。
また、第10の観点の発明にかかる操作情報入力装置は、複数のボタン画像が配列されたボタン配列画像を表示するボタン画像表示部と、前記ボタン画像表示部の表示面に重ねられ、前記表示面にオペレータが近接する際に、前記近接した表示面内の位置を示す第1の近接位置情報を検出する第1のタッチパネル部と、前記第1のタッチパネル部のパネル面に重ねられ、前記パネル面にオペレータが近接した際に、前記近接したパネル面内の位置を示す第2の近接位置情報を検出する第2のタッチパネル部と、前記第1または前記第2の近接位置情報に基づいて、前記ボタン配列画像を拡大表示し、前記拡大表示の後に検出される前記第2または前記第1の近接位置情報、並びに、前記拡大表示されたボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する押ボタン特定部とを備える。
この第10の観点の発明では、第1のタッチパネル部および第2のタッチパネル部の2枚のタッチパネルからの近接位置情報に基づいて、ボタン配列画像の拡大表示および近接したボタン画像の特定を行う。
また、第11の観点の発明にかかる操作情報入力装置は、第10の観点に記載の操作情報入力装置において、前記第1のタッチパネル部に、非接触型の第1のタッチパネルを備えることを特徴とする。
この第11の観点の発明では、オペレータの近接位置情報を、タッチパネルにオペレータが接触する以前の、早い段階で検出する。
また、第12の観点の発明にかかる操作情報入力装置は、第11の観点に記載の操作情報入力装置において、前記第2のタッチパネル部に、接触型の第2のタッチパネルを備えることを特徴とする。
この第12の観点の発明では、オペレータの近接位置情報を、タッチパネルに接触する指頭部分の位置で検出する。
また、第13の観点の発明にかかる操作情報入力装置は、第11の観点に記載の操作情報入力装置において、前記第2のタッチパネル部に、非接触型の第2のタッチパネルを備えることを特徴とする。
この第13の観点の発明では、第1および第2のタッチパネルを、共に非接触型とする。
また、第14の観点の発明にかかる操作情報入力装置は、第13の観点に記載の操作情報入力装置において、前記第1のタッチパネル部に、前記第1のタッチパネルでオペレータの近接を検出するタッチセンサーの検出信号の大きさが第1の閾値を越える際に、オペレータの近接を示す第1の近接信号を出力する検出信号選別手段を備えることを特徴とする。
また、第15の観点の発明にかかる操作情報入力装置は、第14の観点に記載の操作情報入力装置において、前記検出信号選別手段に、前記第2のタッチパネルでオペレータの近接を検出するタッチセンサーの検出信号の大きさが第2の閾値を越える際に、オペレータの近接を示す第2の近接信号を出力することを特徴とする。
また、第16の観点の発明にかかる操作情報入力装置は、第15の観点に記載の操作情報入力装置において、前記第1の閾値および前記第2の閾値が、異なる値を有することを特徴とする。
この第16の観点の発明では、第1の閾値および第2の閾値により、オペレータのタッチパネルへ近接距離に応じた近接信号を出力する。
また、第17の観点の発明にかかる操作情報入力装置は、第15または16のいずれか1つに記載の操作情報入力装置において、前記検出信号選別手段で、前記第1の閾値および前記第2の閾値を、前記表示面内の位置に応じて変化させることを特徴とする。
この第17の観点の発明では、ボタン配列画像に基づいて、第1の閾値および第2の閾値を変化させ、操作情報の入力を確実なものとする。
また、第18の観点の発明にかかる操作情報入力装置は、複数のボタン画像が配列されたボタン配列画像を表示するボタン画像表示部と、前記ボタン画像表示部の表示面に重ねられ、前記表示面にオペレータが近接した際に、前記近接した表示面内の近接位置を示す近接位置情報を検出する第3のタッチパネル部と、前記近接位置情報および前記ボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する押ボタン特定部と、を備える操作情報入力装置であって、前記第3のタッチパネル部は、前記近接を非接触型に検出するタッチセンサーおよび前記タッチセンサーの検出信号を用いて、前記近接位置を求める近接位置検出手段を有し、前記近接位置検出手段は、近接を示す第3の近接信号および前記近接よりもさらに近接した第4の近接信号を出力する検出信号選別手段を有し、前記押ボタン特定部は、前記第3の近接信号を受信した際に、前記ボタン配列画像を拡大表示するボタン画像拡大手段と、前記第4の近接信号を受信した際に、前記近接位置情報および前記拡大表示されたボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する位置情報比較手段とを備えることを特徴とする。
この第18の観点の発明では、タッチセンサーの検出信号の大きさを、近接距離に応じた第3および第4の近接信号を選別し、オペレータのタッチパネルへの近接距離が小さくなるに従い、順次ボタン配列画像の拡大表示およびオペレータが近接したボタン画像の特定を行う。
また、第19の観点の発明にかかる操作情報入力装置は、第18の観点に記載の操作情報入力装置において、前記検出信号選別手段が、前記第3の近接信号を選別する前記第3の閾値および前記第4の近接信号を選別する前記第4の閾値を、前記表示面内の位置に応じて変化させることを特徴とする。
この第19の観点の発明では、ボタン配列画像に基づいて、第3の閾値および第4の閾値を変化させ、操作情報の入力を確実なものとする。
また、第20の観点の発明にかかる超音波撮像装置は、オペレータの操作情報を入力する入力部と、前記操作情報に基づいて、被検体の断層画像情報を取得する断層画像取得部と、前記断層画像情報を表示する表示部とを備える超音波撮像装置であって、前記入力部は、第1ないし19の観点のいずれか1つに記載の操作情報入力装置を備えることを特徴とする。
この第20の観点の発明では、第1ないし19の観点のいずれか1つに記載の操作情報入力装置を入力部に有し、この操作情報入力装置により、オペレータが近接したボタン画像の特定を行う。
本発明によれば、タッチパネルに表示されたボタン画像の選択を、オペレータに負担をかけることなく、確実に行うことができる。
以下に添付図面を参照して、この発明にかかる超音波撮像装置を実施するための最良の形態について説明する。なお、これにより本発明が限定されるものではない。
(実施の形態1)
まず、本実施の形態1にかかる超音波撮像装置100の全体構成について説明する。図1は、本実施の形態1にかかる超音波撮像装置100の全体構成を示すブロック(block)図である。超音波撮像装置100は、探触子部101、断層画像取得部109、画像メモリ(memory)部104、画像表示制御部105、表示部106、入力部107および制御部108を含み、断層画像取得部109は、送受信部102および受信信号処理部103を含む。
探触子部101は、超音波を送受信するための部分、つまり被検体1の特定方向に超音波を照射し、被検体1の内部から反射される超音波信号を時系列的な音線として受信する。探触子部101は、同時に超音波の照射方向を順次切り替えながら電子走査を行う。なお、探触子部101の内部には、図示されない圧電素子がアレイ(array)状に配列されている。
送受信部102は、探触子部101と同軸ケーブル(cable)によって接続され、探触子部101の圧電素子を駆動するための電気信号の発生および受信した超音波信号の初段増幅を行う。
受信信号処理部103は、送受信部102で増幅された超音波信号から断層画像情報を形成する。具体的な処理内容は、例えば受信した超音波信号の遅延加算処理、A/D(analog/digital)変換処理、変換された後のデジタル(digital)情報をBモード画像情報等の画像情報として、後述の画像メモリ部104に書き込む処理等である。
画像メモリ部104は、Bモード(mode)画像情報等の情報を蓄積するための画像メモリ(memory)である。画像メモリ部104は、時間的に変化するBモード画像情報を、時間情報と共に蓄積する。画像表示制御部105は、受信信号処理部103で生成されたBモード画像情報の表示フレームレート(frame rate)変換、並びに、Bモード画像情報の表示画像の形状や位置制御を行う。また、Bモード画像の表示画像上での関心領域を示すROI(region of interest)の表示も行う。
表示部106は、CRT(cathode ray tube)あるいはLCD(liquid crystal display)等を用いて、画像表示制御部105によって表示フレームレート変換および画像表示の形状や位置制御された情報を、オペレータに対して可視表示する。
入力部107は、キーボード(keyboard)およびポインティングデバイス(pointing device)およびタッチパネル等からなり、オペレータにより入力された操作信号を、制御部108に送信する。例えば、入力部107は、表示部106の表示画像上に位置するROIまたはポインタ(pointer)等の位置設定、並びに、ROI位置の確定またはポインタの指定入力等を行う。なお、入力部107の詳細については、後に述べる。
制御部108は、入力部107から与えられた操作情報および予め記憶したプログラム(program)やデータ(data)に基づいて、上述した超音波撮像装置各部の動作を制御し、表示部106にBモード画像等を表示する。
図2は、入力部107が有する操作パネル(panel)の一例を示す外観図である。操作パネルは、キーボード20、TGC(Time Gain Controller)21、ニューペイシェントキー(New Patient Key)を含む患者指定部22、ポインティングデバイスであるトラックボール(track ball)を含む計測入力部23、モード選択部24、タッチパネル24およびスピーカ(speaker)25等を含む。
TGC71は、表示される断層画像情報の深さ方向の利得を調整し、患者指定部72は、新たな被検体の撮像を行う場合に選択されるキー(key)を含み、計測入力部73は、表示部106にROIを設定する際の、ROIの形状、位置および大きさ等を設定するキー、並びに設定されたROIの画素値等の計測を行う機能を有し、モード選択部24は、Bモード、CFMモード等の撮像モードを選択するキーを有し、タッチパネル24は、スキャンパラメータ(scan parameter)値等の設定を行い、スピーカ25は、ドップラ(doppler)音またはオペレータに対する警告音等を発生する。
図3は、入力部107のタッチパネル24に関係する部分の構成を示すブロック図である。入力部107は、タッチパネル部36、ボタン画像表示部32および押ボタン特定部31等を含む。タッチパネル部36は、タッチパネル24、近接位置検出部37、タッチセンサー(touch sensor)38および39を含み、ボタン画像表示部32は、LCDパネル34およびボタン配列画像制御部33を含む。
なお、図3では、タッチパネル24およびLCDパネル34は、異なる位置に表示されているが、実際には、LCDパネル34の画像表示面に、タッチパネル24が重ねられた状態とされる。この重ねられた状態では、タッチパネル24は透明なパネルであるので、LCDパネル34に表示されるボタン配列画像35を、タッチパネル24を通して、目視することができる。
タッチセンサー38および39は、オペレータがタッチパネル24に近接する際に、タッチパネル24の縦方向および横方向を示すy軸方向およびx軸方向の近接位置で、検出信号を発生する。ここで、近接とは、オペレータの接近または接触の状態を示している。タッチセンサー38および39としては、例えば、タッチパネル24の表面および裏面で、x軸方向およびy軸方向にアレイ状に配列された透明電極からなり、この表面および裏面の透明電極間に発生する静電容量の変化を検出する静電容量式がある。この静電容量式の場合には、静電容量の変化を、オペレータの指頭部分が近接したことを示す検出信号とする。
近接位置検出部37は、容量変化を計測する表面および裏面に配列されるx軸およびy軸方向に配列される透明電極を、順次切り換えつつ容量変化を検出し、容量変化が発生したx軸およびy軸方向の位置を、近接位置情報として押ボタン特定部31に出力する。
LCDパネル34は、液晶の表示パネルで、ボタン画像が配列されたボタン配列画像35を表示する。ボタン配列画像制御部33は、LCDパネル34にボタン配列画像を表示させ、同時に押ボタン特定部31にボタン位置情報を送信する。
図4は、ボタン配列画像35で表示されるボタン画像およびこれらボタン画像のボタン位置情報を示す説明図である。図4(A)は、ボタン配列画像35の一例であるボタン画像41〜44を示す図である。ボタン画像41および42は、記号▲の部分が、オペレータの指頭部分で押すあるいは近接されることにより、設定の数値が上昇または下降する。また、ボタン画像43および44は、オペレータの指頭部分で押すあるいは近接されることにより、TintMapDおよびGrayMapHの機能が選択される。
図4(B)は、図4(A)に示すボタン画像41〜44の、押ボタン特定部31に送信されるボタン位置情報を、図示したものである。図4(B)に破線で示されるボタン領域51a〜bおよび52a〜bは、ボタン画像41および42の記号▲が存在する矩形の画像領域の位置と一致する。また、図4(B)に破線で示されるボタン領域53および54は、ボタン画像43および44が存在する矩形の画像領域の位置と一致する。
図4(B)のボタン領域51〜54の内部には、実線で示される境界線からなる確定領域55〜58が存在する。確定領域55〜58は、ボタン領域51〜54の境界線が、所定距離だけ中心方向に縮小および移動させられた境界線を有する。ここで、ボタン配列画像制御部33から押ボタン特定部31に送信されるボタン位置情報は、実線で示される確定領域55〜58の、x軸方向およびy軸方向の位置情報である。
なお、ボタン領域から確定領域に縮小する大きさは、ボタン領域の大きさ、オペレータの指頭部分の大きさおよび近接位置情報の位置精度等を勘案して実験的に決定される。概ね、ボタン領域の大きさが小さい程、確定領域のボタン領域に占める面積比率は小さなものとされ、確実に近接した位置のボタン画像が特定されるようにする。
押ボタン特定部31は、近接位置検出部37からの近接位置情報およびボタン配列画像制御部33からのボタン位置情報に基づいて、近接されたボタンを特定する。
図5は、押ボタン特定部31の構成を示すブロック図である。押ボタン特定部31は、位置情報比較手段61、ボタン画像拡大手段62、初期画像復帰手段63、再近接督促手段54および拡大率設定手段56を含み、再近接督促手段54は、警告音発生手段67および督促文字発生手段68を含む。位置情報比較手段61、ボタン画像拡大手段62、初期画像復帰手段63、再近接督促手段54および拡大率設定手段56の機能および動作については、つぎに示す入力部107の動作のところで詳しく述べる。
つぎに、入力部107の動作について、図6を用いて説明する。図6は、入力部107の動作を示すフローチャート(flowchart)である。オペレータ2は、指頭部分を、タッチパネル24の目的とするボタン画像に近接させる(ステップS601)。図7(A)は、オペレータ2の指頭部分による近接の様子を示した説明図である。タッチパネル24は、背面にボタン配列画像35が表示される。ボタン配列画像35には、多くにボタン画像が高密度に配列されている。
図7(A)には、ボタン画像に近接し、ボタン画像を押すあるいはボタン画像に近接するオペレータ2の指頭部分が図示されている。オペレータ2は、指頭部分により、目的とするボタン画像を押す。各ボタン画像および各ボタン画像の相互距離は、オペレータ2の指頭部分と比較して、同等か小さな大きさのものである。
その後、図6に戻り、位置情報比較手段61は、オペレータ2の近接位置が、ボタン画像の確定領域に含まれるかどうかを判定する(ステップS602)。位置情報比較手段61は、タッチパネル部36からの近接位置情報およびボタン画像表示部32からのボタン位置情報を用いて比較を行う。位置情報比較手段61は、近接位置情報の近接位置が、図4(B)に実線で示した様な各ボタンの確定領域に含まれるかどうかを判定する。ここで、図4(B)に示した確定領域は、ボタン画像に対応したボタン領域の中心方向の内側に存在し、ボタン領域の中心近傍に限定された領域となっている。これにより、指頭部分の大きさによる誤差を含む、検出された近接位置情報の検出誤差を考慮しても、間違いのない確実なボタン画像の検出を行うことができる。
また、位置情報比較手段61は、オペレータ2の近接位置が、ボタン画像の確定領域に含まれない場合には(ステップS602否定)、近接位置情報にあいまいさが残るのでボタン画像の特定を行わず、ボタン画像拡大手段62にこの情報を送信し、ボタン配列画像35の拡大表示を行う(ステップS603)。ボタン画像拡大手段62は、オペレータ2の指頭部分の近接位置が、ボタン画像を特定できない未確定領域に存在するので、ボタン配列画像35の拡大表示を行い、ボタン画像が確実に特定される様にする。
ボタン画像拡大手段62は、例えば、ボタン配列画像35の中の近接位置を中心にして、所定拡大率、例えば2倍の拡大を行ったものを、この中心が近接位置となるように表示する。図7(B)は、図7(A)で示されたオペレータ2の近接位置が、ボタン画像の未確定領域にある場合に、ボタン配列画像35を概ね2倍に拡大した拡大画像71を示す説明図である。拡大画像71には、ボタン配列画像35の近接位置近傍に位置するボタン画像が拡大表示されている。なお、この拡大に伴い、位置情報比較手段61のボタン位置情報も、同様に拡大されたものとする。
その後、再近接督促手段54は、スピーカ25またはタッチパネル24等を用いて、再近接の督促を行う(ステップS604)。再近接督促手段54は、再近接を促す警告音を発生する場合には、警告音発生手段67を用いる。警告音発生手段67は、スピーカ25に、警告音を発生させ、オペレータ2に再近接を促す。再近接督促手段54は、再近接を促す表示を行う場合には、督促文字発生手段68を用いる。督促文字発生手段68は、タッチパネル24に、督促文字を表示し、オペレータ2に再近接を促す。
その後、オペレータ2は、指頭部分を、タッチパネル24に表示された拡大画像71の目的とするボタン画像に再び近接させる(ステップS606)。ここで、ボタン画像41〜44を含む拡大画像71では、位置情報比較手段61の確定領域55〜58も拡大されているので、指頭部分の大きさによる検出誤差および近接位置情報に含まれる検出誤差の影響は、小さなものとなる。
その後、位置情報比較手段61は、オペレータ2の近接位置が、ボタン画像の確定領域に含まれるかどうかを判定する(ステップS606)。押ボタン特定部31は、近接位置が確定領域に含まれない場合には(ステップS606否定)、ステップS604に移行し、再近接の督促を行い、近接位置が確定領域に含まれる場合には(ステップS606肯定)、この確定領域を有するボタン画像の特定情報、例えばコード(code)番号等を、制御部108に出力する(ステップS607)。
その後、押ボタン特定部31は、タッチパネル24の拡大表示を中止し、初期設定されたボタン配列画像35の表示を行い(ステップS608)、本処理を終了する。
上述してきたように、本実施の形態1では、ボタン位置情報として、ボタン画像の画像領域の中心方向の内部に位置する確定領域の位置情報を設定し、オペレータ2によるタッチパネル24の近接位置情報が、この確定領域に含まれない場合には、ボタン配列画像35の拡大画像71を表示し、再度近接を促すこととしているので、オペレータ2に負担をかけることなく、ボタンの誤入力を防止し、確実に目的とするボタンの入力を行うことができる。
また、本実施の形態1では、拡大画像71の拡大率を所定の値としたが、別途拡大率設定手段56を設け、ボタン画像拡大手段62の拡大率を可変にすることもできる。拡大率設定手段56は、キーボード20から入力された数値情報を、ボタン画像拡大手段62に拡大率として設定する。ボタン画像拡大手段62は、この拡大率を用いて、拡大表示を行う。これにより、オペレータ2は、ボタン配列画像35を、確実な入力が可能な大きさに拡大することができる。
また、本実施の形態1では、ボタン画像拡大手段62は、ボタン配列画像35の中の近接位置を中心にして拡大した拡大画像71を、この中心が近接位置となるように表示したが、この中心を表示画面中央にすることもできる。
また、本実施の形態1では、タッチパネル部36は、タッチパネルに非接触型の静電容量式のタッチセンサーを用いた例を示したが、光学的に近接位置を検出するタッチセンサー、さらには抵抗膜あるいは超音波表面弾性波等を用いた接触型のタッチセンサーを有するタッチパネルを使用することもできる。
また、本実施の形態1では、オペレータ2の指頭部分がタッチパネル24に近接し、この近接位置がボタン画像の確定領域に含まれない場合に、ボタン配列画像35を拡大表示することとしたが、この近接位置がボタン画像の確定領域に含まれるかどうかに係わらずボタン配列画像35を拡大表示することもできる。
この場合、ボタン配列画像35に指頭部分を近接させる第1の検出では、拡大表示を行い、拡大表示されたボタン配列画像35に指頭部分を近接させる第2の検出では、近接されたボタン画像の特定を行う。また、拡大表示されたボタン配列画像35は、初期画像復帰手段53により、所定時間の後にボタン配列画像35の表示に切り換えられる。
(実施の形態2)
ところで、上記実施の形態1では、オペレータにより入力されるタッチパネルへの近接位置が、ボタン画像の確定領域にない場合に、ボタン配列画像を拡大させることとしたが、オペレータの指頭部分がタッチパネルに近接しつつある時に、自動的にボタン配列画像の拡大表示を行うこともできる。そこで、本実施の形態2では、タッチパネルに近接しつつあるオペレータの指頭部分を検出し、この検出に同期してボタン配列画像を拡大表示する場合を示すことにする。
図8は、本実施の形態2にかかる入力部80の構成を示すブロック図である。入力部80は、実施の形態1に記載の入力部107に対応するものであり、その他の構成は超音波撮像装置100と全く同様である。入力部80は、第1のタッチパネル部85、第2のタッチパネル部81、ボタン画像表示部32および押ボタン特定部91を含む。ボタン画像表示部32は、実施の形態1で示したものと全く同様であるので説明を省略する。第1のタッチパネル部85は、第1のタッチパネル86、タッチセンサー87および近接位置検出部88を含み、第2のタッチパネル部81は、第2のタッチパネル82、タッチセンサー83および近接位置検出部84を含む。
第1のタッチパネル部85は、オペレータが第1のタッチパネル86に近接する際の近接位置を検出する非接触型のタッチパネルからなる。この非接触型のタッチパネルは、例えば、静電容量式のタッチパネルからなり、ガラス(glass)等で構成される第1のタッチパネル86が有する表面および裏面に、互いに直交する格子状の透明電極が配列されたタッチセンサー87を有する。タッチセンサー87は、オペレータの指頭が板面へ接近する際に、接触を待たずに表裏の透明電極間に生じる容量変化を検出する。近接位置検出部84は、容量変化が生じたタッチセンサー87の位置を検出し、第1の近接位置情報として押ボタン特定部91に出力する。なお、非接触型のタッチパネルとして、タッチセンサー87にフォトダイオード(photodiode)等を用いて、光学的に近接位置情報を検出するものを用いることもできる。
第2のタッチパネル部81は、オペレータが第2のタッチパネル82に近接する際の近接位置を検出する接触型のタッチパネルである。この接触型のタッチパネルは、例えば、フィルム状の第2のタッチパネル82が有する表面および裏面に、互いに直交する格子状の透明電極を有する抵抗膜方式で、この透明電極は、オペレータの近接により、表面および裏面間に接点を生じる。近接位置検出部84は、この透明電極の抵抗による分圧比から近接位置を検出し、第2の近接位置情報として押ボタン特定部91に出力する。
なお、図8では、第1のタッチパネル86、第2のタッチパネル82およびLCDパネル34は、縦に配列されているが、実際には、第2のタッチパネル82、第1のタッチパネル86およびLCDパネル34は、この順に重ねられたものとなっており、LCDパネル34に表示されたボタン配列画像35が、透明な第2のタッチパネル82および第1のタッチパネル86を通して目視される。
押ボタン特定部91は、第1のタッチパネル部85および第2のタッチパネル部81からの第1および第2の近接位置情報に基づいて、ボタン配列画像35の拡大表示および近接されたボタン画像の特定を行う。
図9は、押ボタン特定部91の構成を示すブロック図である。押ボタン特定部91は、ボタン画像拡大手段93、第2の位置情報比較手段94および初期画像復帰手段95を含む。なお、ボタン画像拡大手段93、第2の位置情報比較手段94および初期画像復帰手段95の機能および動作については、つづく入力部80の動作のところにおいて述べる。
つぎに、入力部80の動作について、図10を用いて説明する。図10は、入力部80の動作を示すフローチャートである。まず、オペレータ2は、ボタン配列画像35の目的とするボタン画像に近接を始める(ステップS100)。ここで、オペレータ2の指頭部分は、図7(A)に示したのと同様に、目的とするボタン画像が存在する第2のタッチパネル82上の位置に接近する。
その後、第1のタッチパネル部85の近接位置検出部88は、非接触型の第1のタッチパネル86にオペレータ2の指頭部分が接近したかどうかを判定する(ステップS101)。ここで、近接位置検出部88は、指頭部分が接近していない場合には(ステップS101否定)、指頭部分が接近するまでステップS101の判定を繰り返し行う。
また、近接位置検出部88は、指頭部分が接近した場合には(ステップS101肯定)、この指頭部分の第1の近接位置情報をボタン画像拡大手段93に出力する。ボタン画像拡大手段93は、第1の近接位置情報に基づいて、LCDパネル34に表示されたボタン配列画像35を、拡大表示する(ステップS102)。ここで、ボタン画像拡大手段93は、第1の近接位置情報が示す近接位置を中心として、ボタン配列画像35を所定倍率、例えば2倍に拡大表示する。LCDパネル34には、図7(B)に示した拡大画像71と同様の画像が拡大表示される。なお、ボタン画像拡大手段93は、近接位置を中心にした拡大画像を表示するので、オペレータ2は、この後、指頭部分を大きく動かすことなく、目的とするボタン画像にさらに近接することができる。
その後、第2のタッチパネル部81の近接位置検出部84は、接触型の第2のタッチパネル82にオペレータ2の指頭部分が接触したかどうかを判定する(ステップS103)。近接位置検出部84は、第2のタッチパネル82にオペレータ2の指頭部分が接触した場合には(ステップS103肯定)、第2の近接位置情報を第2の位置情報比較手段94に出力し、第2の位置情報比較手段94は、第2の近接位置情報の近接位置が、ボタン位置情報に示される図4(B)に示す様なボタン領域51〜54に含まれるかどうかを判定する(ステップS104)。そして、第2の位置情報比較手段94は、近接位置が、ボタン領域51〜54に存在する場合には(ステップS104肯定)、近接位置が存在するボタン画像を特定し、この特定情報、例えばボタン画像のコード番号等を、制御部108に送信する。
その後、初期画像復帰手段95は、拡大されていない初期設定のボタン配列画像35を、LCDパネル34に表示する(ステップS106)。
また、第2の位置情報比較手段94は、第1のタッチパネル86にオペレータ2の指頭部分が接触しない場合(ステップS103否定)および、指頭部分の近接位置が、ボタン領域51〜54に存在しない場合には(ステップS104否定)、ステップS106に移行し、拡大されていない初期設定のボタン配列画像35を、LCDパネル34に表示し、本処理を終了する。
上述してきたように、本実施の形態2では、LCDパネル34に重ねて非接触型の第1のタッチパネル部85および接触型の第2のタッチパネル部81を設け、第1のタッチパネル部85で検出された、第1の近接位置情報に基づいて、ボタン配列画像35を拡大し、さらに拡大された拡大画像71におけるボタン位置を、第2のタッチパネル部81で検出された、第2の近接位置情報に基づいて、近接されたボタンの特定をすることとしているので、ボタンを押す一回の近接動作で、確実にボタンの特定を行い、操作情報を入力することができる。
また、本実施の形態2では、第2のタッチパネル部81を接触型としたが、第2のタッチパネル部81に非接触型のタッチパネルを用いることもできる。この場合、第2のタッチパネル部81の近接位置検出部84は、第1のタッチパネル部85と比較して、指頭部分がよりタッチパネルに近接した状態を検出するようにされる。すなわち、近接位置検出手段88および84は、タッチセンサーからの近接情報、例えば容量変化の大きさを、第1の閾値および第2の閾値を越えるものに限定する検出信号選別手段を各々に有し、例えば第2の閾値を第1の閾値より大きくすることで、第2のタッチパネル部では第1のタッチパネル部より近接した状態の指頭部分を検出することができる。なお、近接位置検出部に同様の検出信号選別手段を備えた例は、後述する実施の形態3で詳しく述べる。
また、本実施の形態2では、ステップS104でボタン画像の特定を行う際に、近接位置情報を、拡大表示されたボタン配列画像のボタン領域と比較したが、このボタン領域の代わりに実施の形態1で示したボタン画像の確定領域と比較することもできる。
また、本実施の形態2では、ボタン画像拡大手段93は、ボタン配列画像35の中の近接位置を中心にして拡大した拡大画像71を、この中心が近接位置となるように表示したが、この中心を表示画面中央にすることもできる。
(実施の形態3)
ところで、上述した実施の形態2では、重ねて配置された2つのタッチパネルの各々を用いて、オペレータ2の指頭部分の接近および接触を検出することとしたが、非接触型の一枚のタッチパネル部で検出される指頭部分の検出信号の大きさを、複数の閾値により選別し、指頭部分のタッチパネルへの接近および接触を検出することもできる。そこで、本実施の形態3では、近接位置検出部に検出信号選別手段を設け、検出信号の大きさにより、指頭部分のタッチパネルへの近接距離を判定し、ボタン配列画像35の拡大表示およびボタン画像の特定を行う場合を示すことにする。
図11は、本実施の形態3にかかる入力部110の構成を示すブロック図である。入力部110は、実施の形態1に記載の入力部107に対応するものであり、その他の構成は超音波撮像装置100と全く同様であるので、説明を省略する。
入力部110は、第3のタッチパネル部97、ボタン画像表示部32および押ボタン特定部89を含む。ボタン画像表示部32は、実施の形態1で示したものと全く同様であるので説明を省略する。
第3のタッチパネル部97は、第3のタッチパネル98、タッチセンサー99および近接位置検出部96を含む。第3のタッチパネル98およびタッチセンサー99は、実施の形態2で示した非接触型の第1のタッチパネル86およびタッチセンサー87と同様のものである。なお、図11の第3のタッチパネル98には、表面および裏面のx軸方向およびy軸方向に帯状に配列された透明電極からなる静電容量式のタッチセンサー99が、実線および破線で図示されている。タッチセンサー99は、指頭部分がタッチパネルに近接することにより生じる、表面および裏面の透明電極間に生じる容量変化を検出する。
第3のタッチパネル98およびLCDパネル34は、図11には並べて図示されているが、実際には同一面上に重ねられた配置とされる。そして、LCDパネル34に表示されたボタン配列画像35は、第3のタッチパネル98を通して目視される。
図12は、近接位置検出部96の構成を示すブロック図である。近接位置検出部96は、アナログスイッチ(analog switch)10、近接検出部11、検出信号選別手段13および近接位置確定部12を含む。アナログスイッチ10は、x軸方向およびy軸方向を向く、タッチセンサー99を構成する透明電極の選択位置を切り換える。なお、この切り換えは、近接位置確定部12から出力される透明電極の選択信号に基づいて、表面および裏面にある透明電極のすべての組み合わせについて、繰り返し行われる。
近接検出部11は、アナログスイッチ10で選択された表面および裏面に存在する透明電極間の静電容量を検出し、この静電容量の所定値からの容量変化を求める。近接検出部11は、透明電極間の静電容量を、例えば、定電流を表面および裏面の透明電極間に流した場合に、透明電極間の電圧が所定電圧に達する迄の時間計測により求める。また、上述した静電容量の所定値は、第3のタッチパネル98に近接するものが無い場合の表面および裏面間の透明電極が有する静電容量値とされる。
検出信号選別手段13は、第3の閾手段14および第4の閾手段15を含む。第3の閾手段14は、近接検出部11から送信される容量変化情報を、予め設定される容量変化の大きさである第3の閾値と比較し、容量変化情報の値が第3の閾値を越える際に、オペレータ2の指頭部分が第3のタッチパネル98に接近したとして、近接位置確定部12およびボタン配列画像制御部33に接近情報を出力する。第4の閾手段15は、近接検出部11から送信される容量変化情報を、予め設定される容量変化の大きさである第4の閾値と比較し、容量変化情報の値が第4の閾値を越える際に、オペレータ2の指頭部分が第3のタッチパネル98に接触したとして、近接位置確定部12に接触情報を出力する。
図13は、オペレータ2の指頭部分が第3のタッチパネル98に接近すると共に、近接検出部11で検出される容量変化ΔCの大きさが変化する様子を示した説明図である。横軸は、オペレータ2の指頭部分およびタッチパネル間に距離である近接距離を示し、縦軸は、容量変化ΔCの大きさを示している。容量変化ΔCの大きさは、第3のタッチパネル98に指頭部分が近接するに従い、徐々に大きなものとなる。
図13には、実験的に決定される第3の閾値および第4の閾値が図示されている。第3の閾値は、容量変化がこの値を越えると指頭部分がタッチパネルに接近したとされる値である。第4の閾値は、第3の閾値より大きな値を有し、容量変化がこの値を越えると指頭部分がタッチパネルに接触したとされる値である。
近接位置確定部12は、容量変化の検査位置を示す制御信号であるアナログスイッチ10の切換信号を、アナログスイッチ10に送信する一方で、第3の閾手段14および第4の閾手段15からの指頭部分の接近情報および接触情報が入力した際に、この切換信号情報を押ボタン特定部89に出力する。
図14は、押ボタン特定部89の構成を示すブロック図である。押ボタン特定部89は、ボタン画像拡大手段112、位置情報比較手段114および初期画像復帰手段95を含む。なお、ボタン画像拡大手段112、位置情報比較手段114および初期画像復帰手段95の機能および動作については、後述する入力部110の動作のところで述べる。
つぎに、入力部110の動作について、図15を用いて説明する。図15は、入力部110の動作を示すフローチャートである。オペレータ2は、第3のタッチパネル98の目的とするボタン画像に近接を始める(ステップS1501)。オペレータ2の指頭部分は、図7(A)に示したのと同様に、目的とするボタン画像が存在する第3のタッチパネル98上の位置に近接する。
その後、近接位置確定部12は、第3の閾手段14から接近情報を入力したかどうかを判定する(ステップS1502)。ここで、近接位置確定部12は、第3の閾手段14から接近情報を入力していない場合には(ステップS1502否定)、オペレータ2の指頭部分が接近するまでステップS1502の判定を繰り返し行う。
また、近接位置確定部12は、第3の閾手段14から接近情報を入力した場合には(ステップS1502肯定)、近接位置情報をボタン画像拡大手段112に出力する。ボタン画像拡大手段112は、第3の閾手段14からの接近情報および受信した近接位置情報に基づいて、ボタン配列画像制御部33に拡大表示を指示し、LCDパネル34に表示されたボタン配列画像35を拡大表示する(ステップS1503)。ここで、ボタン配列画像制御部33は、近接位置情報が示す近接位置を中心として、ボタン配列画像35を所定倍率、例えば2倍に拡大し、この中心が近接位置となるように表示する。LCDパネル34には、図7(B)に示した様な拡大画像71が表示される。ボタン配列画像制御部33は、この画像を、近接位置を中心にして拡大するので、オペレータ2は、指頭部分を大きく動かすことなく、目的とするボタン画像に接触することができる。また、ボタン画像拡大手段112は、同時に位置情報比較手段114に拡大表示の情報を出力し、位置情報比較手段114は、この情報に基づいて、ボタン配列画像制御部33から、拡大されたボタン画像の位置情報を取得する。
その後、近接位置確定部12は、第4の閾手段15から指頭部分の接触情報を入力したかどうかを判定する(ステップS1504)。近接位置確定部12は、第4の閾手段15から接触情報を入力していない場合には(ステップS1504否定)、オペレータ2の指頭部分が接触するまでステップS1504の判定を繰り返し行う。
また、近接位置確定部12は、第4の閾手段15から接触情報を入力した場合には(ステップS1504肯定)、位置情報比較手段114に近接位置情報を出力する。位置情報比較手段114は、近接位置情報およびボタン位置情報の2つの位置情報を比較し、近接位置にあるボタン画像を特定し、この特定情報を制御部108に出力する(ステップS1505)。例えば、位置情報比較手段114は、図4(B)に示した様なボタン領域51〜54または確定領域55〜58を特定し、特定されたボタンを示すコード情報等を、制御部108に送信する。
その後、初期画像復帰手段95は、拡大されていない初期設定のボタン配列画像35を、LCDパネル34に表示し(ステップS1506)、本処理を終了する。
上述してきたように、本実施の形態3では、非接触型の第3のタッチパネル98が有するタッチセンサー99により、オペレータ2の指頭部分が近接する際に生じる容量変化ΔCの大きさをから、接近情報および接触情報を検出し、接近の際には、ボタン配列画像35を拡大表示し、接触の際には、ボタンの特定を行うこととしているので、一枚のタッチパネルで、しかも一回の近接動作で、確実にボタンの特定を行い、操作情報を入力することができる。
また、本実施の形態3では、ボタン画像拡大手段112は、ボタン配列画像35の中の近接位置を中心にして拡大した拡大画像71を、この中心が近接位置となるように表示したが、この中心を表示画面中央にすることもできる。
超音波撮像装置の全体構成を示すブロック図である。 超音波撮像装置が有する操作パネルの外観を示す説明図である。 実施の形態1にかかる入力部の構成を示すブロック図である。 ボタン画像の一例およびこのボタン画像を特定する際の確定領域を示す説明図である。 実施の形態1にかかる押ボタン特定部の構成を示すブロック図である。 実施の形態1にかかる入力部の動作を示すフローチャートである。 タッチパネルにオペレータが近接する際の様子および近接した後の拡大画像の一例を示す説明図である。 実施の形態2にかかる入力部の構成を示すブロック図である。 実施の形態2にかかる押ボタン特定部の構成を示すブロック図である。 実施の形態2にかかる入力部の動作を示すフローチャートである。 実施の形態3にかかる入力部の構成を示すブロック図である。 実施の形態3にかかる近接位置検出部の構成を示すブロック図である。 オペレータの近接距離および静電容量の変化の関係を示す説明図である。 実施の形態3にかかる押ボタン特定部の構成を示すブロック図である。 実施の形態3にかかる入力部の動作を示すフローチャートである。
符号の説明
1 被検体
2 オペレータ
10 アナログスイッチ
11 近接検出部
12 近接位置確定部
13 検出信号選別手段
14 第3の閾手段
15 第4の閾手段
20 キーボード
22 患者指定部
23 計測入力部
24 モード選択部
24 タッチパネル
25 スピーカ
31、89,91 押ボタン特定部
32 ボタン画像表示部
33 ボタン配列画像制御部
34 LCDパネル
35 ボタン配列画像
36 タッチパネル部
37、84 近接位置検出部
38、39、83、87、99 タッチセンサー
41〜44 ボタン画像
51〜54 ボタン領域
55〜58 確定領域
61、94、114 位置情報比較手段
62、93、112 ボタン画像拡大手段
63、95 初期画像復帰手段
64 再近接督促手段
66 拡大率設定手段
67 警告音発生手段
68 督促文字発生手段
71 拡大画像
72 患者指定部
73 計測入力部
80、107、110 入力部
81 第2のタッチパネル部
82 第2のタッチパネル
84、88、96 近接位置検出部
85 第1のタッチパネル部
86 第1のタッチパネル
97 第3のタッチパネル部
98 第3のタッチパネル
100 超音波撮像装置
101 探触子部
102 送受信部
103 受信信号処理部
104 画像メモリ部
105 画像表示制御部
106 表示部
108 制御部
109 断層画像取得部

Claims (20)

  1. 複数のボタン画像が配列されたボタン配列画像を表示するボタン画像表示部と、
    前記ボタン画像表示部の表示面に重ねられ、前記表示面にオペレータが近接した際に、前記近接した表示面内の位置を示す近接位置情報を検出するタッチパネル部と、
    前記近接位置情報および前記ボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する押ボタン特定部と、
    を備える操作情報入力装置であって、
    前記ボタン位置情報は、前記ボタン画像が位置するボタン領域を、前記ボタン領域の境界から、前記ボタン領域の中心方向に縮小させた確定領域の情報を有し、
    前記押ボタン特定部は、前記近接位置情報の近接位置が、前記確定領域に含まれる場合に前記特定を行い、前記近接位置情報の近接位置が、前記確定領域に含まれない場合に前記特定を行わないこと、
    を特徴とする操作情報入力装置。
  2. 前記押ボタン特定部は、前記近接位置情報の近接位置が、前記確定領域に含まれない場合に、前記近接位置近傍に位置するボタン画像を、前記ボタン画像表示部に拡大表示するボタン画像拡大手段を備えることを特徴とする請求項1に記載の操作情報入力装置。
  3. 前記押ボタン特定部は、前記拡大表示を行った後の所定時間の間に、前記近接位置情報の入力が行われない場合に、前記拡大表示を消去し、前記ボタン配列画像を表示する初期画像復帰手段を備えることを特徴とする請求項2に記載の操作情報入力装置。
  4. 前記押ボタン特定部は、前記拡大表示を行う際の拡大率を設定する拡大率設定手段を備えることを特徴とする請求項2または3のいずれか1つに記載の操作情報入力装置。
  5. 前記押ボタン特定部は、前記近接位置情報の近接位置が、前記確定領域に含まれない場合に、オペレータに再近接の督促を行う再近接督促手段を備えることを特徴とする請求項1ないし4のいずれか1つに記載の操作情報入力装置。
  6. 前記再近接督促手段は、再近接を促す警告音を発生する警告音発生手段を備えることを特徴とする請求項5に記載の操作情報入力装置。
  7. 前記再近接督促手段は、再近接を促す文字を、前記ボタン画像表示部に表示する督促文字発生手段を備えることを特徴とする請求項5または6に記載の操作情報入力装置。
  8. 複数のボタン画像が配列されたボタン配列画像を表示するボタン画像表示部と、
    前記ボタン画像表示部の表示面に重ねられ、前記表示面にオペレータが近接した際に、前記近接した表示面内の位置を示す近接位置情報を検出するタッチパネル部と、
    前記近接位置情報および前記ボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する押ボタン特定部と、
    を備える操作情報入力装置であって、
    前記押ボタン特定部は、前記ボタン画像表示部に前記ボタン配列画像が表示されている際に行われる前記近接位置情報の第1の検出と同時に、前記ボタン画像表示部に前記ボタン配列画像を拡大表示するボタン画像拡大手段、並びに、前記第1の検出の後に行われる前記近接位置情報の第2の検出と同時に、前記近接位置情報および前記拡大表示されたボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する位置情報比較手段を有することを特徴とする操作情報入力装置。
  9. 前記押ボタン特定部は、前記第1の検出の後に所定時間が経過しても前記第2の検出が行われない場合に、前記拡大表示を止め、前記ボタン配列画像を再度表示する初期画像復帰手段を備えることを特徴とする請求項8に記載の操作情報入力装置。
  10. 複数のボタン画像が配列されたボタン配列画像を表示するボタン画像表示部と、
    前記ボタン画像表示部の表示面に重ねられ、前記表示面にオペレータが近接する際に、前記近接した表示面内の位置を示す第1の近接位置情報を検出する第1のタッチパネル部と、
    前記第1のタッチパネル部のパネル面に重ねられ、前記パネル面にオペレータが近接した際に、前記近接したパネル面内の位置を示す第2の近接位置情報を検出する第2のタッチパネル部と、
    前記第1または前記第2の近接位置情報に基づいて、前記ボタン配列画像を拡大表示し、前記拡大表示の後に検出される前記第2または前記第1の近接位置情報、並びに、前記拡大表示されたボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する押ボタン特定部と、
    を備える操作情報入力装置。
  11. 前記第1のタッチパネル部は、非接触型の第1のタッチパネルを備えることを特徴とする請求項10に記載の操作情報入力装置。
  12. 前記第2のタッチパネル部は、接触型の第2のタッチパネルを備えることを特徴とする請求項11に記載の操作情報入力装置。
  13. 前記第2のタッチパネル部は、非接触型の第2のタッチパネルを備えることを特徴とする請求項11に記載の操作情報入力装置。
  14. 前記第1のタッチパネル部は、前記第1のタッチパネルでオペレータの近接を検出するタッチセンサーの検出信号の大きさが第1の閾値を越える際に、オペレータの近接を示す第1の近接信号を出力する検出信号選別手段を備えることを特徴とする請求項13に記載の操作情報入力装置。
  15. 前記検出信号選別手段は、前記第2のタッチパネルでオペレータの近接を検出するタッチセンサーの検出信号の大きさが第2の閾値を越える際に、オペレータの近接を示す第2の近接信号を出力することを特徴とする請求項14に記載の操作情報入力装置。
  16. 前記第1の閾値および前記第2の閾値は、異なる値を有することを特徴とする請求項15に記載の操作情報入力装置。
  17. 前記検出信号選別手段は、前記第1の閾値および前記第2の閾値を、前記表示面内の位置に応じて変化させることを特徴とする請求項15または16のいずれか1つに記載の操作情報入力装置。
  18. 複数のボタン画像が配列されたボタン配列画像を表示するボタン画像表示部と、
    前記ボタン画像表示部の表示面に重ねられ、前記表示面にオペレータが近接した際に、前記近接した表示面内の近接位置を示す近接位置情報を検出する第3のタッチパネル部と、
    前記近接位置情報および前記ボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する押ボタン特定部と、
    を備える操作情報入力装置であって、
    前記第3のタッチパネル部は、前記近接を非接触型に検出するタッチセンサーおよび前記タッチセンサーの検出信号を用いて、前記近接位置を求める近接位置検出手段を有し、
    前記近接位置検出手段は、近接を示す第3の近接信号および前記近接よりもさらに近接した第4の近接信号を出力する検出信号選別手段と、
    前記押ボタン特定部は、前記第3の近接信号を受信した際に、前記ボタン配列画像を拡大表示するボタン画像拡大手段と、前記第4の近接信号を受信した際に、前記近接位置情報および前記拡大表示されたボタン配列画像のボタン位置情報に基づいて、オペレータが近接したボタン画像を特定する位置情報比較手段と、
    を備えることを特徴とする操作情報入力装置。
  19. 前記検出信号選別手段は、前記第3の近接信号を選別する前記第3の閾値および前記第4の近接信号を選別する前記第4の閾値を、前記表示面内の位置に応じて変化させることを特徴とする請求項18に記載の操作情報入力装置。
  20. オペレータの操作情報を入力する入力部と、
    前記操作情報に基づいて、被検体の断層画像情報を取得する断層画像取得部と、
    前記断層画像情報を表示する表示部と、
    を備える超音波撮像装置であって、
    前記入力部は、請求項1ないし19のいずれか1つに記載の操作情報入力装置を備えることを特徴とする超音波撮像装置。
JP2008028889A 2008-02-08 2008-02-08 操作情報入力装置および超音波撮像装置 Pending JP2009183592A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008028889A JP2009183592A (ja) 2008-02-08 2008-02-08 操作情報入力装置および超音波撮像装置
US12/367,016 US20090201266A1 (en) 2008-02-08 2009-02-06 Operation information input apparatus and ultrasonic imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008028889A JP2009183592A (ja) 2008-02-08 2008-02-08 操作情報入力装置および超音波撮像装置

Publications (1)

Publication Number Publication Date
JP2009183592A true JP2009183592A (ja) 2009-08-20

Family

ID=40938487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008028889A Pending JP2009183592A (ja) 2008-02-08 2008-02-08 操作情報入力装置および超音波撮像装置

Country Status (2)

Country Link
US (1) US20090201266A1 (ja)
JP (1) JP2009183592A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011027665A1 (ja) * 2009-09-02 2013-02-04 日本電気株式会社 表示装置
JP2013519930A (ja) * 2010-02-10 2013-05-30 アイデント テクノロジー アーゲー 手動入力動作と相関する信号の発生のためのシステムおよび方法
JP2013539113A (ja) * 2010-08-24 2013-10-17 クアルコム,インコーポレイテッド 電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置
WO2017169630A1 (ja) * 2016-03-31 2017-10-05 京セラドキュメントソリューションズ株式会社 表示装置
JP2018163551A (ja) * 2017-03-27 2018-10-18 京セラドキュメントソリューションズ株式会社 表示制御装置、表示制御方法、及び画像形成装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008237426A (ja) * 2007-03-27 2008-10-09 Ge Medical Systems Global Technology Co Llc 医用画像ファイル出力装置および医用画像診断装置
KR101560718B1 (ko) * 2009-05-29 2015-10-15 엘지전자 주식회사 이동 단말기 및 이동 단말기에서의 정보 표시 방법
US8686957B2 (en) * 2009-11-06 2014-04-01 Bose Corporation Touch-based user interface conductive rings
JP5561089B2 (ja) * 2010-10-15 2014-07-30 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP5649169B2 (ja) 2010-11-22 2015-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation タッチパネルにおけるドラッグ操作でオブジェクトを移動させる方法、装置及びコンピュータプログラム
JP5857465B2 (ja) * 2011-06-16 2016-02-10 ソニー株式会社 情報処理装置と情報処理方法ならびにプログラム
JP2013003841A (ja) * 2011-06-16 2013-01-07 Sony Corp 情報処理装置と情報処理方法ならびにプログラム
JP6094527B2 (ja) * 2013-10-02 2017-03-15 株式会社デンソー スイッチ装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0619613A (ja) * 1992-07-06 1994-01-28 Riso Kagaku Corp タッチパネルによる表示画像選択指定方法および装置
JPH06314167A (ja) * 1993-04-27 1994-11-08 Hewlett Packard Co <Hp> 適応接触認識方法
JPH08286879A (ja) * 1995-04-10 1996-11-01 Ricoh Co Ltd タッチパネルの制御方法
JPH1165769A (ja) * 1997-08-25 1999-03-09 Oki Electric Ind Co Ltd タッチパネル表示制御方法及びそれを記録した記録媒体
JP2000172427A (ja) * 1998-12-10 2000-06-23 Nec Corp 誤入力検出機能付き入力装置及び入力装置の誤入力検出方法
JP2000322169A (ja) * 1999-04-30 2000-11-24 Internatl Business Mach Corp <Ibm> グラフィカル・ユーザ・インターフェイスにおけるホットスポット選択方法
JP2002333953A (ja) * 2001-04-23 2002-11-22 Ge Medical Systems Global Technology Co Llc タッチ・ポインティング装置、超音波診断装置および携帯電子装置
JP2002351618A (ja) * 2001-05-29 2002-12-06 Matsushita Electric Ind Co Ltd 機能選択方法およびそれを用いた光ディスク再生装置
JP2005284379A (ja) * 2004-03-26 2005-10-13 Sharp Corp 情報処理方法、情報処理装置、画像出力装置、情報処理プログラムおよび記録媒体
US20050275638A1 (en) * 2003-03-28 2005-12-15 Microsoft Corporation Dynamic feedback for gestures
US20060022955A1 (en) * 2004-07-30 2006-02-02 Apple Computer, Inc. Visual expander
JP2008009759A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp タッチパネル装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3969093A (en) * 1992-04-30 1993-11-29 Apple Computer, Inc. Method and apparatus for organizing information in a computer system
US5564004A (en) * 1994-04-13 1996-10-08 International Business Machines Corporation Method and system for facilitating the selection of icons
EP0717344B1 (en) * 1994-12-13 2001-10-31 Microsoft Corporation Taskbar with start menu
US6006227A (en) * 1996-06-28 1999-12-21 Yale University Document stream operating system
US6072486A (en) * 1998-01-13 2000-06-06 Microsoft Corporation System and method for creating and customizing a deskbar
US6160554A (en) * 1998-03-19 2000-12-12 Hewlett Packard Company Computer file content preview window
US7028264B2 (en) * 1999-10-29 2006-04-11 Surfcast, Inc. System and method for simultaneous display of multiple information sources
US6980312B1 (en) * 2000-04-24 2005-12-27 International Business Machines Corporation Multifunction office device having a graphical user interface implemented with a touch screen
US6781611B1 (en) * 2000-06-28 2004-08-24 International Business Machines Corporation Method and system for navigating between applications, documents, and files
US7013432B2 (en) * 2001-04-30 2006-03-14 Broadband Graphics, Llc Display container cell modification in a cell based EUI
US7047500B2 (en) * 2001-11-16 2006-05-16 Koninklijke Philips Electronics N.V. Dynamically configurable virtual window manager
US20040119751A1 (en) * 2002-08-07 2004-06-24 Minolta Co., Ltd. Data input device, image processing device, data input method and computer readable recording medium on which data input program is recorded
JP4173718B2 (ja) * 2002-10-31 2008-10-29 富士通株式会社 ウィンドウ切替装置及びウィンドウ切替プログラム
KR100770936B1 (ko) * 2006-10-20 2007-10-26 삼성전자주식회사 문자 입력 방법 및 이를 위한 이동통신단말기

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0619613A (ja) * 1992-07-06 1994-01-28 Riso Kagaku Corp タッチパネルによる表示画像選択指定方法および装置
JPH06314167A (ja) * 1993-04-27 1994-11-08 Hewlett Packard Co <Hp> 適応接触認識方法
JPH08286879A (ja) * 1995-04-10 1996-11-01 Ricoh Co Ltd タッチパネルの制御方法
JPH1165769A (ja) * 1997-08-25 1999-03-09 Oki Electric Ind Co Ltd タッチパネル表示制御方法及びそれを記録した記録媒体
JP2000172427A (ja) * 1998-12-10 2000-06-23 Nec Corp 誤入力検出機能付き入力装置及び入力装置の誤入力検出方法
JP2000322169A (ja) * 1999-04-30 2000-11-24 Internatl Business Mach Corp <Ibm> グラフィカル・ユーザ・インターフェイスにおけるホットスポット選択方法
JP2002333953A (ja) * 2001-04-23 2002-11-22 Ge Medical Systems Global Technology Co Llc タッチ・ポインティング装置、超音波診断装置および携帯電子装置
JP2002351618A (ja) * 2001-05-29 2002-12-06 Matsushita Electric Ind Co Ltd 機能選択方法およびそれを用いた光ディスク再生装置
US20050275638A1 (en) * 2003-03-28 2005-12-15 Microsoft Corporation Dynamic feedback for gestures
JP2005284379A (ja) * 2004-03-26 2005-10-13 Sharp Corp 情報処理方法、情報処理装置、画像出力装置、情報処理プログラムおよび記録媒体
US20060022955A1 (en) * 2004-07-30 2006-02-02 Apple Computer, Inc. Visual expander
JP2008009759A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp タッチパネル装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011027665A1 (ja) * 2009-09-02 2013-02-04 日本電気株式会社 表示装置
JP5675622B2 (ja) * 2009-09-02 2015-02-25 レノボ・イノベーションズ・リミテッド(香港) 表示装置
JP2013519930A (ja) * 2010-02-10 2013-05-30 アイデント テクノロジー アーゲー 手動入力動作と相関する信号の発生のためのシステムおよび方法
US9189093B2 (en) 2010-02-10 2015-11-17 Microchip Technology Germany Gmbh System and method for the generation of a signal correlated with a manual input operation
JP2013539113A (ja) * 2010-08-24 2013-10-17 クアルコム,インコーポレイテッド 電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置
WO2017169630A1 (ja) * 2016-03-31 2017-10-05 京セラドキュメントソリューションズ株式会社 表示装置
US10642484B1 (en) 2016-03-31 2020-05-05 Kyocera Document Solutions Inc. Display device
JP2018163551A (ja) * 2017-03-27 2018-10-18 京セラドキュメントソリューションズ株式会社 表示制御装置、表示制御方法、及び画像形成装置

Also Published As

Publication number Publication date
US20090201266A1 (en) 2009-08-13

Similar Documents

Publication Publication Date Title
JP2009183592A (ja) 操作情報入力装置および超音波撮像装置
US7573462B2 (en) Image display apparatus, multi display system, coordinate information output method, and program for implementing the method
EP3009986B1 (en) Display method and ultrasound apparatus therefor
JP6070228B2 (ja) 超音波画像診断装置
KR100708505B1 (ko) 초음파 진단 장치
KR101534089B1 (ko) 초음파 진단 장치 및 그 동작방법
US8827909B2 (en) Ultrasound probe
KR20140090283A (ko) 초음파 장치 및 초음파 장치의 정보 입력 방법
EP2742869A1 (en) Ultrasound apparatus and method of inputting information into the same
JP2013041320A (ja) タッチパネル用入力装置およびこれを備えたタッチパネルシステム
JP2020074245A (ja) 指示体検出装置及びその信号処理方法
KR20180098499A (ko) 복수의 디스플레이부를 이용한 정보 제공 방법 및 이를 위한 초음파 장치
TWI553515B (zh) Touch panel systems and electronic information machines
KR20150102589A (ko) 의료 영상 처리 장치, 의료 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
JP2010148811A (ja) 超音波診断装置
JP6530240B2 (ja) 医用画像表示装置及び超音波診断装置
KR101534090B1 (ko) 초음파 장치 및 초음파 장치의 정보 입력 방법
CN111065339B (zh) 超声波诊断装置及超声波诊断装置的控制方法
JP2010142399A (ja) 超音波診断装置
CN106456106B (zh) 超声成像系统触摸屏用户接口
JP5526537B2 (ja) 超音波診断装置
JP7095261B2 (ja) 画像表示処理システム及び画像処理装置
JP4841055B2 (ja) タッチ・ポインティング装置、超音波診断装置および携帯電子装置
CN109069104B (zh) 超声医学检测设备及成像控制方法、成像系统、控制器
KR101860910B1 (ko) 영상 표시 장치, 영상 표시 장치의 제어 방법 및 의료 기기

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20101126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130624