JP2020057273A - 誘導装置、制御システム、および制御プログラム - Google Patents

誘導装置、制御システム、および制御プログラム Download PDF

Info

Publication number
JP2020057273A
JP2020057273A JP2018188383A JP2018188383A JP2020057273A JP 2020057273 A JP2020057273 A JP 2020057273A JP 2018188383 A JP2018188383 A JP 2018188383A JP 2018188383 A JP2018188383 A JP 2018188383A JP 2020057273 A JP2020057273 A JP 2020057273A
Authority
JP
Japan
Prior art keywords
guidance
control
guidance device
destination
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018188383A
Other languages
English (en)
Other versions
JP7124616B2 (ja
Inventor
田中 良平
Ryohei Tanaka
良平 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018188383A priority Critical patent/JP7124616B2/ja
Priority to US16/552,130 priority patent/US10841438B2/en
Priority to CN201910932614.6A priority patent/CN110989826B/zh
Publication of JP2020057273A publication Critical patent/JP2020057273A/ja
Application granted granted Critical
Publication of JP7124616B2 publication Critical patent/JP7124616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00392Other manual input means, e.g. digitisers or writing tablets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215Monitoring of peripheral devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3287Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04162Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/004Details of particular tactile cells, e.g. electro-mechanical or mechanical layout
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/007Teaching or communicating with blind persons using both tactile and audible presentation of the information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00411Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00501Tailoring a user interface [UI] to specific requirements
    • H04N1/00509Personalising for a particular user or group of users, e.g. a workgroup or company
    • H04N1/00514Personalising for a particular user or group of users, e.g. a workgroup or company for individual users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01HELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H9/00Details of switching devices, not covered by groups H01H1/00 - H01H7/00
    • H01H9/18Distinguishing marks on switches, e.g. for indicating switch location in the dark; Adaptation of switches to receive distinguishing marks
    • H01H2009/189Distinguishing marks on switches, e.g. for indicating switch location in the dark; Adaptation of switches to receive distinguishing marks with a tactile symbol or indication, e.g. for blind people
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Facsimiles In General (AREA)

Abstract

【課題】複数のボタンが配置された操作画面を利用したとしても、視覚障害者が操作で戸惑うことなく、次に操作する所定領域を容易に把握する。【解決手段】誘導装置200は、タッチパネル120へのタッチ位置に対して、操作画面上の次の操作を行うための所定領域を目的地とした場合に、本体装置100から受信した、目的地までのタッチ位置に対する相対的位置情報を用いて、目的地に向けた誘導用の仮想力覚を力覚提示部260により発生させる。【選択図】図5B

Description

本発明は、視覚障害者が使用可能な誘導装置、制御システム、および制御プログラムに関する。
一般に、通常のタッチパネルでは視覚障害者は操作ができない。このような問題に対して、特許文献1に開示された技術では、通常モードと視覚障害者モードとを切り替え可能なタッチパネル装置が開示されている。この装置では、ユーザーがヘッドフォンを装着することで、または決定スイッチを操作することで視覚障害者モードに切り替わる。そして、視覚障害者モードでは、タッチパネルにユーザーが触れた際、タッチ情報を制御手段に通知せずに、タッチした位置情報のみを制御手段に通知する。制御手段は、位置情報に相当する画面情報を音声で案内し、希望の画面情報であればユーザーはタッチパネルとは別の決定スイッチをONする。決定スイッチのONに応じてタッチパネル装置は、タッチ情報を制御手段に通知することで、通常モードと同様の操作を行えるようにしている。
また特許文献2に開示された技術では、無線通信可能な指キャップを装着したユーザーが用いた入力装置が開示され、以下の処理を実行している。指キャップを装着したユーザーがタッチパネルにタッチすると、タッチパネル側では、タッチの座標位置の操作種別情報に応じた点字マトリックス信号を指キャップに送信する。そして指キャップ側では、この点字マトリックス信号に応じた立体的な点字模様を内側に発生させる。ユーザーは、内側の点字模様をなぞることで、ボタン(キー)の種類を認識する。
特開2004−271748号公報 特開2000−172408号公報
情報機器の分野においては、対応する機能が年々増加しており、それぞれの機能に対する設定を行うためのボタンの数も増加してきている。また、1つの操作画面に表示するボタンの数も増加している。
引用文献1、2に開示された技術では、次に操作すべきボタンを探すために、操作画面の複数のボタンをひとつひとつ調べなくてはならず、使い勝手がよくない。
本発明は、上記事情に鑑みてなされたものであり、複数のボタンが配置された操作画面を利用したとしても、視覚障害者が操作で戸惑うことなく、次に操作する所定領域を容易に把握できる誘導装置、制御システム、および制御プログラムを提供することを目的とする。
本発明の上記目的は、下記の手段によって達成される。
(1)操作画面へのタッチを検出するタッチパネルを備えた本体装置と通信可能な、ユーザーの手に装着される視覚障害者用の誘導装置であって、
装着したユーザーに仮想力覚を発生させる力覚提示部と、
前記本体装置と無線通信する誘導装置通信部と、
前記タッチパネルへのタッチ位置に対して、前記操作画面上の次の操作を行うための所定領域を目的地とした場合に、前記本体装置から受信した、前記目的地までの前記タッチ位置に対する相対的位置情報を用いて、前記目的地に向けた誘導用の仮想力覚を前記力覚提示部により発生させる誘導制御を行う誘導装置制御部と、
を備えた、誘導装置。
(2)前記誘導装置制御部は、前記相対的位置情報を用いて、前記誘導装置と前記目的地とを結ぶ直線に沿った前記誘導制御を行う、上記(1)に記載の誘導装置。
(3)装着したユーザーの指先を覆う指カバーと、
前記指カバーの内側に配置され、点字情報を表示可能な点字表示部と、を備え、
前記本体装置から受信した、前記タッチパネルのタッチ位置にある前記操作画面の表示内容を前記点字表示部に表示する、上記(1)または上記(2)に記載の誘導装置。
(4)さらに、前記誘導装置の位置情報を検知する位置検知部を備え、
前記誘導装置制御部は、
前記誘導制御の開始時に前記位置検知部が検知した位置情報、および前記本体装置から受信した前記相対的位置情報から算出した前記目的地の位置情報、ならびに、前記位置検知部が検知した現在の位置情報を用いて、前記誘導制御における前記仮想力覚のベクトル方向を補正する、上記(1)から上記(3)のいずれかに記載の誘導装置。
(5)さらに、前記誘導装置の向き、または形状を検知する状態検知部を備え、
前記誘導装置制御部は、前記状態検知部が検知した、前記誘導装置の向き、または形状に応じて前記ベクトル方向を補正する、上記(4)に記載の誘導装置。
(6)操作を受け付ける本体装置、およびユーザーの手に装着される視覚障害者用の誘導装置を備える制御システムであって、
前記本体装置は、
表示面に操作画面を表示するとともに、前記表示面へのタッチを検出するタッチパネルと、
前記誘導装置と無線通信する本体通信部と、
本体制御部と、を備え、
前記誘導装置は、
装着したユーザーに仮想力覚を発生させる力覚提示部と、
前記本体装置と無線通信する誘導装置通信部と、
誘導装置制御部と、を備え、
前記本体制御部は、前記タッチパネルへ前記誘導装置を装着したユーザーによるタッチがなされた場合に、表示している前記操作画面上における、次の操作を行うための所定領域を目的地に設定し、前記目的地までの前記タッチのタッチ位置に対する相対的位置情報を前記誘導装置に送信し、
前記誘導装置制御部は、受信した前記相対的位置情報を用いて、前記目的地に向けた誘導用の仮想力覚を前記力覚提示部により発生させる誘導制御を行う、
制御システム。
(7)前記誘導装置制御部は、前記相対的位置情報を用いて、前記誘導装置と前記目的地とを結ぶ直線に沿った前記誘導制御を行う、上記(6)に記載の制御システム。
(8)前記誘導装置は、
装着したユーザーの指先を覆う指カバーと、
前記指カバーの内側に配置され、点字情報を表示可能な点字表示部と、を備え、
前記本体装置は、前記タッチパネルのタッチ位置にある前記操作画面の表示内容に関する情報を前記誘導装置に送信し、
前記誘導装置は、前記本体装置から受信した前記情報を前記点字表示部に表示する、上記(6)、または上記(7)に記載の制御システム。
(9)前記誘導装置は、さらに、前記誘導装置の位置情報を検知する位置検知部を備え、
前記誘導装置制御部は、前記位置検知部が検知した位置情報に基づいて、前記目的地までの誘導が完了したか否かを判定し、誘導が完了した場合には、前記誘導制御を終了し、前記本体装置から受信した表示内容に関する前記情報を、前記点字表示部で表示する、上記(8)に記載の制御システム。
(10)前記本体制御部は、前記タッチパネルのタッチ位置に基づいて、前記目的地までの誘導が完了したか否かを判定し、誘導が完了した場合には、
前記誘導装置に対して、前記誘導制御の終了要求、および前記タッチ位置にある前記操作画面の表示内容に関する情報を送信し、
前記誘導装置制御部は、前記終了要求を受信することで前記誘導制御を終了するとともに、前記本体装置から受信した表示内容に関する前記情報を、前記点字表示部で表示する、上記(8)に記載の制御システム。
(11)前記誘導装置制御部は、前記誘導制御として、さらに、前記目的地に向けた誘導用の情報を前記点字表示部により表示する、上記(8)から上記(10)のいずれかに記載の制御システム。
(12)前記目的地に設定した、前記所定領域には、複数のボタンが含まれ、
前記本体制御部は、前記目的地までの誘導が完了した場合に、複数の前記ボタンの配置情報を前記点字表示部に表示させる、上記(8)から上記(11)のいずれかに記載の制御システム。
(13)前記誘導装置は、さらに、前記誘導装置の位置情報を検知する位置検知部を備え、
前記誘導装置制御部は、
前記誘導制御の開始時に前記位置検知部が検知した位置情報、および前記本体装置から受信した前記相対的位置情報から算出した前記目的地の位置情報、ならびに、前記位置検知部が検知した現在の位置情報を用いて、前記誘導制御における前記仮想力覚のベクトル方向を補正する、上記(6)から上記(8)のいずれかに記載の制御システム。
(14)前記誘導装置は、さらに、前記誘導装置の向き、または形状状態を検知する状態検知部を備え、
前記誘導装置制御部は、前記状態検知部が検知した、前記誘導装置の向き、または形状に応じて前記ベクトル方向を補正する、上記(13)に記載の制御システム。
(15)前記誘導制御中においては、
前記本体制御部は、前記タッチパネルに前記誘導装置によるタッチがなされた場合には、タッチの位置情報を前記誘導装置に送信し、
前記誘導装置制御部は、前記タッチの位置情報を受信した場合には、前記タッチの位置情報を用いて、前記誘導制御における前記仮想力覚のベクトル方向を補正し、
前記誘導装置制御部は、前記タッチの位置情報を受信しない場合には、前記誘導制御の開始時の前記位置検知部が検知した位置情報、および前記本体装置から受信した前記相対的位置情報から算出した前記目的地の位置情報、ならびに、前記位置検知部が検知した現在の位置情報を用いて、前記誘導制御における前記仮想力覚のベクトル方向を補正する、上記(13)または上記(14)に記載の制御システム。
(16)前記本体制御部は、前記タッチパネルに前記誘導装置によるタッチがされない状態が所定時間以上連続した場合、または、前記誘導装置が所定距離以上、前記タッチパネルから離れた場合には、前記誘導制御を終了する、上記(6)から上記(15)のいずれかに記載の制御システム。
(17)前記タッチパネルの前記表示面の設置角度を変更可能なチルト機構を備え、
前記本体制御部は、前記チルト機構により設定した前記設置角度の情報を前記誘導装置に送信し、
前記誘導装置制御部は、受信した前記設置角度の情報に基づいて、前記目的地の位置を補正する、上記(6)から上記(16)のいずれかに記載の制御システム。
(18)前記操作画面は、階層構造の複数の操作画面を含み、
前記本体制御部は、前記操作画面上のボタンの選択操作に応じて、関連付けられた他の層の操作画面に遷移したときに、遷移した該操作画面上の先頭のボタンを前記所定領域として、前記目的地に設定する、上記(6)から上記(17)のいずれかに記載の制御システム。
(19)前記操作画面には、前記誘導制御を行わない第1の種類の操作画面と、前記誘導制御を行う第2の種類の操作画面が含まれる、上記(6)から上記(18)のいずれかに記載の制御システム。
(20)前記誘導装置は、さらに、スイッチを備え、
前記スイッチがユーザーによって操作されたことに応じて、前記誘導制御を開始する、上記(6)から上記(19)のいずれかに記載の制御システム。
(21)前記スイッチがユーザーによって操作される度に、前記力覚提示部により前記仮想力覚を発生させる、上記(20)に記載の制御システム。
(22)前記本体制御部は、前記操作画面内の前記目的地までユーザーを誘導する前記誘導制御を実行している時は、前記操作画面内において、前記目的地に設定した前記所定領域以外にあるボタンへの操作を無効にし、前記目的地までの誘導が完了した後に、前記所定領域外にある前記ボタンの操作を有効にする、上記(6)から上記(21)のいずれかに記載の制御システム。
(23)前記操作画面は、階層構造の複数の操作画面であって、第1階層の操作画面と、前記第1階層の操作画面の設定項目に関する設定を行う下位の第2階層の操作画面を含み、
前記本体制御部は、前記第1階層の操作画面上のボタンの選択操作に応じて、関連付けられた下位の前記第2階層の操作画面に遷移し、その後、前記設定を終了し、前記第1階層の操作画面に戻った場合、
前記設定を反映した前記設定項目を表示する所定領域を前記目的地として前記誘導制御を行う、上記(6)から上記(22)のいずれかに記載の制御システム。
(24)前記本体制御部は、前記制御システムへのユーザーの対応を促す警告画面を、前記タッチパネルに表示した場合に、
前記警告画面内の警告文の先頭位置を前記目的地として、前記誘導制御を行う、上記(6)から上記(23)のいずれかに記載の制御システム。
(25)前記本体制御部は、点字情報を送信することで、前記タッチパネルへのタッチ位置にある前記操作画面の表示内容をユーザーに通知するとともに、前記タッチパネルとは異なるスイッチへの操作により前記タッチ位置にあるボタンの選択操作を行う視覚障害者モードと、前記タッチパネルへの前記ボタンへのタッチによる該ボタンの選択操作を行う通常モードと、を切り替え可能であり、
前記通常モードと前記視覚障害者モードで、共通の操作画面を表示する、
上記(6)から上記(24)のいずれかに記載の制御システム。
(26)タッチパネルを通じた操作を受け付ける本体装置、および装着したユーザーに仮想力覚を発生させる力覚提示部を備えた誘導装置であって、ユーザーの手に装着される視覚障害者用の誘導装置を備える制御システムを制御するコンピューターで実行される制御プログラムであって、
前記タッチパネルへ前記誘導装置を装着したユーザーによるタッチがなされた場合に、表示している前記操作画面上における、次の操作を行うための所定領域の位置を目的地に設定するステップ(a)と、
前記タッチ位置に対する前記目的地までの相対的位置情報を用いて、前記目的地に向けた誘導用の仮想力覚を前記力覚提示部により発生させる誘導制御を行うステップ(b)と、
を含む制御をコンピューターに実行させるための制御プログラム。
本発明によれば、装着したユーザーに仮想力覚を発生させる力覚提示部を備えた誘導装置において、タッチパネルへのタッチ位置に対して、操作画面上の次の操作を行うための所定領域を目的地とした場合に、目的地までのタッチ位置に対する相対的位置情報を用いて、目的地に向けた誘導用の仮想力覚を力覚提示部により発生させる。これによりユーザーは、次の操作行うための所定領域を容易に把握できるので、迅速に次の操作を行える。
本体装置のハードウェア構成を示すブロック図である。 誘導装置のハードウェア構成を示すブロック図である。 本体装置の外観を示す図である。 チルト機構を備えた、タッチパネルを示す斜視図である。 誘導装置でタッチパネルにタッチした状態を示す斜視図である。 誘導装置の外観を示す斜視図である。 指カバー周辺の断面模式図である。 誘導装置の力覚提示部の各アクチュエータによる仮想力覚を発生させる方向(軸)を示す図である。 アクチュエータの内部構造を示す模式図である。 タッチパネルに表示する操作画面の例である。 図9に対応する点字用の操作画面(点字画像)を示す概念図である。 本実施形態における制御システムで実行される制御を示すフローチャートである。 図11Aに続くフローチャートである。 図11Aに続く、誘導装置で実行されるフローチャートである。 図11AのステップS100のサブルーチンフローチャートである。 タッチパネルに表示する操作画面の例である。 目的地と誘導ベクトルとの関係を説明する模式図である。 タッチパネルに表示する操作画面の例である。 タッチパネルに表示する操作画面の例である。 変形例におけるステップS100のサブルーチンフローチャートである。 タッチパネルに表示する警告画面の例である。 タッチパネルに表示する操作画面の例である。
以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
図1は、本体装置100のハードウェア構成を示すブロック図であり、図2は、誘導装置200(「点字デバイス」とも称される)のハードウェア構成を示すブロック図である。図3は、本体装置100の外観を示す図であり、図4は、チルト機構180の構成を説明するための斜視図である。図5A、図5B、図6、図7、図8は、誘導装置200等の構成を示す図である。これらの図に示すように制御システム500は、本体装置100、および誘導装置200を備える。
(本体装置100)
本体装置100は、例えば複合機(MFP:Multifunction Peripheral)である。図1に示すように本体装置100は、制御部110(本体制御部)、タッチパネル120、記憶部130、プリンター部140、スキャナー部150、ファックス部160、無線通信部170、チルト機構180、およびスピーカー190を備える。
制御部110は、CPU(Central Processing Unit)を備える。記憶部130は、RAM(Random Access Memory)、ROM(Read Only Memory)、およびHDD(Hard Disk Drive)などの補助記憶装置を備える。ROMは、あらかじめ各種プログラムや各種データを格納しておき、RAMは、作業領域として一時的にプログラムやデータを記憶する。CPUは、プログラムにしたがって本体装置100全体の制御を行う。この記憶部130には、階層構造の操作画面を含む複数の操作画面、この操作画面毎の操作禁止エリアの設定、および点字画像データが記憶されている。
タッチパネル120は、タッチスクリーン、または操作パネルとも称されるものであり、液晶スクリーンで構成されるLCD121と、これに重畳され、ユーザーの指の操作を検出するタッチセンサー122とを備える。
タッチセンサー122は、例えば、静電容量方式の検出部であり、ユーザーの指が、タッチパネル120の表面に接触した場合に、静電容量の変化に基づき、指の接触の有無、およびその接触位置(座標)を検出する。また複数本の指による同時タッチ(マルチタッチ)の検出にも対応している。
プリンター部140は、公知の電子写真方式またはインクジェット方式により、印刷データに基づいて用紙上に画像を形成する。
スキャナー部150は、原稿を載置する原稿ガラス、原稿に光を照射する光源と、レンズ等の光学系、および反射した光から画像データを生成するCCD等の光学素子を備える。スキャナー部150は、原稿ガラスに載置した原稿、または自動原稿搬送装置により搬送された原稿の画像を読み取って画像データを生成する。
ファックス部160は、モデム、データアクセス部を備える。モデムは、データアクセス部、および電話回線等の通信回線網に接続されている。データアクセス部は、相手先電話番号に応じたパルス信号を出力する機能を有する。ファックス部160は通信回線網を通じて、相手先のファックス装置と画像データの伝送を行う。
無線通信部170は、「本体通信部」として機能する。この無線通信部170は、BLE(Bluetooth(登録商標) Low Energy)、Bluetooth(登録商標)、IEEE802.11、IrDA等の無線通信インターフェースを備える。また、近距離無線通信として、FeliCa(登録商標)、ISO/IEC 14443(MIFARE(登録商標)の通信方式)、ISO/IEC 18092(NFC:Near Field Communication)等の通信方式を利用してもよい。なお、本体装置100が、これとは別に有線方式のインターフェースとして、イーサネット(登録商標)、FDDI等の規格によるLAN接続用インターフェースや、USB、IEEE1394等のシリアルインターフェースや、SCSI、IEEE1284等のパラレルインターフェース等のインターフェースを備えてもよい。
図3、図4に示すように本体装置100の正面側において、本体パネルに取り付けられたチルト機構180は、タッチパネル120の表示面の設置角度を、変更可能にタッチパネル120を支持する。ユーザーは、タッチパネル120を持ちながら向きを変えることで、設置角度を変更できる。チルト機構180には、アクチュエータと光学センサーから構成される角度検知部181が設けられる。設置角度θxは、例えば0〜90度の範囲内で変更でき、その角度は、数段階程度(例えば5段階)の分解能で角度検知部181により検知される。
スピーカー190は、音声を出力する。具体的には、タッチパネル120に表示面に表示する操作画面の表示内容を、視覚障害者等のユーザーに音声で情報を通知する。
(誘導装置200)
図5Aは、誘導装置200でタッチパネルにタッチした状態を示す斜視図であり、図5Bは、誘導装置200の外観を示す斜視図であり、図6は、指カバー周辺の断面図である。誘導装置200は、制御部210(誘導装置制御部)、点字表示部220、選択操作用の決定スイッチ230、接触センサー240、ジャイロセンサー250、力覚提示部260、無線通信部270、および状態検知部280を備える。
図5A、図5Bに示すように、誘導装置200は、視覚障害者等のユーザーの手に装着されるものである。誘導装置200は、手袋本体部291、装着した状態で人差し指を覆う指カバー292、この手袋本体部291の手の甲に相当する部分に設けられたユニットケース293、および手袋本体部291の手首側に連結した本体部265で構成される。誘導装置200は、手袋本体部291の手首バンド(図示せず)によりユーザーの手に装着される。また、装着した状態で、仮想力覚をユーザーに伝える力覚提示部260の本体部265は、ユーザーの手首に接触するように取付けられる。
指カバー292の先端部には、点字表示部220、決定スイッチ230、および接触センサー240が設けられる。また、ユニットケース293の内部には、制御部210、ジャイロセンサー250、および無線通信部270が設けられる。本体部265の中に力覚提示部260の各電子部品が収納される。これら制御部210等の電子部品は、ユニットケース293内に設けられた二次電池(図示せず)により電力が供給される。
(制御部210)
制御部210は、CPU、RAM、およびROMを備える。無線通信部270は、「誘導装置通信部」として機能し、無線通信により、本体装置100の無線通信部170と通信を行う。このハードウェア構成は、制御部110と同様であり、説明を省略する。
(点字表示部220)
点字表示部220は、指カバー292の内側に配置され、ユーザーに点字の感触を生じさせる立体的な点字模様を表示(具現)する。図6の指カバー292周辺の断面模式図に示すように点字表示部220は、指先に触覚を感じさせる多数のピンが設けられており、このピンの高さ方向の突き出し量は、圧電素子により個別に変更できる。ピンの密度(解像度)は、一般的な点字のピッチ(2〜3mm)よりも高い密度で構成しており、点字模様以外にもテキスト情報や簡単な画像も表示可能である。
(決定スイッチ230)
決定スイッチ230は、点字表示部220に重畳して配置した圧力センサーである。ユーザーが指Fを下方に押し込むことで、圧力センサーにより所定以上の圧力が検知された場合に、制御部210は、ユーザーによって、決定スイッチ230がON(操作する、または押し下げる)されたと判定する。なお決定スイッチ230としては、これに限られず、空いている方の手で操作するタクトスイッチであってもよい。また、その場合、このタクトスイッチをユニットケース293の上部に配置してもよい。
(接触センサー240)
接触センサー240は、指カバー292の指の腹に対応する位置に配置され、指カバー292の外側が、タッチパネル120の表面等の物体に接触したことを検知する。接触センサー240は、例えばマイクロスイッチまたは圧力センサーなどの機械的なセンサーであってもよく、光学的なセンサーであってもよい。また圧力センサーを用いた場合には、所定以上の圧力で物体に接触した場合に、接触したと判定するようにしてもよい。誘導装置200を装着したユーザーが、指カバー292の先端でタッチパネル120等の何らかの物体にタッチした場合には、接触センサー240はそのタッチを検知する。
また、接触センサー240が検知した接触タイミングと、タッチパネル120(タッチセンサー122)の検出タイミングを比較することにより、タッチパネル120へのタッチが、誘導装置200によりなされたものかを判定するようにしてもよい。例えば、制御部110は以下の手法により判定する。
(a)誘導装置200が接触センサー240の出力をモニターし、センサー情報、すなわち何らかの物体への接触タイミングの情報をリアルタイムで、本体装置100に送信する。センサー情報の送信は、所定周期、例えば数十Hzの周期で行うことが好ましい。(b)本体装置100の制御部110は、自装置のタッチパネル120への誘導装置200によるタッチを検出する。このとき、誘導装置200から送信されてくる(a)のセンサー情報の接触タイミングを示す波形と、タッチパネル120へのタッチのタイミングを示す波形が同一であるか否かにより行う。より具体的には、接触センサー240のセンサー情報で非接触から接触に変化したタイミング、およびその後のタッチの継続を示す信号波形が、本体装置100でタッチの検出した信号波形と一致していれば、誘導装置200によりタッチされたものであると判定する。例えば、誘導装置200から、60Hz周期でセンサー情報を受信する場合、本体装置100は、非接触から接触に変化したタイミングが、同一周期あるいは1周期程度(約16msec)以内の差であれば、誘導装置200によるタッチであると判定できる。
なお、以下の各実施形態における制御方法の説明においては、本体装置100は、上述の検出タイミングの比較により、誘導装置200によるタッチであるか否かを判定する。しかしながら、本体装置100が、誘導装置200との間で近距離無線通信(BLE規格等)が確立された期間において、タッチパネル120へ何らかの物体によりタッチがなされた場合には、視覚障害者の誘導装置200によるタッチであるとみなしてもよい。
(ジャイロセンサー250)
ジャイロセンサー250は、位置検知部として機能する。ジャイロセンサー250は、誘導装置200に取り付けられ、誘導装置200の3軸の角速度を検出する。検出した角速度を積分することにより、誘導装置200の相対的な位置、および向きを検出できる。なお、位置検知部としては、ジャイロセンサー250に換えて、またはこれとともに、加速度センサーで構成し、加速度センサーにより相対的な位置を検出するようにしてもよい。
制御部210は、タッチパネル120上のタッチ位置、およびタッチ時のタッチ位置(指先)に対するジャイロセンサー250の「相対的な推定位置」を基準位置として、この基準位置に対する相対的な位置を検出し続ける。この「相対的な推定位置」は、あらかじめ制御部210の記憶部に記憶されており、指を伸ばしながら(図5A参照)タッチパネル120をタッチした際の平均的な誘導装置200の形状(姿勢)から求められるものである。例えば、右手に誘導装置200を装着して指先でタッチパネル120をタッチした場合には、通常は、仮想力覚の発生箇所(本体部265)である手首の位置は、指先よりも十数cm手前右側で、タッチパネル120の表示面よりも数cm浮いた位置(上方)である。なお、この誘導装置200の形状は、後述するように状態検知部280により形状を把握し続けることで、変化分を補正できる。
(力覚提示部260)
力覚提示部260は、誘導装置200を装着したユーザーに対して、制御部210の制御により、任意の方向に向けた仮想力覚を発生させる。力覚提示部260は、3個のアクチュエータ261、262、263、およびこれらのアクチュエータを収納する本体部265を備えて構成される。それぞれのアクチュエータ261、262、263は相互に異なる方向に向けた仮想力覚を発生させるように配置される。例えば、アクチュエータ261、262,263は、それぞれX軸、Y軸、Z軸の相互に直交する方向に向けた仮想力覚を発生させる。各アクチュエータ261、262、263に発生させる仮想力覚の大きさは駆動電圧の大きさで制御する。
図8は仮想力覚を発生させるアクチュエータ261(262、263も同じ)の構造の例である。マグネット51、コイル52、バネ53で構成されている。駆動信号として周期信号をあたえることで、電磁的にコイル52が振動し、さらにバネ53の共振により振動を大きくしている。駆動信号としてデューティー比0.5のPWM(Pulse Width Modulation)信号を入力させると一定周期の振動を起こすことが可能となる。なお、一定周期の振動では仮想力覚は発生しない。
仮想力覚を発生させるために、駆動信号を例えばデューティー比0.8にすることで非対称な加速度の振動を起こすことが可能となり、仮想力覚を発生させることができる。また、デューティー比0.8のときの方向に対して、デューティー比0.2は反対方向の仮想力覚を発生させることができる。図7、図8における矢印の向きは仮想力覚を人間が知覚する方向となる。
また、各軸の+方向に仮想力覚を発生させるか−方向に仮想力覚を発生させるかはPWM変調のデューティー比で制御する。誘導装置200を装着したユーザーは、3つのアクチュエータ261、262、263が発生する仮想力覚がベクトル合成された仮想力覚を知覚する。制御部210は、3つのアクチュエータ261、262、263に発生させる仮想力覚を制御することで、誘導ベクトルに対応した任意の方向、大きさの仮想力覚を発生させることができる。このとき、制御部210は、目的地までの距離が長いほど、仮想力覚を大きくするように制御してもよい。
(無線通信部270)
無線通信部270は、「誘導装置通信部」として機能し、無線通信により、本体装置100の無線通信部170と通信を行う。この構成は、無線通信部170と同様であり、説明を省略する。
(状態検知部280)
状態検知部280は、誘導装置200の形状状態、およびねじり状態(向き)を検知する(「姿勢」ともいう)。具体的には、人差し指を曲げた状態と、伸ばした状態、ねじった状態、等の形状状態を状態検知部280により検知する。構成としては、例えば、糸状の電極を複数、指カバー292と手袋本体部291内に配置したものである。制御部210は、状態検知部280からの出力により形状状態を把握し、指カバー292の先端位置と力覚提示部260との距離を把握する。例えば、人差し指を曲げた状態と、伸ばした状態、ねじった状態に応じて、指カバー292の先端位置と力覚提示部260との距離、および向きが異なることになる。
(点字模様の例)
以下、図9、図10を参照し、点字表示部220で表示する点字模様の例を説明する。図9は、タッチパネル120に表示される操作画面12aの例である。なお、実際の操作画面は後述するように多くのボタン(操作ボタン、操作キー、またはアイコンともいう)が配置されているが、同図では説明のために簡易な画面例としている。複数のボタンb11〜b14(以下、このようなボタンを総称して「ボタンb」ともいう)が配置され視覚的に表示されている。図10は、図9に対応する点字用の点字画像データd1〜d4(以下、これらをまとめて「点字画像データd」ともいう)を表示する点字用の操作画面22a(点字画像)である。点字画像データd1〜d4に含まれる点字情報は、それぞれボタンb11〜b14に示される文字データに一対一に対応している。これらの図9、および後述する操作画面用の画像データは記憶部130に記憶されている。また、図10のような点字用の点字データ(画像データ)は、記憶部130または誘導装置200の記憶部に記憶されている。
通常モードのときには、ユーザーは各ボタンbを指でタッチすることで、各ボタンbに対応した処理を実行できる。例えばボタンb11をタッチすることで、操作画面はコピーに関する設定画面に遷移する。後述する視覚障害者モードでは、誘導装置200を装着したユーザーが指カバー292で、操作画面のボタンbにタッチすることで、対応した点字画像データdが点字表示部220に表示される。具体的には、例えば指カバー292でタッチパネル120表面のボタンb11の枠内(四角枠)のいずれかの位置をタッチすることで、ボタンb11に対応した点字画像データd1が本体装置100から、誘導装置200に無線通信により送信される。そして、誘導装置200は、受信した点字画像データd1を点字表示部220に表示する。なお、図10の例では、点字画像データd1は、6ピンを1組のデータとして6個のピンに対応するデータで構成されている。各データを、点字表示部220により所定時間間隔で順次表示するようにしてもよい。または、ユーザーによるボタンb11内での指先のスライド操作により、6個のデータをスクロールさせながら表示してもよい。さらに、点字画像データd1には、点字情報だけでなく、これら全体を囲む枠線などの図形を含めるようにしてもよい。
(制御方法)
図11A〜図14を参照し、本実施形態に係る制御システム500で実行される視覚障害者モードにおける制御方法について説明する。図11A〜11Cは本体装置100、および誘導装置200で実行される制御を示すフローチャートであり、図12は本体装置100で実行されるステップS100のサブルーチンフローチャートである。
(ステップS100)
ここでは、本体装置100の制御部110と、誘導装置200の制御部210が協働することで、誘導制御開始処理を行う。この誘導制御開始処理は、例えば、以下の(i)から(iii)のいずれかで行える。
(i)誘導装置200が起動し、本体装置100との間で無線通信が確立されることにより誘導制御を開始する。
(ii)上記(i)の無線通信が確立している間に、さらに、誘導装置200からのON信号を受信することにより誘導制御を開始する。また、このときのON信号は、決定スイッチ230のON信号であってもよく、あるいは、別のON信号を用いてもよい。例えば、通常の操作よりも決定スイッチ230が長押しされた場合、または、決定スイッチ230とは別のスイッチ(例えばユニットケース293の上部に配置したタクトスイッチ)がONされることにより、発せられた誘導制御開始用のON信号である。
(iii)以下に説明する図12の処理が行われることに応じて誘導制御を開始する。
(ステップS100のサブルーチン)
(ステップS101)
図12は、一例としてのステップS100に対応する本体装置100側のサブルーチンフローチャートである。同図に示すように、本体装置100は、決定スイッチON信号を誘導制御装置200から受信した場合(YES)(後述するステップS313、S214と同様の処理)には、処理をステップS102に進める。
(ステップS102)
制御部110は、このときの誘導装置200によるタッチ位置のボタンに応じた処理を実行する。図13は、タッチパネルに表示する操作画面の例である。図13(a)に示す操作画面12bはコピー設定を行う基本画面の一例であり、図13(b)はこの操作画面12bの一階層下の操作画面12cである。例えば、決定スイッチON信号を受信した時に、同図に示す操作画面12bでボタンb21をタッチしていれば、これよりも下位の階層の操作画面12cに遷移する。
(ステップS103)
制御部110は、誘導制御を行う操作画面であるか否かを判定する。図13(a)の操作画面12bは、下位層の操作画面ではなく、または、いずれかのボタンbが操作されることによりボップアップ等により表示態様やボタンbの配置が変化するものではない。そして、表示したボタンbをなぞって所望のボタンbを探してもらうものであるため、誘導制御は行わない操作画面である(後述する「第1の種類の操作画面」)。一方で、操作画面12cは、画面遷移後の下位層の画面であり、遷移直後は、ユーザー(視覚障害者)は、ボタンbの配置に関する情報がない。このようなことから、操作画面12cは、誘導制御を行う操作画面(後述する「第2の種類の操作画面」)に分類される。
このような操作画面12cでは、誘導制御を行う操作画面であることから(YES)、処理をステップS104に進める。
(ステップS104)
本体装置100は、誘導装置200に誘導制御開始要求を送信し、その確認信号(ACK信号)を誘導装置200から受信することで、誘導制御を開始し、図11Aの処理に戻す(エンド(リターン))。
(ステップS201)
制御部110は所定領域を目的地に設定し、現在のタッチ位置に対する目的地までの相対的位置情報を、誘導装置200へ送信する。ここで「所定領域」とは、次の選択操作を行うための1つまたは複数のボタンbが配置されている領域であり、ユーザーのタッチ位置を誘導させる領域である。このときに、所定領域に複数のボタンbが含まれ、そのボタンに序列があればその先頭のボタンbまで誘導するようにしてもよい。例えば、図13(b)の画面遷移後の操作画面12cであれば、最初に選択するボタンbが配置された所定領域a10が所定領域である。ここでは、特に、その所定領域a10内の先頭ボタンb22を目的地に設定するものとして説明を行う。
また、この「相対的位置情報」とは、タッチパネル120の表示面上において、現在のタッチ位置の座標に対する、目的地の座標とを結ぶ、距離、方向を示す位置情報である。タッチパネル120の表示面の広がり方向については、角度検知部181の信号に基づいて把握できる。把握した設置角度θxに基づいて、目的地の位置を補正し、補正を反映した目的地に基づいた相対的位置情報としてもよい。
(ステップS202)
また、制御部110は、所定領域a10外のボタンbを無効化する。具体的には、操作禁止エリアa20内のボタンbを無効化し、無効化されたボタンbの位置へのタッチがなされても、ボタンbを機能させず、ボタンbの内容を示す点字情報を誘導装置200に送信しない。この場合、健常者であれば視覚的にはボタンbは認識できる(見える)が、点字情報は表示されないので視覚障害者はボタンbを認識できない状態になる。なお、設定した操作禁止エリアの解除は、誘導制御が終了した時点で行う(後述のステップS206)。
(ステップS301)
誘導装置200の制御部210は、本体装置100のステップS201の処理により「相対的位置情報」を受信することに応じて、仮想力覚のベクトル(以下、「誘導ベクトル」ともいう)を決定する。このとき、指を伸ばしながらタッチパネル120をタッチした際の、通常の(平均的な)誘導装置200の形状(姿勢)、向きに基づく、タッチ位置(指先の位置)と力覚提示部260の仮想力覚の発生箇所(本体部265に対応)との間の距離、方向を考慮して、誘導ベクトルが決定される。
なお、この誘導装置200の形状、向きについては、状態検知部280の出力により判定し、誘導ベクトルの決定に反映するようにしてもよい。例えば、人差し指を伸ばした状態と、曲げた状態では、タッチ位置と、仮想力覚の発生箇所との間の距離、方向が異なるため、この状態検知部280が把握した誘導装置200の向き(主に指の向き)、形状を反映させる。
また、ジャイロセンサー250の位置検出は、誘導制御開始にともない、リセットされ、以降は、リセット時の位置を基準位置として、ジャイロセンサー250による位置の把握が行われる。
(ステップS302)
制御部210は、ステップS301で決定した誘導ベクトルで、力覚提示部260を作動させ仮想力覚をユーザーに提示する。例えば図13(b)の矢印方向に向いた仮想力覚をユーザーに提示する。この仮想力覚は、誘導装置200の仮想力覚の発生箇所と、目的地を結ぶ直線に沿った方向に、その誘導ベクトルが設定されている。この仮想力覚は、所定時間(例えば1秒程度)だけ生じさせるようにしてもよく、継続して連続的に生じさせてもよい。さらに、所定時間だけ、仮想力覚を提示する場合には、決定スイッチの通常の操作、決定スイッチの長押しの操作、または、誘導装置200の別のスイッチを操作された場合に、操作される度に、力覚提示部260により仮想力覚をユーザーに提示するようにしてもよい。ユーザーは、スイッチを操作する度に、仮想力覚を提示されるので、目的地の方向を見失ったような場合に有効である。
(ステップS203、S204)
本体装置100の制御部110は、タッチパネル120へのタッチを検出した場合(YES)、ステップS204でタッチ位置の位置情報を、誘導装置200へ送信する。このタッチ位置の位置情報は、目的地までの相対的な位置情報であってもよい。
(ステップS205)
制御部110は、タッチ位置から目的地に達したか否かを判定し、目的地に達すれば(YES)処理をステップS206に進める。達していなければステップS203以降の処理を繰り返す。なお、誘導装置200の位置検知部、すなわちジャイロセンサー250により検知した位置情報が、目的地と一致することにより、目的地に達したことを判定するようにしてもよい。この場合、誘導装置200は、目的地に達した旨を示す信号を、本体装置100へ送信する。この信号により、制御部110は、ステップS205の判定を行える。
(ステップS206)
制御部110は、目的地に到達することで、誘導制御終了処理を行う。具体的には、誘導装置200へ終了要求信号を送信し、その確認信号(ACK信号)を誘導装置200から受信することで終了する。
(ステップS303)
誘導装置200の制御部210は、ステップS204の処理に応じて、タッチ位置の位置情報を受信したならば(YES)、処理をステップS304に進め、受信しなければ(NO)、処理をステップS305に進める。
(ステップS304)
制御部210は、受信したタッチ位置の位置情報に基づいて、誘導ベクトルを補正する。具体的には、受信した現時点でのタッチ位置と、目的地の位置情報に基づいて、誘導ベクトルをリアルタイムに補正する。また、この時、現在のタッチ位置と、位置検知部が検出した現在の位置に、ずれが生じていれば、逐次、これを補正するようにしてもよい。
(ステップS305)
制御部210は、位置検知部(ジャイロセンサー250)により検知した位置情報に基づいて、誘導ベクトルを補正する。具体的には、現時点の位置情報と目的地の位置情報に基づいて、誘導ベクトルをリアルタイムに補正する。
図14は、目的地と誘導ベクトルとの関係を説明する模式図である。図14(a)は、ある時点での誘導ベクトルと、誘導装置200との関係を示す図である。操作画面12x上のタッチ位置p1に対する仮想力覚の発生箇所p2を考慮して、誘導ベクトルが決定されている。この時点では、誘導ベクトルは目的地に向いている(仮想力覚の発生箇所と、目的地を結ぶ直線に沿う)。
図14(b)ではタッチ位置p1を変更せずに、ユーザーが手の向きを変えることにより誘導装置200の向きが変化した状態を示している。この場合、誘導装置200は、ジャイロセンサー250の出力により仮想力覚の発生箇所p2の位置が変化し、向きが角度θ1だけ変化することに応じて、目的地に向くように図14(b)に示すように誘導ベクトルの方向を同じ角度θ1だけ補正する。
(ステップS306)
制御部210は、ステップS304、またはS305で補正したベクトルを用いて目的地に向けた仮想力覚を、力覚提示部260により発生させ、ユーザーに提示する。
(ステップS307)
ここでは、制御部210は、誘導装置200が、本体装置100(特にタッチパネル120)から一定距離以上離れたかを判定する。この判定は、BLE等の近距離無線通信が確立できない状態に変化することにより判定してもよい。またはジャイロセンサー250の出力に基づいて、誘導装置200が、タッチパネル120から所定距離以上離れることにより判定してもよい。制御部210は、一定距離以上離れたと判定した場合(YES)には、処理をステップS311(丸数字30、図11C)に進め、一定距離以上離れていないと判定した場合(NO)、処理をステップS308に進める。
(ステップS308)
終了要求信号が本体装置100から送られてくれば、制御部210は、誘導制御終了(YES)と判定し、処理をステップS321に進める(丸数字20、図11B)。誘導制御終了でなければ(NO)、処理をステップS303に戻す。
(ステップS311)
図11Cに示すように、制御部210は、誘導制御を一時停止する。
(ステップS312)
制御部210は、誘導制御を一時停止してから一定時間が経過するのを待ち、一定時間経過するまでは、処理をステップS314に進める。一定時間経過したならば処理をステップS313に進める。
(ステップS313)
制御部210は、誘導装置200の電源をOFFして、処理を終了する(エンド)。
(ステップS314)
制御部221は、決定スイッチ230がONされたことを検知した場合(YES)、処理をステップS315に進め、ONされなければ処理をステップS312に戻す。
(ステップS315)
制御部210は、誘導制御の再開を判定し、処理をステップS303に戻す(丸数字31、図11A)。
(表示処理)
図11Bに示す処理は、目的地までの誘導が完了した場合に行われる表示処理に関するものである。
(ステップS211)
制御部110は、タッチ位置に操作するボタンが並んでいるか否かを判定し、並んでなければ(NO)処理をステップS212に進め、並んでいれば(YES)処理をステップS213に進める。
(ステップS212)
本体装置100は、タッチ位置の表示内容に関する情報、すなわちタッチ位置のボタンを示す点字情報を送信する。
(ステップS213)
本体装置100は、ボタンの配置情報として、所定領域a10内のボタン並びを示す配置情報に関する点字情報を送信する。
(ステップS321)
誘導装置200は、受信した点字情報を点字表示部220で表示する。図15は、タッチパネルに表示する操作画面12cの例であり、同図では、ステップS213で送信された配置情報として、「ボタンの並び:縦方向」の点字画像データd11を、点字表示部220に表示した状態を模式的に示している。この配置情報は、あくまでも例示であり、所定領域内にあるボタンbの総数、または現時点でタッチしているボタンbに対しての他のボタンbの位置、方向、もしくはその方向の数を用いてもよい。例えば、「総数5個」、または「下方向に4個」を表す点字情報である。
ステップS321で、配置情報に関する点字情報を表示した場合には、所定期間経過後に表示を停止するようにしてもよい。例えば所定領域に到達してから数秒経過後に、誘導装置200による配置情報の表示を終了させ、その後は、本体装置100は、誘導装置200に、タッチ位置のボタンbを示す点字情報を表示させる。
(ステップS322)
ユーザーは、点字表示部220の表示内容から、ボタンbの内容を認識する。所望のボタンbであれば、決定スイッチ230をONする。制御部210は、決定スイッチ230がONされた場合(YES)には、処理をステップS323に進める。ONされない場合(NO)には、処理をステップS321に戻す。
(ステップS323)
誘導装置200は、決定スイッチON信号を本体装置100に送信する。
(ステップS214)
本体装置100の制御部110は、決定スイッチON信号を受信した場合(YES)、処理をステップS215に進める。受信しない場合(NO)には、処理をステップS212に戻す。
(ステップS215)
制御部110は、このときの誘導装置200によるタッチ位置のボタンに応じた処理を実行し、処理を終了する(エンド)。
また、以下に説明するように、このとき、処理が反映された領域を所定領域とし、これを目的地とした次の誘導制御を開始するようにしてもよい。図16は、タッチパネルに表示する操作画面12bの例であり、同図では、順次行う誘導制御の目的地の遷移を示している。図16において、誘導制御1(図の丸数字の1(以下、同じ))が終了した後、ボタンb23をタッチしながら、決定スイッチをONすることで、ボタンb23が選択され、このボタンb23に応じた処理を実行する(ステップS214、S215)。その後、ボタンb24を目的地とした、次の誘導制御2を行う。そして同様にボタンb24が選択されることで、ボタンb25に向けた誘導制御3を行い、その後、ボタンb25が選択されることで設定値が変更(「8.5×11」)され、反映されたことを示す次の目的地までの誘導制御4を行う。
このように、本実施形態においては、装着したユーザーに仮想力覚を発生させる力覚提示部260を備えた誘導装置200は、タッチパネル120へのタッチ位置に対して、操作画面上の次の操作を行うための位置を目的地とした場合に、目的地までのタッチ位置に対する相対的位置情報を用いて、目的地に向けた誘導用の仮想力覚を力覚提示部260により発生させる。これによりユーザーは、次の操作行うための位置を感覚的に容易に把握できるので、迅速に次の操作を行える。特に、タッチ位置と目的地との間を直線的に結ぶ方向に沿った誘導制御を行うことで、最短距離で誘導するので、誘導時間を短縮できる。
また、位置検知部(ジャイロセンサー250)により、誘導制御開始時、および現在の位置を検出する。そして、誘導制御開始時に検知した位置を基準位置とし、この基準位置、現在の位置、および目的地の位置情報とに基づいて、仮想力覚の誘導ベクトルをリアルタイムに補正する。これにより、より精度よく、誘導制御を行える。また、誘導制御中に誘導装置200によるタッチパネル120へのタッチがあれば、タッチ位置に基づいて誘導制御の誘導ベクトルをリアルタイムに補正する。これにより、より精度よく、誘導制御を行える。
また、状態検知部280が検知した、誘導装置200の向き、または形状に応じて、指先のタッチ位置と、仮想力覚の発生箇所との距離、向きの変化を把握し、把握した変化により、誘導ベクトルを補正する。これにより、さらに精度よく、誘導制御を行える。
また、本実施形態においては、健常者が使用する操作画面(12a、12b、12c等)を、視覚障害者がそのまま共通に使用している。これは、通常モードと視覚障害者モードで操作画面の表示内容を共通にすることで、視覚障害者モード向けに新たに操作画面を準備する必要がないので、表示用のデータ作成に関する工数を削減できる。
しかしながら、健常者と同じUI(ユーザーインターフェース)を用いる場合には、一般にボタンの数が多くなりがちである。しかしながら、視覚障害者は、各ボタンの内容を知るには一つ一つのボタンを指先でタッチし、ボタンの内容に応じた点字情報を、誘導装置200を通じて読み取る必要があり、多くのボタンを読み取らせるのは不親切である。このような状況を鑑み、本実施形態においては、記憶部130に記憶されている設定情報に基づいて、所定領域外を、操作禁止エリアを設定する。そして、そのエリア内にあるボタン等は、ないものとして、以降の操作を禁止し、誘導装置200による点字表示も行わない。このようにすることで、視覚障害者は、必要な情報のみ取得できるので、本体装置100の操作を容易に行うことができる。
(変形例)
次に変形例について説明する。変形例は、警告画面を表示する場合に行う誘導制御である。図17は、変形例における本体装置の制御を示すサブルーチンフローチャートである。
(ステップS111)
制御部110は、本体装置100において、印刷用の用紙無し、トナー無し、等の消耗品の枯渇、または、用紙ジャム等の不具合の発生を検出する。不具合が発生し、ユーザーに対応を促す警告画面を表示すれば(YES)、処理をステップS112に進める。
(ステップS112)
図18は、タッチパネル120に表示する警告画面12dの例であり、プリンター部140で使用するトナー無しが発生した場合に表示する。なお、このときに、制御部110は、スピーカー190により警告音を出力してもよい。警告音は、ビープ音でもよく、警告文の内容を説明する音声であってもよい。
制御部110は、図18のような警告画面12dにおいて、警告文の先頭位置にユーザーを誘導する。図18において、「トナー補給」の1文字目の「ト」の文字が警告文の先頭位置であり、制御部110は、この先頭位置を所定領域に設定する。
本体装置100は、ステップS104と同様に、誘導装置200に誘導制御開始要求を送信し、その確認信号(ACK信号)を誘導装置200から受信することで、誘導制御を開始し、図11Aの処理に戻し、ステップS100以降の処理を行う(エンド(リターン))。
このように、変形例においては、警告画面を表示する場合に警告文の先頭文字に向けた誘導制御を実行する。これにより、不具合が発生し警告画面に切り替わった場合に、ユーザーは制御システム500の状況を容易に把握できるので、健常者が用いる操作画面を視覚障害者と共用したとしても、視覚障害者は戸惑うことなく利用できる。
(その他)
上述した、通常モードと、視覚障害者モードで共通に使用する操作画面には、誘導制御を行わない第1の種類の操作画面と、誘導制御を行う第2の種類の操作画面が含まれる。図19は、誘導制御を行わない第1の種類の操作画面12b、12eの例である。一方で、操作画面12c、12c2(図15、図16)、操作画面12dは、誘導制御を行う第2の種類の操作画面である。
この第1の種類の操作画面12b、12eは、下位層の操作画面ではなく、また、いずれかのボタンbが操作されることによりボップアップ等により表示態様やボタンbの配置が変化するものではない。そして、表示したボタンbをなぞって所望のボタンbを探してもらうものであるため、誘導制御は行わない。一方で、第2の種類の操作画面12c(12c2)、12dは、画面遷移後の下位層の画面であり、遷移直後は、ユーザー(視覚障害者)は、ボタンbの配置に関する情報がない。そのため誘導制御を行う。
以上に説明した本体装置100、および誘導装置200を備える制御システム500の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、以下に説明するように種々改変することができる。また、一般的な本体装置100や誘導装置200が備える構成を排除するものではない。
例えば、上述の実施形態においては、誘導装置200の点字表示部220とともに、スピーカー190を用いてもよい。具体的には、各実施形態で表示した、操作画面の表示内容をスピーカーによって、音声でも視覚障害者に通知する。また、上述の実施形態においては、力覚提示部260による仮想力覚により、目的地までの誘導制御を行ったが、これとともに、点字表示部220による点字表示による誘導制御も行うようにしてもよい。例えば、13(b)の例では、左上に向けた「ひだり」、または「うえ」の点字表示を行い、目的地までの誘導を行う。
上述した各実施形態および各変形例に係る、誘導装置、本体装置、および制御システムにおける各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、CD−ROM(Compact Disc Read Only Memory)等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、制御システムの一機能としてその装置のソフトウエアに組み込まれてもよい。
500 制御システム
100 本体装置
110 制御部
120 タッチパネル
130 記憶部
140 プリンター部
150 スキャナー部
160 ファックス部
170 無線通信部
180 チルト機構
190 スピーカー
200 誘導装置
210 制御部
220 点字表示部
230 決定スイッチ
240 接触センサー
250 ジャイロセンサー
260 力覚提示部
261、262、263 アクチュエータ
265 本体部
270 無線通信部
280 状態検知部
291 手袋本体部
292 指カバー
293 ユニットケース

Claims (26)

  1. 操作画面へのタッチを検出するタッチパネルを備えた本体装置と通信可能な、ユーザーの手に装着される視覚障害者用の誘導装置であって、
    装着したユーザーに仮想力覚を発生させる力覚提示部と、
    前記本体装置と無線通信する誘導装置通信部と、
    前記タッチパネルへのタッチ位置に対して、前記操作画面上の次の操作を行うための所定領域を目的地とした場合に、前記本体装置から受信した、前記目的地までの前記タッチ位置に対する相対的位置情報を用いて、前記目的地に向けた誘導用の仮想力覚を前記力覚提示部により発生させる誘導制御を行う誘導装置制御部と、
    を備えた、誘導装置。
  2. 前記誘導装置制御部は、前記相対的位置情報を用いて、前記誘導装置と前記目的地とを結ぶ直線に沿った前記誘導制御を行う、請求項1に記載の誘導装置。
  3. 装着したユーザーの指先を覆う指カバーと、
    前記指カバーの内側に配置され、点字情報を表示可能な点字表示部と、を備え、
    前記本体装置から受信した、前記タッチパネルのタッチ位置にある前記操作画面の表示内容を前記点字表示部に表示する、請求項1または請求項2に記載の誘導装置。
  4. さらに、前記誘導装置の位置情報を検知する位置検知部を備え、
    前記誘導装置制御部は、
    前記誘導制御の開始時に前記位置検知部が検知した位置情報、および前記本体装置から受信した前記相対的位置情報から算出した前記目的地の位置情報、ならびに、前記位置検知部が検知した現在の位置情報を用いて、前記誘導制御における前記仮想力覚のベクトル方向を補正する、請求項1から請求項3のいずれかに記載の誘導装置。
  5. さらに、前記誘導装置の向き、または形状を検知する状態検知部を備え、
    前記誘導装置制御部は、前記状態検知部が検知した、前記誘導装置の向き、または形状に応じて前記ベクトル方向を補正する、請求項4に記載の誘導装置。
  6. 操作を受け付ける本体装置、およびユーザーの手に装着される視覚障害者用の誘導装置を備える制御システムであって、
    前記本体装置は、
    表示面に操作画面を表示するとともに、前記表示面へのタッチを検出するタッチパネルと、
    前記誘導装置と無線通信する本体通信部と、
    本体制御部と、を備え、
    前記誘導装置は、
    装着したユーザーに仮想力覚を発生させる力覚提示部と、
    前記本体装置と無線通信する誘導装置通信部と、
    誘導装置制御部と、を備え、
    前記本体制御部は、前記タッチパネルへ前記誘導装置を装着したユーザーによるタッチがなされた場合に、表示している前記操作画面上における、次の操作を行うための所定領域を目的地に設定し、前記目的地までの前記タッチのタッチ位置に対する相対的位置情報を前記誘導装置に送信し、
    前記誘導装置制御部は、受信した前記相対的位置情報を用いて、前記目的地に向けた誘導用の仮想力覚を前記力覚提示部により発生させる誘導制御を行う、
    制御システム。
  7. 前記誘導装置制御部は、前記相対的位置情報を用いて、前記誘導装置と前記目的地とを結ぶ直線に沿った前記誘導制御を行う、請求項6に記載の制御システム。
  8. 前記誘導装置は、
    装着したユーザーの指先を覆う指カバーと、
    前記指カバーの内側に配置され、点字情報を表示可能な点字表示部と、を備え、
    前記本体装置は、前記タッチパネルのタッチ位置にある前記操作画面の表示内容に関する情報を前記誘導装置に送信し、
    前記誘導装置は、前記本体装置から受信した前記情報を前記点字表示部に表示する、請求項6、または請求項7に記載の制御システム。
  9. 前記誘導装置は、さらに、前記誘導装置の位置情報を検知する位置検知部を備え、
    前記誘導装置制御部は、前記位置検知部が検知した位置情報に基づいて、前記目的地までの誘導が完了したか否かを判定し、誘導が完了した場合には、前記誘導制御を終了し、前記本体装置から受信した表示内容に関する前記情報を、前記点字表示部で表示する、請求項8に記載の制御システム。
  10. 前記本体制御部は、前記タッチパネルのタッチ位置に基づいて、前記目的地までの誘導が完了したか否かを判定し、誘導が完了した場合には、
    前記誘導装置に対して、前記誘導制御の終了要求、および前記タッチ位置にある前記操作画面の表示内容に関する情報を送信し、
    前記誘導装置制御部は、前記終了要求を受信することで前記誘導制御を終了するとともに、前記本体装置から受信した表示内容に関する前記情報を、前記点字表示部で表示する、請求項8に記載の制御システム。
  11. 前記誘導装置制御部は、前記誘導制御として、さらに、前記目的地に向けた誘導用の情報を前記点字表示部により表示する、請求項8から請求項10のいずれかに記載の制御システム。
  12. 前記目的地に設定した、前記所定領域には、複数のボタンが含まれ、
    前記本体制御部は、前記目的地までの誘導が完了した場合に、複数の前記ボタンの配置情報を前記点字表示部に表示させる、請求項8から請求項11のいずれかに記載の制御システム。
  13. 前記誘導装置は、さらに、前記誘導装置の位置情報を検知する位置検知部を備え、
    前記誘導装置制御部は、
    前記誘導制御の開始時に前記位置検知部が検知した位置情報、および前記本体装置から受信した前記相対的位置情報から算出した前記目的地の位置情報、ならびに、前記位置検知部が検知した現在の位置情報を用いて、前記誘導制御における前記仮想力覚のベクトル方向を補正する、請求項6から請求項8のいずれかに記載の制御システム。
  14. 前記誘導装置は、さらに、前記誘導装置の向き、または形状状態を検知する状態検知部を備え、
    前記誘導装置制御部は、前記状態検知部が検知した、前記誘導装置の向き、または形状に応じて前記ベクトル方向を補正する、請求項13に記載の制御システム。
  15. 前記誘導制御中においては、
    前記本体制御部は、前記タッチパネルに前記誘導装置によるタッチがなされた場合には、タッチの位置情報を前記誘導装置に送信し、
    前記誘導装置制御部は、前記タッチの位置情報を受信した場合には、前記タッチの位置情報を用いて、前記誘導制御における前記仮想力覚のベクトル方向を補正し、
    前記誘導装置制御部は、前記タッチの位置情報を受信しない場合には、前記誘導制御の開始時の前記位置検知部が検知した位置情報、および前記本体装置から受信した前記相対的位置情報から算出した前記目的地の位置情報、ならびに、前記位置検知部が検知した現在の位置情報を用いて、前記誘導制御における前記仮想力覚のベクトル方向を補正する、請求項13または請求項14に記載の制御システム。
  16. 前記本体制御部は、前記タッチパネルに前記誘導装置によるタッチがされない状態が所定時間以上連続した場合、または、前記誘導装置が所定距離以上、前記タッチパネルから離れた場合には、前記誘導制御を終了する、請求項6から請求項15のいずれかに記載の制御システム。
  17. 前記タッチパネルの前記表示面の設置角度を変更可能なチルト機構を備え、
    前記本体制御部は、前記チルト機構により設定した前記設置角度の情報を前記誘導装置に送信し、
    前記誘導装置制御部は、受信した前記設置角度の情報に基づいて、前記目的地の位置を補正する、請求項6から請求項16のいずれかに記載の制御システム。
  18. 前記操作画面は、階層構造の複数の操作画面を含み、
    前記本体制御部は、前記操作画面上のボタンの選択操作に応じて、関連付けられた他の層の操作画面に遷移したときに、遷移した該操作画面上の先頭のボタンを前記所定領域として、前記目的地に設定する、請求項6から請求項17のいずれかに記載の制御システム。
  19. 前記操作画面には、前記誘導制御を行わない第1の種類の操作画面と、前記誘導制御を行う第2の種類の操作画面が含まれる、請求項6から請求項18のいずれかに記載の制御システム。
  20. 前記誘導装置は、さらに、スイッチを備え、
    前記スイッチがユーザーによって操作されたことに応じて、前記誘導制御を開始する、請求項6から請求項19のいずれかに記載の制御システム。
  21. 前記スイッチがユーザーによって操作される度に、前記力覚提示部により前記仮想力覚を発生させる、請求項20に記載の制御システム。
  22. 前記本体制御部は、前記操作画面内の前記目的地までユーザーを誘導する前記誘導制御を実行している時は、前記操作画面内において、前記目的地に設定した前記所定領域以外にあるボタンへの操作を無効にし、前記目的地までの誘導が完了した後に、前記所定領域外にある前記ボタンの操作を有効にする、請求項6から請求項21のいずれかに記載の制御システム。
  23. 前記操作画面は、階層構造の複数の操作画面であって、第1階層の操作画面と、前記第1階層の操作画面の設定項目に関する設定を行う下位の第2階層の操作画面を含み、
    前記本体制御部は、前記第1階層の操作画面上のボタンの選択操作に応じて、関連付けられた下位の前記第2階層の操作画面に遷移し、その後、前記設定を終了し、前記第1階層の操作画面に戻った場合、
    前記設定を反映した前記設定項目を表示する所定領域を前記目的地として前記誘導制御を行う、請求項6から請求項22のいずれかに記載の制御システム。
  24. 前記本体制御部は、前記制御システムへのユーザーの対応を促す警告画面を、前記タッチパネルに表示した場合に、
    前記警告画面内の警告文の先頭位置を前記目的地として、前記誘導制御を行う、請求項6から請求項23のいずれかに記載の制御システム。
  25. 前記本体制御部は、点字情報を送信することで、前記タッチパネルへのタッチ位置にある前記操作画面の表示内容をユーザーに通知するとともに、前記タッチパネルとは異なるスイッチへの操作により前記タッチ位置にあるボタンの選択操作を行う視覚障害者モードと、前記タッチパネルへの前記ボタンへのタッチによる該ボタンの選択操作を行う通常モードと、を切り替え可能であり、
    前記通常モードと前記視覚障害者モードで、共通の操作画面を表示する、
    請求項6から請求項24のいずれかに記載の制御システム。
  26. タッチパネルを通じた操作を受け付ける本体装置、および装着したユーザーに仮想力覚を発生させる力覚提示部を備えた誘導装置であって、ユーザーの手に装着される視覚障害者用の誘導装置を備える制御システムを制御するコンピューターで実行される制御プログラムであって、
    前記タッチパネルへ前記誘導装置を装着したユーザーによるタッチがなされた場合に、表示している前記操作画面上における、次の操作を行うための所定領域の位置を目的地に設定するステップ(a)と、
    前記タッチ位置に対する前記目的地までの相対的位置情報を用いて、前記目的地に向けた誘導用の仮想力覚を前記力覚提示部により発生させる誘導制御を行うステップ(b)と、
    を含む制御をコンピューターに実行させるための制御プログラム。
JP2018188383A 2018-10-03 2018-10-03 誘導装置、制御システム、および制御プログラム Active JP7124616B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018188383A JP7124616B2 (ja) 2018-10-03 2018-10-03 誘導装置、制御システム、および制御プログラム
US16/552,130 US10841438B2 (en) 2018-10-03 2019-08-27 Guide device, control system, and recording medium
CN201910932614.6A CN110989826B (zh) 2018-10-03 2019-09-29 引导装置、控制系统以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018188383A JP7124616B2 (ja) 2018-10-03 2018-10-03 誘導装置、制御システム、および制御プログラム

Publications (2)

Publication Number Publication Date
JP2020057273A true JP2020057273A (ja) 2020-04-09
JP7124616B2 JP7124616B2 (ja) 2022-08-24

Family

ID=70051366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018188383A Active JP7124616B2 (ja) 2018-10-03 2018-10-03 誘導装置、制御システム、および制御プログラム

Country Status (3)

Country Link
US (1) US10841438B2 (ja)
JP (1) JP7124616B2 (ja)
CN (1) CN110989826B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021193632A1 (ja) 2020-03-27 2021-09-30 日本製鉄株式会社 溶融亜鉛めっき鋼板
JP2022002035A (ja) * 2020-06-22 2022-01-06 コニカミノルタ株式会社 画像形成システム、画像形成装置、振動装置、振動装置の振動方法およびプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102414497B1 (ko) 2017-09-29 2022-06-29 애플 인크. Imu 기반 장갑
US10914567B2 (en) * 2018-02-23 2021-02-09 Apple Inc. Magnetic sensor based proximity sensing
JP2023514778A (ja) * 2020-02-21 2023-04-10 フリーダム サイエンティフィック インコーポレイテッド 点字タブレット用ディスプレイ
US11640769B2 (en) * 2020-05-29 2023-05-02 Abenezer Ayana Modular refreshable braille display system
US11681373B1 (en) * 2021-12-08 2023-06-20 International Business Machines Corporation Finger movement management with haptic feedback in touch-enabled devices
CN114067638B (zh) * 2022-01-17 2022-04-15 南京信息工程大学 一种用于盲人在触摸屏上感知虚拟信息的绳驱动装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172408A (ja) * 1998-12-07 2000-06-23 Fuji Electric Co Ltd 機器の入力装置
JP2003058321A (ja) * 2001-08-17 2003-02-28 Fuji Xerox Co Ltd タッチパネル装置
JP2006302092A (ja) * 2005-04-22 2006-11-02 Canon Inc 情報処理装置
JP2007302213A (ja) * 2006-05-15 2007-11-22 Toyota Motor Corp 車両用入力装置
JP2014164518A (ja) * 2013-02-25 2014-09-08 Nippon Hoso Kyokai <Nhk> 提示装置
JP2015219361A (ja) * 2014-05-16 2015-12-07 株式会社ミツトヨ 情報伝達用グローブ及び情報伝達システム
US20170316717A1 (en) * 2016-04-27 2017-11-02 Abdelrazek Tarek Abdelrazek Aly Semi-wearable Device for Interpretation of Digital Content for the Visually Impaired
JP2018084920A (ja) * 2016-11-22 2018-05-31 コニカミノルタ株式会社 作業補助システム、画像形成装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4085691B2 (ja) * 2002-05-17 2008-05-14 セイコーエプソン株式会社 画像処理装置
JP2004213350A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
JP3747915B2 (ja) 2003-03-06 2006-02-22 日本電気株式会社 タッチパネル装置
US20060119578A1 (en) * 2004-11-11 2006-06-08 Thenkurussi Kesavadas System for interfacing between an operator and a virtual object for computer aided design applications
CN101133385B (zh) * 2005-03-04 2014-05-07 苹果公司 手持电子设备、手持设备及其操作方法
US20110210931A1 (en) * 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
WO2010032223A1 (en) * 2008-09-20 2010-03-25 Saar Shai Finger-worn device and interaction methods and communication methods
JP5075240B2 (ja) * 2010-08-27 2012-11-21 シャープ株式会社 操作装置、画像処理装置、及び、表示方法
JP5772773B2 (ja) * 2012-09-19 2015-09-02 コニカミノルタ株式会社 画像処理装置、操作標準化方法および操作標準化プログラム
WO2015047400A1 (en) * 2013-09-30 2015-04-02 Hewlett-Packard Development Company, L.P. Encoding information in a graphical element of an image
JP6488591B2 (ja) * 2014-08-27 2019-03-27 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
KR101650099B1 (ko) * 2015-07-23 2016-08-23 린츠 주식회사 시각장애인용 착용형 햅틱 패턴 디스플레이 장치
KR102479462B1 (ko) * 2015-12-07 2022-12-21 삼성전자주식회사 플렉서블 전자장치 및 그 동작 방법
JP6915285B2 (ja) * 2017-01-30 2021-08-04 ブラザー工業株式会社 画像処理装置、画像処理装置のプログラムおよび画像処理システム
KR102357972B1 (ko) * 2017-06-29 2022-02-04 애플 인크. 센서들 및 햅틱들을 갖는 핑거 장착형 디바이스
US20200050342A1 (en) * 2018-08-07 2020-02-13 Wen-Chieh Geoffrey Lee Pervasive 3D Graphical User Interface

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172408A (ja) * 1998-12-07 2000-06-23 Fuji Electric Co Ltd 機器の入力装置
JP2003058321A (ja) * 2001-08-17 2003-02-28 Fuji Xerox Co Ltd タッチパネル装置
JP2006302092A (ja) * 2005-04-22 2006-11-02 Canon Inc 情報処理装置
JP2007302213A (ja) * 2006-05-15 2007-11-22 Toyota Motor Corp 車両用入力装置
JP2014164518A (ja) * 2013-02-25 2014-09-08 Nippon Hoso Kyokai <Nhk> 提示装置
JP2015219361A (ja) * 2014-05-16 2015-12-07 株式会社ミツトヨ 情報伝達用グローブ及び情報伝達システム
US20170316717A1 (en) * 2016-04-27 2017-11-02 Abdelrazek Tarek Abdelrazek Aly Semi-wearable Device for Interpretation of Digital Content for the Visually Impaired
JP2018084920A (ja) * 2016-11-22 2018-05-31 コニカミノルタ株式会社 作業補助システム、画像形成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021193632A1 (ja) 2020-03-27 2021-09-30 日本製鉄株式会社 溶融亜鉛めっき鋼板
JP2022002035A (ja) * 2020-06-22 2022-01-06 コニカミノルタ株式会社 画像形成システム、画像形成装置、振動装置、振動装置の振動方法およびプログラム

Also Published As

Publication number Publication date
CN110989826B (zh) 2023-07-21
US20200112646A1 (en) 2020-04-09
CN110989826A (zh) 2020-04-10
US10841438B2 (en) 2020-11-17
JP7124616B2 (ja) 2022-08-24

Similar Documents

Publication Publication Date Title
CN110989826B (zh) 引导装置、控制系统以及记录介质
JP7411133B2 (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
JP6654743B2 (ja) 電子機器、電子機器の操作制御方法および操作制御プログラム
CN105589594B (zh) 电子装置和电子装置的操作控制方法
US20060007124A1 (en) Disposing identifying codes on a user&#39;s hand to provide input to an interactive display application
WO2013088725A1 (en) Head-mounted display and information display apparatus
JP5927867B2 (ja) 表示システム、及び操作入力方法
JP6157080B2 (ja) データ処理装置、データ処理方法、及びプログラム
JP2004078961A (ja) 電気機器とユーザとのインタフェースを容易にする方法および電気機器用ユーザインタフェース
US10928906B2 (en) Data entry device for entering characters by a finger with haptic feedback
JP2014515147A (ja) 拡張現実のためのジェスチャベースユーザインターフェース
JP2008204275A (ja) 入力操作装置および入力操作方法
JP2002342035A (ja) タッチパネル入力装置および画像記録装置
JP2012064066A (ja) 携帯端末
JP2003337962A (ja) 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
JP2004062867A (ja) 機能制御装置およびその方法
US20200168121A1 (en) Device for Interpretation of Digital Content for the Visually Impaired
KR102053367B1 (ko) 웨어러블 인터페이스 장치
JP7135613B2 (ja) 点字デバイス制御システム、点字デバイス、および点字デバイス制御システムの制御方法
EP3293624A1 (en) Input device and method
JP7070105B2 (ja) 制御システム、および制御プログラム
JP2018047626A (ja) 画像形成装置、情報処理装置及び情報処理システム
JP7087821B2 (ja) 制御システム、複合機、および制御プログラム
JP5630172B2 (ja) タッチパネルを用いた入力装置
JP6841180B2 (ja) 点字デバイス連携システム、点字デバイス、および点字デバイス連携システムの制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220725

R150 Certificate of patent or registration of utility model

Ref document number: 7124616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150