JP2013120439A - 携帯端末、出力制御システム、出力制御プログラム、出力制御方法 - Google Patents

携帯端末、出力制御システム、出力制御プログラム、出力制御方法 Download PDF

Info

Publication number
JP2013120439A
JP2013120439A JP2011267099A JP2011267099A JP2013120439A JP 2013120439 A JP2013120439 A JP 2013120439A JP 2011267099 A JP2011267099 A JP 2011267099A JP 2011267099 A JP2011267099 A JP 2011267099A JP 2013120439 A JP2013120439 A JP 2013120439A
Authority
JP
Japan
Prior art keywords
data
output
external device
mobile terminal
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011267099A
Other languages
English (en)
Other versions
JP5870661B2 (ja
Inventor
Michiko Fujii
美千子 藤井
Atsushi Murata
淳 村田
Koji Suzuki
浩二 鈴木
Takayuki Kunieda
孝之 國枝
Keiya Shibata
啓也 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2011267099A priority Critical patent/JP5870661B2/ja
Priority to CN201210517922.0A priority patent/CN103197865B/zh
Priority to US13/706,714 priority patent/US8780398B2/en
Publication of JP2013120439A publication Critical patent/JP2013120439A/ja
Application granted granted Critical
Publication of JP5870661B2 publication Critical patent/JP5870661B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00392Other manual input means, e.g. digitisers or writing tablets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1204Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1253Configuration of print job parameters, e.g. using UI at the client
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292Mobile client, e.g. wireless printing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】携帯端末の操作表示画面を目視しなくても直感的にデータの出力指示を行うことができるようにする。
【解決手段】携帯端末10は、情報の表示及び操作入力の受付を行うタッチパネルディスプレー17と、タッチパネルディスプレー17の操作を検知するタッチセンサ16と、携帯端末10の動作を検知する加速度センサ15と、出力対象のデータを選択するデータ選択手段と、選択された前記データの出力先の外部装置を決定する出力先決定手段と、加速度センサ15による動作が検知された場合に、前外部装置への前記データの出力を指示する出力指示部21とを備える。
【選択図】図1

Description

本発明は、直感的な操作によって、画像形成装置やプロジェクタ等の外部装置を制御することができる携帯端末、出力制御システム、出力制御プログラム、出力制御方法に関する。
スマートフォンやPDA等の携帯端末が普及した結果、文書の作成や、WEBページの閲覧、画像の編集といった高機能な操作も携帯端末を通じて行うことが可能となってきた。その結果、こうして作成、閲覧したデータを外部の画像形成装置やプロジェクタに対して出力するといった機能も携帯端末に併せて実装されるようになってきている。こうした携帯端末には、通信機能として無線LANやBluetooth(登録商標)等が搭載されており、これらを通じてネットワークに対して接続されている。
このようなスマートフォン等の携帯端末における外部装置への出力を指示する操作方法としては、例えば特許文献1に記載の印刷処理システムが公知である。この印刷処理システムでは、画像形成装置側で作成したサムネイル画像を生成し、これを携帯端末側に送信して利用者が印刷結果を確認後に印刷指示を出す技術開示されている。この印刷指示のための操作には、携帯端末のユーザインタフェースであるディプレイ上に操作画面が表示され、操作画面の入力から指示が送信される。
また、スマートフォン等の携帯端末の操作方法としては、ディスプレイ上の操作画面を操作するほか、より直感的な方法として携帯端末を「傾ける」「振る」といったジェスチャーを検知して携帯端末中の情報を検索したり、閲覧したりすることが出来る方法が特許文献2により公知となっている。
しかしながら、上述した出力指示の操作方法では、操作画面上に表示されたメニューやアイコン等を目視確認しながら操作を行う必要があった。また、「傾ける」や「振る」といったジェスチャーによる操作も、携帯端末における情報の閲覧や検索といった用途に限定されたものとなっていた。
本発明は、上記に鑑みてなされたものであって、携帯端末の操作表示画面を目視しなくとも直感的にデータの出力指示を行うことができる携帯端末を提供することにある。
上述した課題を解決し、目的を達成するために、本発明の携帯端末は、情報の表示及び操作入力の受付を行う操作表示手段と、前記操作表示手段の操作を検知する操作検知手段と、前記携帯端末の動作を検知する動作検知手段と、出力対象のデータを選択するデータ選択手段と、選択された前記データの出力先の外部装置を決定する出力先決定手段と、前記動作検知手段による動作が検知された場合に、前記外部装置への前記データの出力を指示する出力指示手段とを備えることを特徴とする。
本発明によれば、携帯端末の操作表示画面を目視しなくても直感的にデータの出力指示を行うことができるという効果を奏する。
図1は、第1の実施形態の出力制御システムの構成例を示すブロック図である。 図2は、第1の実施形態の携帯端末の操作画面の遷移の一例を示す模式図である。 図3は、第1の実施形態の携帯端末のサムネイル画像の表示に関する処理の流れを示すフロー図である。 図4は、第1の実施形態の携帯端末のサムネイル画像の操作に関する処理の流れを示すフロー図である。 図5は、第1の実施形態の携帯端末の出力指示に関する処理の流れを示すフロー図である。 図6は、第1の実施形態の携帯端末のプリンタ設定画面の別例を示す模式図である。 図7は、第2の実施形態の携帯端末のプロジェクタへの投影指示画面の一例を示す模式図である。 図8は、第2の実施形態の携帯端末の操作方法の一例を示す模式図である。 図9は、第2の実施形態の携帯端末の操作方法の一例を示す模式図である。 図10は、第2の実施形態の携帯端末の操作方法の一例を示す模式図である。
以下に添付図面を参照して、携帯端末からの外部装置への出力制御を行うシステムの実施の形態を詳細に説明する。
(第1の実施の形態)
図1は、第1の実施の形態にかかる携帯端末からの外部装置への出力制御を行うシステム構成を示すブロック図である。図1に示されるように、出力制御システム1は、スマートフォン、PDA等の携帯端末10と、外部装置である画像形成装置30とが無線LAN40を介して接続された構成となっている。
携帯端末10は、CPU11、ROM12、RAM13、記憶部14、加速度センサ15、タッチセンサ16、タッチパネルディスプレー17、及び出力制御部18を含んで構成されている。
CPU11は、携帯端末10の全体制御を行うものであり、各種チップセットを有し、このチップセットを介して他の機器と接続される。ROM12は、プログラムやデータの格納用メモリとして用いる読み出し専用のメモリであり、RAM13は、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いる書き込み及び読み出し可能なメモリである。
記憶部14は、画像データの蓄積、プログラムの蓄積、フォントデータの蓄積、フォームの蓄積等を行うためのストレージである。各種アプリケーションもこの記憶部14に記憶されている。なお、記憶部14は、HDD(Hard Disk Drive)、光ディスク、メモリカード、RAM(Random Access Memory)などの一般的に利用されているあらゆる記憶媒体により構成することができる。
加速度センサ15は、携帯端末10の動作を検知する動作検知手段に相当する。加速度センサ15は、一定の時間間隔で常時パラメータの取得を行っており、XYZの3軸におけるX値、Y値、Z値を取得する。
また、加速度センサ15は、X値、Y値、Z値の時間当たりの変化率ΔX、ΔY、ΔZ、及びX値、Y値、Z値が変化した際のその時間間隔tX、tY、tZの値をそれぞれ取得している。この加速度センサ15によって、携帯端末への「振る」や「傾ける」といった動作が検知可能となっている。
タッチセンサ16は、タッチパネルディスプレー17に対する操作を検知する操作検知手段に相当する。タッチセンサ16は、タッチパネルディスプレー17に対する接触が検知された際、又は関連するプログラムが指定したタイミングでパラメータを取得する。取得するパラメータとしては、タッチイベント、タッチパネルディスプレー17上の接触があった位置の座標(Vx、Vy)、接触のあった位置の数、位置の座標の変化量(ΔVx、ΔVy)、時間当たりの変化量(tVx、tVy)が含まれている。
タッチパネルディスプレー17は、データの表示や利用者からの操作入力が可能であり、操作表示手段に相当する。
出力制御部18は、利用者に対して「振る」や「傾ける」といった直感的な動作で外部装置への出力制御を行うことができる機能を提供するものであり、他のアプリケーションと同様記憶部14に記憶されている。出力制御部18は、操作判定部19と、データ処理部20と、出力指示部21とを含んでいる。
操作判定部19は、加速度センサ15、及びタッチセンサ16が取得した値から、どういう動作や操作がなされたかを判定又は算出する。具体的には、操作判定部19は、加速度センサ15から取得したパラメータを以下の項目の判定又は算出に用いる。
・X軸、Y軸、Z軸におけるX値、Y値、Z値:携帯端末10の向き
・X軸、Y軸、Z軸における重力加速度ΔX、ΔY、ΔZ:携帯端末10の向きの変更、及び携帯端末1に「振る」「傾ける」動作を行ったか否か
・時間間隔tX、tY、tZ:携帯端末10を「振る」回数
操作判定部19は、タッチセンサ16から取得したパラメータを以下の項目の判定に用いる。
・タッチイベント:タッチパネルディスプレー17へ触れる動作があったかどうか、離す動作があったかどうか、継続して触れているかどうか、継続して離れているかどうか
・位置の座標(Vx、Vy):タッチパネルディスプレー17に接触した場所、タッチパネルディスプレー17上のどのデータやボタンが選択されたか
・接触のあった位置の数:タッチパネルディスプレー17に同時に接触した指やタッチパン等の操作デバイスの本数
・位置の座標の変化量(ΔVx、ΔVy):タッチパネルディスプレー17で指をスライドさせて移動させた距離
・時間当たりの変化量(tVx、tVy):タッチパネルディスプレー17での指の移動の速さ
また、操作判定部19は、携帯端末10が連続して同じ動作パーターンが2回以上検知された場合に、「振る」動作が連続して行われたと判定する。したがって、操作判定部19は、携帯端末10を1回振る動作と、2回以上連続して振る動作とを区別することができる。
操作判定部19は、重力加速度ΔX、ΔY、ΔZの絶対値が所定の閾値以上の場合に、動作を「振る」動作として判定する。また、操作判定部19は、上述した2回の動作検出があった際の時間間隔tX、tY、tZが所定の時間Tmax秒内であった場合に連続した動作であるとする。しかしながら、携帯端末10を1回振る動作をしている途中で、一瞬重力加速度が弱まって再度閾値を越えるような場合が存在するが、この場合でも連続して携帯端末10が振られていると判定されないように、閾値以下となった時間がTmin以下の場合は、2回の連続する「振る」動作としては判定しない。すなわち、Tmax ≧ tX、tY、tZ ≧ Tminの場合に、ΔX、ΔY、ΔZの絶対値が所定の閾値以上となった場合に、操作判定部19は、連続して振る動作があったと判定する。
データ処理部20は、操作判定部19が判定した動作パターンに対して割り振られている処理の内容を取得して、データに対して処理を行う。動作パターンごとに割り振られた処理の内容は、記憶部14に記憶されている。例えば、処理の内容としては、携帯端末10を「振る」動作に対しては画像形成装置30に対してデータを出力する指示が割り振られている。データ処理部20は、「振る」動作があった場合には、印刷用の画像データを生成するとともに、データ出力指示部21へと指示を送る。
また、データ処理部20は、アプリケーションと連携して、データのうちタッチパネルディスプレー17に表示する部分データを決定し、タッチパネルディスプレー17のサムネイル表示領域54(図2に示す)へと部分データのサムネイル画像を表示させる。また、このサムネイル画像は、指やタッチペンなどでタッチパネルディスプレー17を横又は縦にスライドさせる操作をすることで、別の部分データのサムネイル画像へと切り替えることが可能である。したがって、タッチパネルディスプレー17のサムネイル画像を指でスライドする動作には、サムネイル画像の切り替えという処理が割り当てられている。
図2は、出力制御部を利用する際の携帯端末10の操作画面の推移を示した模式図である。図2(a)は、携帯端末10の初期画面であり、タッチパネルディスプレー17上に記憶部14に記憶されているアプリケーションが夫々表示されている。このうちアプリケーションの一つが選択されると、選択されたアプリケーションが起動し、図2(b)に示されるように、選択されたアプリケーションの画面が表示される。このアプリケーションでは、選択された文書ファイルや画像データ等の選択データ51がタッチパネルディスプレー17上に表示されている。このデータが選択された状態で、出力制御部18との連携を行う連携ボタン52が操作されると、図2(c)のように出力制御部18の操作画面が表示される。このとき、選択データ51は、出力制御部18へと送られる。この際、出力制御部18は、選択データ51を記憶部14に記憶する。
出力制御部18の操作画面には、メッセージ部53と、サムネイル表示領域54と、プリンタ設定部55とが含まれている。なお、この画面構成は一例であり、他に例えば、印刷条件を設定するためのボタンなどを含めても良い。
メッセージ部53は、利用者に対するメッセージを表示する。ここでは「振ると印刷します」というメッセージが示されているが、出力先の画像形成装置が選択されていない場合に、「プリンタを選択ください。」といった表示を出すなど適宜変更することも出来る。
サムネイル表示領域54は、選択データ51のサムネイル画像を表示する。選択データ51が複数ページから構成されている場合は、そのうちの1ページ分、すなわち部分データのサムネイル画像を表示する。このサムネイル表示領域54を指でスライドさせて操作することで、選択データ51が複数ページからなるときは、他のページのサムネイル画像へと切り替えることができる。したがって、データ処理部20は、サムネイル表示領域54の操作に応じてサムネイル画像を切り替えることにより表示領域選択手段の機能を実現している。
プリンタ設定部55は、操作されることで出力先の画像形成装置30を決定するための操作画面を表示する。図2(d)は、このプリンタを決定するためのプリンタ設定部55の一例である。このプリンタ設定画面においては、IPアドレス指定ピッカー56を操作して、直接画像形成装置30のIPアドレスを指定することで、出力先の画像形成装置30が決定される。したがって、プリンタ設定部55を通じて画像形成装置30を決定することにより出力先決定手段の機能を実現している。このとき、決定された出力先の画像形成装置30は記憶部14に記憶される。
図3は、サムネイル画像の操作にかかる処理の流れを示したフロー図である。この処理は、連携ボタン52が操作されたとき、あるいは携帯端末1のホーム画面から出力制御部18に相当するアプリケーションが操作されたときに処理が開始される。図3に示されるように、データ処理部20は、まず記憶領域である記憶部14に記憶された選択データ51が存在するか否かを判定する(ステップS101)。アプリケーションでファイルを開いた状態で、出力制御部18を起動した場合、出力制御部18へとデータの受け渡しがされた時点で、このデータは記憶部14に記憶されている。したがって、連携ボタン52の操作によって処理が開始される場合であれば前回利用された選択データ51が検知されることとなる。一方、出力制御部18が直接起動された場合には、選択データ51は検知されないのが通常である。
選択データ51が存在する場合(ステップS101:Yes)、データ処理部20は、この選択データ51に基づきサムネイル表示領域54へと表示するサムネイル画像を生成して(ステップS102)、処理を終了する。一方、選択データ51が存在しない場合(ステップS101:No)、データ処理部20は、メッセージ部53に「ファイルを選択してください」というメッセージを表示させる(ステップS103)。
次に、サムネイル表示領域54に対して操作が行われた場合の処理の流れの一例を図4を用いて説明する。この処理は、サムネイル表示領域54にサムネイル画像が表示された状態で操作が行われることで処理がスタートする。操作判定部19は、サムネイル表示領域54に表示されたサムネイル画像への操作があったか否かを判定する(ステップS201)。この操作の判定においては、タッチセンサ16が取得したタッチイベント、位置の座標(Vx、Vy)、位置の座標の変化量(ΔVx、ΔVy)、時間当たりの変化量(tVx、tVy)が用いられる。
サムネイル画像への操作があったと判定された場合(ステップS201:Yes)、データ処理部20は、その操作量、すなわち指をタッチパネルディスプレー17上でスライドさせた移動量とその速度をタッチパネルセンサ16から取得し、どの部分データのサムネイル画像を表示するかを決定する(ステップS202)。具体的には、指を大きなストロークで早く動かすほどページ数を多く移動したページが表示領域として決定される。一方、サムネイル画像への操作がないと判定された場合(ステップS201:No)、本処理を終了する。
次いで、このデータ処理部20は、決定された部分データのページのサムネイル画像を生成し、サムネイル表示領域54に表示させる(ステップS203)。
図5は、携帯端末の印刷指示を示す動作が検知された場合の処理の流れを示すフロー図である。図5における処理は加速度センサ15が検知を行うごとにスタートされる。操作判定部19は、加速度センサ15から取得したパラメータから携帯端末10を「振る」動作が行われたか否かを判定する(ステップS301)。「振る」動作が行われた場合(ステップS301:Yes)、データ処理部20は時間をリセットして「0」から計測を開始する(ステップS302)。そして、データ処理部20は、印刷するデータが選択されているか(ステップS303)、出力先の画像形成装置30が決定されているか(ステップS304)の判定をそれぞれ行い、印刷データが選択され、出力先の画像形成装置30が決定されている場合に(ステップS303、ステップS304:Yes)、印刷部数を加算する(ステップS306)。一方、印刷データが選択されていない、又は出力先の画像形成装置30が決定されていない場合に(ステップS303、ステップS304のいずれかがNo)、データ処理部20は、対応するメッセージ、例えば「プリンタを選択してください。」、「ファイルを選択してください」というメッセージをメッセージ部53に表示し、ステップS301へと戻る(ステップS305)。
データ処理部20は、ステップS302で計測開始した時間が所定時間を越えたか否かを判定する(ステップS307)。所定時間を経過した場合は(ステップS307:Yes)、データ処理部20は携帯端末10を「振る」動作が終了したと判断して印刷部数を確定し、印刷部数が1ページ以上となっているか否かを判定する(ステップS308)。一方、所定時間を経過していない場合は(ステップS307:No)、ステップ301からの処理を再度繰り返し、操作判定部19により加速度センサ15の値から「振る」動作が行われていないと判断されたのであれば(ステップS301:No)、所定時間が経過するまでS301とS307の判定を繰り返す。また、データ処理部20は、加速度センサ15の値から「振る」動作が検知された場合は、印刷部数を1ずつ加算していく。
印刷部数が1以上となっている場合(ステップS308:Yes)、操作判定部19は、携帯端末10の「振る」動作が行われた際に、タッチセンサ16によってタッチパネルディスプレー17へのタッチイベントが検知されていたか否かを判定する(ステップS309)。印刷部数が1以上となっていない場合(ステップS308:No)、印刷指示は出されずに処理を終了する。
タッチイベントが検知されていない場合(ステップS309:No)、データ処理部20は、選択データ51の全ページを印刷するよう印刷条件を設定する(ステップS310)。一方、タッチイベントが検知されている場合(ステップS309:Yes)、データ処理部20は、選択データ51のうちサムネイル表示領域54に表示中のページのみを印刷するよう印刷条件を設定する(ステップS311)。
データ処理部20は、選択データ51から画像変換した印刷データを作成し(ステップS312)、この印刷データを印刷部数等の印刷条件とともに出力指示部21へと送信する(ステップS313)。
以上に示した携帯端末10によれば、利用者は携帯端末10を「振る」という直感的な動作で外部の出力装置への指示を行うことができ、画面を見ずとも操作可能という点で利用者の利便性の向上を図ることができる。
また、携帯端末10を振った回数によって、印刷部数を設定できることとしたため、操作画面が小さいため細かい印刷条件の設定がやりにくい携帯端末10であっても、容易に印刷部数の設定を行うことができる。
さらには、携帯端末10を振った際に、タッチパネルディスプレー17に触れているかどうかによって、全ページを印刷するか、1ページのみを印刷するかを決めることができるため、操作画面を見なくとも印刷の範囲の設定が容易に操作可能となる。
なお、第1の実施形態は例えば次のように変更することもできる。例えば、連続して「振る」動作があったと判定された場合に、部数を変更するのではなく、印刷時の用紙への割付数を変更する、具体的には2回連続して振った場合には「2 in 1」、3回連続して振った場合には「4 in 1」の割付設定で印刷するようにしてもよい。このような動作パターンに対して割り当てる処理の内容は適宜変更しても良く、例えば両面印刷の有無、カラー/モノクロ印刷の切り替え、ソートの有無、ステープルの有無、仕上げの有無、折の有無などを選択する処理を動作パターンに予め割り当て、記憶部14に記憶しておいても良い。
また、プリンタ設定画面においてIPアドレスからプリンタを決定するようにしたが、これをプリンタの一覧から選択する形式に変更しても良い。例えば、図6にて示すように、携帯端末10から接続可能なプリンタの一覧を自動的に取得し、その一覧から利用者が選択できるようにしても良い。具体的には、携帯端末10にインストールされているプリンタドライバの一覧を取得してもよい。また、プリンタドライバをインストールしなくても、同じネットワーク上に存在するプリンターを取得するようにしてもよい。このような方式であれば、IPアドレスを記入する手間が省略されるため、利用者にとってより利便性の高い操作が可能となる。
また、タッチパネルディスプレー17に接触した状態で携帯端末10を振った場合に、1ページのみ印刷するのではなく、その画面上に表示されているデータのみを印刷するように変更しても良い。これは、データがページごとに分割されていないようなものの場合に適用される。例えば、WEBブラウザによってHTMLのページを表示する場合などが該当する。
また、タッチパネルディスプレー17への接触の有無にかかわらず、全ページを印刷するようにしても良い。
また、携帯端末10を「振る」動作を検知してからの時間の計測方法であるが、上記実施形態のように「振る」動作を検知してから次の「振る」動作を検知するまで時間を計測する方法ではなく、1回目の「振る」動作からリセットすることなく計測を継続し、所定の時間が過ぎるまでに検知された「振る」動作の回数をカウントし、そのカウントした値を印刷部数として設定することもできる。
また、印刷指示として操作判定部19が判定する動作としては、「振る」以外にも例えば「傾ける」など、画面を見なくても操作が可能な動作等を採用することも出来る。また、振り方も、上下に振る、左右に振るなどそのバリエーションは適宜変更可能である。
また、加速度センサ15に加えてジャイロセンサからの値も取得するようにしてもよい。
携帯端末10と外部装置を接続する回線として無線LAN40以外にもBluetooth(登録商標)など他の無線回線を選択することもできる。また、ゲートウェイを介して有線接続された外部装置を選択することも出来る。
また、サムネイル表示領域54に表示させる画像の変更を、タッチパネルディスプレー17への操作ではなく、携帯端末10を左右に振る動作とし、印刷指示を携帯端末10を上下に振る動作とするといった割り当てをすることもできる。
(第2の実施の形態)
図7〜10は、第2の実施の形態にかかる携帯端末10の操作画面を示す模式図である。図7〜10では、外部装置としてプロジェクタが選択されている。本実施形態が示すように外部装置として、画像形成装置以外にも、プロジェクタや、ストレージなどを選択可能である。これらの装置であっても、携帯端末10を「振る」といった直感的な動作で出力の指示が可能という点は共通である。
図7では、プリンタ設定部の代わりに、プロジェクタ設定部57が設けられている。この携帯端末10では、図8に示されるように、携帯端末10を「左右に振る」動作が検知されることで、選択されたプロジェクタへの出力が指示される。また、図9に示されるように、携帯端末10を「手前に振る」ことでプロジェクタへと出力したデータを拡大する指示が、「奥側に振る」ことでプロジェクタへと出力したデータを縮小する指示がそれぞれ指示される。さらに、図10に示されるように、サムネイル表示領域54にふれながら携帯端末10を「前後に振る」動作が検知されることで、拡大又は縮小が解除されて初期状態のサイズに戻る。
このように、出装装置にあわせて「振る」や「傾ける」といった動作に、データの出力の態様を変更するための処理を割り当てることで、直感的な操作が可能となっている。
また、出力制御部18は、ソフトウェアによって実現しても、ハードウェアによって実現してもよい。
なお、以上の実施の形態の出力制御部で実行される各種処理は、ROM等に予め組み込まれて提供される。
以上の実施の形態の出力制御部で実行される各種処理は、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記憶媒体に記憶して提供するように構成してもよい。
さらに、以上の実施の形態の出力制御部で実行される各種処理を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、以上の実施の形態の出力制御部で実行される各種処理をインターネット等のネットワーク経由で提供または配布するように構成しても良い。
なお、上記実施の形態では、本発明の画像形成装置を、コピー機能、プリンタ機能、スキャナ機能及びファクシミリ機能のうち少なくとも2つの機能を有する複合機に適用した例を挙げて説明するが、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像形成装置であればいずれにも適用することができる。
1 出力制御システム
10 携帯端末
15 加速度センサ
16 タッチセンサ
17 タッチパネルディスプレー
18 出力制御部
19 操作判定部
20 データ処理部
21 出力指示部
30 画像形成装置
52 連携ボタン
53 メッセージ部
54 サムネイル表示領域
55 プリンタ設定部
56 IPアドレス指定ピッカー
57 プロジェクタ設定部
特開2006−163794号公報 特開2002−149616号公報

Claims (10)

  1. 携帯端末であって、
    情報の表示及び操作入力の受付を行う操作表示手段と、
    前記操作表示手段の操作を検知する操作検知手段と、
    前記携帯端末の動作を検知する動作検知手段と、
    出力対象のデータを選択するデータ選択手段と、
    選択された前記データの出力先の外部装置を決定する出力先決定手段と、
    前記動作検知手段による動作が検知された場合に、前記外部装置への前記データの出力を指示する出力指示手段と
    を備えることを特徴とする携帯端末。
  2. 前記出力先決定手段は、前記携帯端末と接続可能な前記外部装置の一覧を取得し、前記一覧から利用者が選択した前記外部装置を出力先の外部装置として決定する
    ことを特徴とする請求項1に記載の携帯端末。
  3. 前記外部装置は画像形成装置であり、
    前記出力指示手段は、前記画像形成装置への印刷指示を送信する
    ことを特徴とする請求項1又は2に記載の携帯端末。
  4. 前記データが選択され、かつ前記出力先の外部装置が決定された状態で、前記動作検知手段による動作が検知された際に時間の計測を開始する計測手段をさらに備え、
    前記出力指示手段は、前記計測手段により計測された時間が所定の時間を越えるまでの間に、前記動作検知手段による動作が検知された回数と等しい印刷部数で前記データを印刷する印刷指示を送信する
    ことを特徴とする請求項3に記載の携帯端末。
  5. 前記データが選択され、かつ前記出力先の外部装置が決定された状態で、前記動作検知手段による動作が検知された際に時間の計測を開始する計測手段をさらに備え、
    前記出力指示手段は、前記動作を検知するごとに印刷部数を加算するとともに前記計測した時間をリセットし、前記計測手段により計測された時間が所定の時間を越えた際に、
    前記印刷部数で前記データを印刷する印刷指示を送信する
    ことを特徴とする請求項3に記載の携帯端末。
  6. 選択された前記データのうち、前記操作表示手段に表示させる部分データを選択する表示領域選択手段をさらに備え、
    前記出力指示手段は、前記操作検知手段により前記操作表示手段への接触が検知された場合に前記動作検知手段による動作を検知すると、前記データのうち前記部分データのみを印刷指示するとともに、前記操作検知手段により前記操作表示手段への接触が検知されない場合に前記動作検知手段による動作を検知すると、前記データ全体を印刷指示する
    ことを特徴とする請求項3〜5のいずれか一項に記載の携帯端末。
  7. 前記データ選択手段により前記データが選択されていない場合、又は前記出力先決定手段によって前記外部装置が決定されていない場合に、前記動作検知手段による動作を検知すると、利用者に対して前記データの選択、又は外部装置の決定を促す通知を前記操作表示手段に表示させる通知手段と
    をさらに備えることを特徴とする請求項1〜6のいずれか一項に記載の携帯端末。
  8. 携帯端末と、前記外部装置とを備えるシステムであって、
    前記携帯端末は、
    情報の表示及び操作入力の受付を行う操作表示手段と、
    前記操作表示手段の操作を検知する操作検知手段と、
    携帯端末の動作を検知する動作検知手段と、
    出力対象のデータを選択するデータ選択手段と、
    選択された前記データの出力先の外部装置を決定する出力先決定手段と、
    前記動作検知手段による動作が検知された場合に、前記外部装置への前記データの出力を指示する出力指示手段と、を備え、
    前記外部装置は、
    指示された前記データを出力する出力手段を備える
    ことを特徴とする出力制御システム。
  9. コンピュータに、
    情報の表示及び操作入力の受付を行う操作表示手段の操作を検知する操作検知ステップと、
    携帯端末の動作を検知する動作検知ステップと、
    出力対象のデータを選択するデータ選択ステップと、
    選択された前記データの出力先の外部装置を決定する出力先決定ステップと、
    前記動作検知ステップにおいて動作が検知された場合に、前記外部装置への前記データの出力を指示する出力指示ステップと、
    を実行させるための出力制御プログラム。
  10. 情報の表示及び操作入力の受付を行う操作表示手段の操作を検知する操作検知ステップと、
    携帯端末の動作を検知する動作検知ステップと、
    出力対象のデータを選択するデータ選択ステップと、
    選択された前記データの出力先の外部装置を決定する出力先決定ステップと、
    前記動作検知ステップにおいて動作が検知された場合に、前記外部装置への前記データの出力を指示する出力指示ステップと、
    を含むことを特徴とする出力制御方法。
JP2011267099A 2011-12-06 2011-12-06 携帯端末、出力制御システム、出力制御プログラム、出力制御方法 Active JP5870661B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011267099A JP5870661B2 (ja) 2011-12-06 2011-12-06 携帯端末、出力制御システム、出力制御プログラム、出力制御方法
CN201210517922.0A CN103197865B (zh) 2011-12-06 2012-12-05 移动终端、输出控制系统和移动终端的数据输出方法
US13/706,714 US8780398B2 (en) 2011-12-06 2012-12-06 Mobile terminal, output control system, and data outputting method for the mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011267099A JP5870661B2 (ja) 2011-12-06 2011-12-06 携帯端末、出力制御システム、出力制御プログラム、出力制御方法

Publications (2)

Publication Number Publication Date
JP2013120439A true JP2013120439A (ja) 2013-06-17
JP5870661B2 JP5870661B2 (ja) 2016-03-01

Family

ID=48654257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011267099A Active JP5870661B2 (ja) 2011-12-06 2011-12-06 携帯端末、出力制御システム、出力制御プログラム、出力制御方法

Country Status (3)

Country Link
US (1) US8780398B2 (ja)
JP (1) JP5870661B2 (ja)
CN (1) CN103197865B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015011583A (ja) * 2013-06-28 2015-01-19 コニカミノルタ株式会社 携帯情報装置、設定方法、および設定プログラム
JP2015053020A (ja) * 2013-09-09 2015-03-19 株式会社リコー 情報表示装置、情報表示方法およびプログラム
EP2921950A1 (en) 2014-03-18 2015-09-23 Ricoh Company, Ltd. Terminal device, information sharing system, and information sharing method
JP2015228061A (ja) * 2014-05-30 2015-12-17 京セラドキュメントソリューションズ株式会社 携帯端末、印刷要求方法
JP2017097751A (ja) * 2015-11-27 2017-06-01 ブラザー工業株式会社 プログラム
JP2018190171A (ja) * 2017-05-02 2018-11-29 京セラドキュメントソリューションズ株式会社 表示装置
JP2018195157A (ja) * 2017-05-19 2018-12-06 京セラドキュメントソリューションズ株式会社 画像形成システム、及び画像形成装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015142272A (ja) * 2014-01-29 2015-08-03 京セラドキュメントソリューションズ株式会社 画像処理装置、画像形成装置、携帯端末装置、および画像処理システム
JP6183318B2 (ja) * 2014-08-19 2017-08-23 コニカミノルタ株式会社 携帯型端末、そのプログラム、装置、操作表示システム
CN104967738A (zh) * 2015-06-11 2015-10-07 上海锳科迩电子股份有限公司 一种智能终端设备重力传感器控制车辆防盗的方法
CN106201243A (zh) * 2016-06-27 2016-12-07 北京金山安全软件有限公司 一种滤镜选择方法、装置及电子设备
JP2018032912A (ja) 2016-08-22 2018-03-01 株式会社リコー 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
CN106657951A (zh) * 2016-10-20 2017-05-10 北京小米移动软件有限公司 投影控制方法及装置、移动设备、投影仪
CN108076216B (zh) * 2016-11-14 2020-11-24 夏普株式会社 移动通信终端、电子设备以及使用移动通信终端的电子设备控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286812A (ja) * 2006-04-14 2007-11-01 Sony Corp 携帯型電子機器、ユーザインターフェイス制御方法、プログラム
JP2008217720A (ja) * 2007-03-07 2008-09-18 Ricoh Co Ltd 通信システム、通信方法、及び、通信装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3890880B2 (ja) 2000-11-10 2007-03-07 株式会社日立製作所 情報検索端末
JP4849427B2 (ja) 2001-03-22 2012-01-11 株式会社リコー 印刷システム、印刷データ処理装置、印刷システムにおける印刷方法
US20040203358A1 (en) * 2003-03-17 2004-10-14 Anderson Jeff M. Mobile-printing desktop assistant
JP2005332118A (ja) 2004-05-19 2005-12-02 Nec Corp 携帯端末及び携帯端末の情報入力方法
KR20060013883A (ko) * 2004-08-09 2006-02-14 삼성전자주식회사 이미지 데이터와 텍스트 데이터를 출력하는 시스템 및 방법
US20060044598A1 (en) * 2004-09-02 2006-03-02 Nokia Corporation Wireless-based location-aware remote printing
KR100618321B1 (ko) * 2004-11-20 2006-08-31 삼성전자주식회사 이동 단말기를 이용한 화상형성장치의 펌웨어 업그레이드방법
JP2006163794A (ja) 2004-12-07 2006-06-22 Fuji Xerox Co Ltd ドキュメント処理システム
US20110047162A1 (en) * 2005-09-16 2011-02-24 Brindisi Richard G Handheld device and kiosk system for automated compiling and generating item list information
JP5233708B2 (ja) 2009-02-04 2013-07-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8570546B2 (en) * 2009-06-08 2013-10-29 Palo Alto Research Center Incorporated Method and system for printing documents from a portable device to any printer based on information contained in optical code
CN102054341A (zh) * 2009-11-06 2011-05-11 康佳集团股份有限公司 一种用手机遥控电视的方法和装置
US9639787B2 (en) * 2010-03-11 2017-05-02 Apple Inc. Print orientation of documents based on device sensor output
CN101923452A (zh) * 2010-07-30 2010-12-22 优视科技有限公司 基于移动终端的网页内容打印方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286812A (ja) * 2006-04-14 2007-11-01 Sony Corp 携帯型電子機器、ユーザインターフェイス制御方法、プログラム
JP2008217720A (ja) * 2007-03-07 2008-09-18 Ricoh Co Ltd 通信システム、通信方法、及び、通信装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015011583A (ja) * 2013-06-28 2015-01-19 コニカミノルタ株式会社 携帯情報装置、設定方法、および設定プログラム
JP2015053020A (ja) * 2013-09-09 2015-03-19 株式会社リコー 情報表示装置、情報表示方法およびプログラム
EP2921950A1 (en) 2014-03-18 2015-09-23 Ricoh Company, Ltd. Terminal device, information sharing system, and information sharing method
JP2015228061A (ja) * 2014-05-30 2015-12-17 京セラドキュメントソリューションズ株式会社 携帯端末、印刷要求方法
JP2017097751A (ja) * 2015-11-27 2017-06-01 ブラザー工業株式会社 プログラム
JP2018190171A (ja) * 2017-05-02 2018-11-29 京セラドキュメントソリューションズ株式会社 表示装置
JP2018195157A (ja) * 2017-05-19 2018-12-06 京セラドキュメントソリューションズ株式会社 画像形成システム、及び画像形成装置

Also Published As

Publication number Publication date
JP5870661B2 (ja) 2016-03-01
US8780398B2 (en) 2014-07-15
CN103197865A (zh) 2013-07-10
US20130163039A1 (en) 2013-06-27
CN103197865B (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
JP5870661B2 (ja) 携帯端末、出力制御システム、出力制御プログラム、出力制御方法
EP2835731B1 (en) Image display apparatus, image display method, and image display program
JP2023160886A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US10275035B2 (en) Device and method for determining gesture, and computer-readable storage medium for computer program
JP5894454B2 (ja) 画像形成装置、その制御方法、及びプログラム
US20160198052A1 (en) Image processing apparatus, control method for image processing apparatus, and storage medium
JP6973025B2 (ja) 表示装置、画像処理装置及びプログラム
JP2014157553A (ja) 情報表示装置および表示制御プログラム
JP5967917B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US9870142B2 (en) Displaying device which can receive pinch out operation
JP6187546B2 (ja) 操作表示システム、操作表示装置および操作表示プログラム
JP6149684B2 (ja) 携帯端末、画像処理装置、及びプログラム
JP2015114767A (ja) 情報処理装置、及び情報処理装置の制御方法、並びにプログラム
KR102105492B1 (ko) 정보 처리 장치, 정보 처리 장치의 제어 방법 및 저장 매체
JP6197460B2 (ja) 画像形成装置、表示方法、および表示プログラム
JP2014142693A (ja) 情報処理装置、情報処理装置の制御方法、及びコンピュータプログラム
JP6089583B2 (ja) 携帯型入力受付装置および入力受付プログラム
JP2014029594A (ja) 情報端末及びその制御方法、並びにプログラム
JP5853778B2 (ja) 印刷設定装置、印刷設定方法、印刷設定プログラムおよび記録媒体
JP2019179343A (ja) 画面作成プログラム、情報処理装置及び画面作成方法
JP2009230424A (ja) 操作入力装置及び画像形成装置
JP6572753B2 (ja) 画像形成装置、その制御方法、および、プログラム
JP6274134B2 (ja) 表示入力装置及びこれを備えた画像形成装置
JP2014212381A (ja) 画像処理装置、プレビュー画像を表示する方法、およびプログラム
JP6210664B2 (ja) 情報処理装置とその制御方法、及びプログラムと記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151228

R151 Written notification of patent or utility model registration

Ref document number: 5870661

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151