JP2022147337A - 表示装置、表示方法、プログラム - Google Patents

表示装置、表示方法、プログラム Download PDF

Info

Publication number
JP2022147337A
JP2022147337A JP2021048533A JP2021048533A JP2022147337A JP 2022147337 A JP2022147337 A JP 2022147337A JP 2021048533 A JP2021048533 A JP 2021048533A JP 2021048533 A JP2021048533 A JP 2021048533A JP 2022147337 A JP2022147337 A JP 2022147337A
Authority
JP
Japan
Prior art keywords
display
character string
conversion
display direction
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021048533A
Other languages
English (en)
Inventor
仁敬 大嶋
Kiminori Oshima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2021048533A priority Critical patent/JP2022147337A/ja
Priority to EP22162481.0A priority patent/EP4064019A1/en
Priority to US17/695,846 priority patent/US20220319211A1/en
Publication of JP2022147337A publication Critical patent/JP2022147337A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1463—Orientation detection or correction, e.g. rotation of multiples of 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】文字列の表示方向に応じて変換先言語に変換して表示することができる表示装置を提供すること。【解決手段】ディスプレーに文字列を表示する表示装置であって、前記文字列の表示方向を取得する取得手段と、前記文字列の表示方向と変換先言語とを対応付けて記憶する記憶手段と、前記取得手段で取得された文字列の表示方向に応じて、前記ディスプレーに表示されている前記文字列を、該文字列の表示方向に対応する前記記憶手段の前記変換先言語に変換する変換手段と、前記変換手段が前記変換先言語に変換した前記文字列を表示する表示制御手段と、を有する。【選択図】図２

Description

本発明は、表示装置、表示方法、又は、プログラムに関する。
手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。表示装置は筆談によるコミュニケーションツールとして利用される場合もある。
また、手書き認識技術を用いて手書きデータを翻訳する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、手書きデータに文字認識を行なってテキストデータ化し、テキストデータを異なる言語へ翻訳する技術が開示されている。
しかしながら、従来の技術では、手書きデータに基づく文字列を、文字列の表示方向に応じて言語を変換して表示することができないという問題があった。
例えば、ＡさんとＢさんが表示装置を挟んで向かい合っている。Ａさんが日本語を手書きし、表示装置が文字認識された文字列をＡさんに正対して表示する。表示装置は、文字列を英語等に変換することは可能だが、Ｂさんからは文字列の方向が逆になるので読みにくい。
本発明は、上記課題に鑑み、文字列の表示方向に応じて変換先の言語に変換して表示することができる表示装置を提供することを目的とする。
上記課題に鑑み、本発明は、ディスプレーに文字列を表示する表示装置であって、前記文字列の表示方向を取得する取得手段と、前記文字列の表示方向と変換先言語とを対応付けて記憶する記憶手段と、前記取得手段で取得された文字列の表示方向に応じて、前記ディスプレーに表示されている前記文字列を、該文字列の表示方向に対応する前記記憶手段の前記変換先言語に変換する変換手段と、前記変換手段が前記変換先言語に変換した前記文字列を表示する表示制御手段と、を有する。
文字列の表示方向に応じて変換先の言語に変換して表示することができる表示装置を提供することができる。
日本語の手書きデータから変換された一例の日本語の文字列を示す図である。 本実施形態の表示装置が変換した文字列の表示例を示す図である。 表示装置が変換した文字列の表示例を示す図である。 表示装置の一例の全体構成図である。 表示装置の一例のハードウェア構成図である。 表示装置が有する機能をブロック状に分けて説明する一例の機能ブロック図である。 操作ガイドと操作ガイドが表示する一例の選択可能候補を示す図である。 文字列の一例の表示方向を説明する図である。 ユーザーが手書きする方向と表示方向の対応を模式的に示す図である。 角度情報の一例の入力方法を説明する図である。 表示方向と変換先言語をユーザーが対応付ける一例の方法を説明する図である。 表示方向に応じた文字列の変換例を説明する図である 複数の異なる言語が同時に存在する場合の変換例を示す図である。 アイコンによる一例の回転操作を説明する図である。 操作コマンドの実行による一例の回転操作を説明する図である。 表示装置がユーザー操作に応じて、表示方向に応じた変換先言語に文字列を変換する手順を示す一例のフローチャート図である。 画像を回転させずに、文字列のみを表示方向に回転させ表示方向に応じて変換する変換例を説明する図である。 文字列のみを回転させる一例の操作方法を説明する図である。 表示装置がユーザー操作に応じて、文字列のみを表示方向に応じた変換先言語に変換する手順を示す一例のフローチャート図である。 ユーザーが表示装置を傾けることによる表示方向の指定を説明する一例の図である。 ユーザーが表示装置を傾けることによる表示方向の指定を説明する一例の図である。 表示装置が重力方向に応じて、表示方向に応じた変換先言語に文字列を変換する手順を示す一例のフローチャート図である。 表示方向に応じた変換先言語とフォントへの変換例を説明する図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。
以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。
異なる言語話者が混在する職場や現場にて表示装置が使われる場面がある。このような場面では、ある国の人が異国の人に手書きにより情報を伝えたい場合、ディスプレーに表示されている文字列を、異国の人が分かる言語に変換して表示すれば、意思伝達が容易になる。しかし、これらの人が表示装置を囲むようにしてコミュニケーションする場合、文字列が正対する方向が人によって異なる場合が起こりうる。
＜比較例＞
まず、図１を参照して、本実施形態の表示装置２を説明するに当たって好適な比較例を説明する。図１は、日本語の手書きデータから変換された日本語の文字列を示す。表示装置２の利用形態の１つに、異なる言語話者が混在する職場や現場にて筆談のように使用される場合がある。
Ａさんは表示装置２に地図を表示させ、手書きにより「京都駅」と表示させている。比較技術においても、Ａさんが表示装置２を使用する向きに正対するように変換結果を表示させることは可能である。すなわち、Ａさんに対し正対するように「Kyoto Station」と表示装置２が表示することができる。
しかし、図１のように対面のＢさんがアルファベットを読めるとしても、聞き慣れない「Kyoto Station」という文字列を反対側から読みやすいとは言えない。
＜本実施形態の表示装置の概略＞
そこで、本実施形態の表示装置２は、以下の構成によりユーザーが正対する向きにこのユーザーが理解できる言語で文字列を表示する。
(i) 表示装置２は文字列の表示方向ごとに変換先言語の設定を受け付ける。
(ii) 表示装置２は文字列を表示方向に回転させる場合、表示方向に応じた変換先言語に変換して表示する。
図２は、本実施形態の表示装置２が変換した文字列の表示例を示す。例えば図２（ａ）では０°の表示方向に日本語、１８０°の表示方向に英語が設定されている。Ａさんが日本語で「京都駅」３０１と手書きした場合、１８０°の表示方向に回転させると、表示装置２が「京都駅」３０１を１８０°の変換先言語である英語「Kyoto Station」３０２に変換する。また、「Kyoto Station」３０２は１８０°回転して表示される。したがって、Ｂさんは正対する方向から英語で「Kyoto Station」３０２を読むことができる。
図３（ａ）では、逆に、１８０°の表示方向からＢさんが手書きした手書きデータに基づいて「Toji temple」３０３と表示されている。図３（ｂ）に示すように、Ｂさんが０°の表示方向に回転させると、表示装置２は「Toji temple」３０３を０°の変換先言語である日本語「東寺」３０４に変換する。また、「東寺」３０４は０°回転して表示される。したがって、Ａさんは正対する方向から日本語で「東寺」３０４を読むことができる。
このように、本実施形態の表示装置２は、表示方向と変換先言語が対応付けられているので、ユーザーが所望の表示方向で文字列を表示させる場合、表示装置２は表示方向に応じた言語で表示することができる。すなわち、ユーザーは正対する方向から常に自分が理解できる言語で文字を読むことができる。
＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。
ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。
ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。
手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。
確定データは手書きデータの文字認識により文字コード（フォント）に変換されユーザーにより選択されたデータ、又は、文字コード（フォント）に変換しないことが確定している手書きデータである。
操作コマンドとは手書き入力装置を操作するために用意されている、特定の処理の実行を指示する命令をいう。本実施形態では一例として、画像全体の回転、表示方向と変換先文字列の対応をユーザーが表示装置２に指示する例を説明する。このほか、文字列の編集系、修飾系、又は、入出力系などでも操作コマンドが使用される。
文字列とは、コンピュータで扱われる1つ以上の文字である。文字列の実態は文字コードである。文字には、数字、アルファベット、及び、記号等が含まれる。文字列はテキストデータとも言われる。
変換とはかえること又はかわることをいう。文字列の言語を変換することを翻訳という場合がある。
表示方向とは文字列を表示する方向である。本実施形態の表示方向は、ディスプレーの中心からディスプレーの周囲３６０°のいずれかの方向である。この表示方向のユーザーに対し文字列が正対する。正対とは対象にまっすぐ向くことをいう。
＜装置の構成例＞
図４を用いて、本実施形態に係る表示装置２の全体構成を説明する。図４は、表示装置２の全体構成図を示した図である。図４（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。
図４（ａ）に示されているように、表示装置２の上部には表示装置２の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。
図４（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。
図４（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、ユーザーは表示装置２を容易に移動できる。
なお、ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。
＜装置のハードウェア構成＞
続いて、図５を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図５は、表示装置２のハードウェア構成図の一例である。図５に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。
これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。
ＳＳＤ２０４は、ＯＳや表示装置用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。
また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。
ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。
タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。
電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図４（ａ）、図４（ｂ）、又は、図４（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。
シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。シリアルインタフェース２１８は、外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。
なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。
赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線Ｉ／Ｆ２２３は、赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。
電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。
ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。
更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図５に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。
＜機能について＞
次に、図６を用いて表示装置２の機能について説明する。図６は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、接触位置検出部２１、描画データ生成部２２、文字認識部２３、表示制御部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、操作コマンド処理部２８、回転処理部２９、言語変換部３０、傾き検出部３１、及び、入力方向検出部３２を有している。表示装置２が有する各機能は、図５に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。
接触位置検出部２１はタッチセンサー２１６に対しペン２５００が接触した位置の座標を検出する。描画データ生成部２２はペン２５００のペン先が接触した座標を接触位置検出部２１から取得する。描画データ生成部２２は、この座標点列を補間することで接続してストロークデータを生成する。
文字認識部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し文字認識処理を行い、文字コードに変換する。文字認識部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。
表示制御部２４は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレーに表示する。データ記録部２５は、表示装置２に手書きされた手書きデータ、変換された文字列、及び、ＰＣの画面、ファイル等を記憶部４０に記憶する。ネットワーク通信部２６はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。
操作コマンド処理部２８は、文字認識部が認識した文字列が操作コマンドに対応するかを検出し、ユーザーが操作コマンドを押下した場合、操作コマンドを実行する。
回転処理部２９は、操作コマンド又はユーザー操作に応じて、画像全体又は文字列を回転させる。本実施形態では、文字列のみの回転、又は、文字列を含む画像全体の回転が可能である。以下では、画像全体の回転という場合、文字列と画像が共に同じ角度回転されることを意味する。
言語変換部３０は、画像全体又は文字列の回転時に、画面に表示されている文字列の言語を、文字列の表示方向に応じて変換する。なお、言語変換部３０は、変換言語記憶部４１から表示方向に対応付けられている変換先言語を取得する取得部の機能を有している。
傾き検出部３１は、チルトセンサーの検出結果を使用して表示装置２に働く重力方向を検出する。重力方向は例えば表示装置２の４辺のいずれかである。
入力方向検出部３２は、手書きデータに基づいて、手書きデータを入力するユーザーに正対する表示方向を検出する。あるいは、入力方向検出部３２は、予め決まった方法で手書きされた手書きデータに応じて、入力手段を用いて手書きするユーザーに正対する表示方向を検出する。
また、表示装置２は、図５に示されているＳＳＤ２０４やＲＡＭ２０３などに構築される記憶部４０を有し、記憶部４０には変換言語記憶部４１、操作コマンド定義データ記憶部４２、入力データ記憶部４３、及び、いくつかの変換辞書４４が構築されている。
Figure 2022147337000002
表１は変換言語記憶部４１に設定されている表示方向と変換先言語の対応を示す。変換言語記憶部４１には文字列の表示方向に応じた変換先言語が対応付けて登録されている。例えば、０°は日本語、９０°は中国語、１８０°は英語、２７０°は韓国語、であるが、表示方向と変換先言語の対応はユーザーが設定できる。また、表示方向によっては変換先言語が登録されていない場合もある。表示方向は、基準となる表示方向を０°として、例えば、反時計回りに９０°、１８０°、２７０°と予め定められている。
Figure 2022147337000003
表２は操作コマンド定義データ記憶部４２に記憶される操作コマンド定義データを模式的に示す。操作コマンド定義データは、文字認識で得られた認識文字列によりユーザーが操作コマンドを表示装置２に指示するための操作コマンドを定義する。
例えば、「回転」「９０」「１８０」「２７０」という文字列が認識された場合、対応する操作コマンドは「表示を９０°回転」「表示を１８０°回転」「表示を２７０°回転」である。表示装置２はこれら操作コマンドを表示し、ユーザーからの操作を受け付ける。操作コマンドが選択された場合、操作コマンド処理部２８は処理の項目に記載の内容を実行する。例えば、操作コマンド処理部２８は、回転処理部２９に画像全体の回転を指示し、言語変換部３０に表示方向を指定して文字列の変換を指示する。
Figure 2022147337000004
表３は入力データ記憶部４３の内容を模式的に示す。入力データは、ユーザーにより入力されたデータの属性である。入力データは１つのオブジェクト（１つのストロークデータ、１つの文字列、１つの画像等）ごとに記録される。
・DataIdは入力データの識別情報である。
・Typeは入力データの種別であり、ストローク(Stroke)、テキスト(Text)、及び、イメージ(Image)がある。Typeによって入力データが保持する属性は異なってよいが、表３ではType＝"Text"の場合を説明する。テキストは文字列を表し、イメージは画像である。
・PenIDはこの文字列の入力に使用されたペン２５００の識別情報である。
・Angleはこの文字列の表示方向である。
・StartPointは文字列の外接矩形における左上頂点の座標である。
・StartTimeはユーザーが文字列を書き始めた時刻である。
・EndPointは文字列の外接矩形における右下頂点の座標である。
・EndTimeはユーザーが文字列を書き終えた時である。
・FontNameは文字列のフォント名である。
・FontSizeは文字サイズである。
・Textは入力されたテキストである（文字コード）。
・Languageは文字列の言語である。
＜選択可能候補の表示例＞
続いて、図７を参照して、手書きデータの変換時に表示される操作ガイド５００について説明する。図７は操作ガイド５００と操作ガイドが表示する選択可能候補５３０の一例である。ユーザーが手書きデータ５０４を手書きすることで、操作ガイド５００が表示される。操作ガイド５００は、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、及び、文字列/予測変換の候補５０８を表示する。なお、選択可能候補５３０は、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８である。また、操作コマンドの候補５１０を除く選択可能候補５３０を文字列候補５３９という。
手書きデータ５０４はユーザーが手書きした「ぎ」という文字である。手書きデータ５０４を囲む手書きデータ矩形領域表示５０３が表示される。図７では一文字の入力で操作ガイド５００が表示されているが、操作ガイド５００が表示されるタイミングは、ユーザーが手書きを中断したタイミングである。したがって、手書きデータ５０４の文字数は任意である。
手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８にはそれぞれの文字列候補が確率降順で並んでいる。手書き認識文字列候補５０６の「ぎ」は認識結果の候補である。この例では、文字認識部２３が正しく「ぎ」を認識している。
変換文字列候補５０７は「ぎ」のカナ漢字変換の結果（例えば「技」）から変換された変換文字列候補（例えば技を含む熟語）である。この例の「技量試」とは「技術量産試作」の略名である。文字列/予測変換の候補５０８は変換文字列候補５０７から変換された予測文字列候補である。この例では「技量試を決裁」と「議事録の送付先」が表示されている。
操作コマンドの候補５１０は認識された文字に応じて表示される、予め定義されている操作コマンド（ファイル操作、文字の編集などのコマンド）の候補である。図７の例では行頭文字の「》」５１１が操作コマンドの候補であることを示している。図７では「ぎ」の文字列候補である「議事録」が、定義データと部分一致したため、操作コマンドの候補５１０が表示されている。
操作コマンドの候補５１０は、変換された文字列を含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。本実施形態では、変換に関する操作コマンドの候補５１０が表示される。
操作ヘッダー５２０はボタン５０１、５０９、５０２、５０５を有する。ボタン５０１は予測変換とカナ変換の切り替え操作を受け付ける。ボタン５０２は候補表示のページ操作をする。図７の例では候補表示ページは３ページあり、現在は１ページ目を表示している。ボタン５０５は操作ガイド５００の消去を受け付ける。ユーザーがボタン５０５を押下すると操作受付部２７が受け付けて、表示制御部２４が手書きデータ以外の表示を消去する。ボタン５０９は一括表示消去を受け付ける。ユーザーがボタン５０９を押下すると操作受付部２７が受け付けて、表示制御部２４が手書きデータを含め、図７に示されているすべての表示を消去して、ユーザーが最初から手書きをしなおすことを可能にする。
＜表示方向と変換先言語の登録＞
図８は、表示方向を説明する図である。本実施形態では、ディスプレーの中央から予め定まっている辺に対する垂線方向を０°とする。そして、各辺のユーザーに正対する表示方向を反時計回りに９０°、１８０°、２７０°とする。
手書きしているユーザーが４辺のどの方向に存在するかを表示装置２が判断する方法がいくつかある。１つの方法として、ユーザーが手書きする方向により入力方向検出部３２はユーザーが４辺のどの方向に存在するかを判断できる。
図９は、ユーザーが手書きする方向と表示方向の対応を模式的に示す図である。例えば、ストロークデータの座標が、左から右、かつ、上から下に移動する場合（左から右への横書き）、この上から下方向に存在する辺が表示方向である。図９では各文字の始点と終点を黒丸で示すが、全体的に左上から右下に移動することが分かる。
同様に、ストロークデータの座標が、上から下、かつ、右から左に移動する場合（上から下への縦書き）、この上から下方向に存在する辺が表示方向である。入力方向検出部３２はこのように、手書きデータに基づいてユーザーが４辺のどの方向に存在するかを推定できる。
また、手書きデータの座標と表示方向の対応を、表示装置のメーカーが機会学習により生成してもよい。例えば、担当者がニューラルネットワークに時系列の手書きデータを入力し、表示方向を教師データとして与えることで、入力方向検出部３２が学習モデルとして得られる。
なお、図８では、表示方向が０°、９０°、１８０°、２７０°の４つであるが、表示方向はより細かく設定されてもよい。表示方向は例えば４５°間隔や３０°間隔で設定されてもよい。
別の方法として、表示装置２がペン２５００を利用してユーザーが４辺のどの方向に存在するかを判断する方法がある。この方法では、まず、ペン２５００に表示方向が対応付けられる。
図１０は、角度情報の入力方法を説明する図の一例である。図１０では表示装置２の９０°の方向に存在するユーザーが角度情報を入力する場合を説明する。９０°の方向から手書きされた文字等は時計回りに９０°回転されると正しく認識されるので、９０度という表示方向が入力されるとよい。
図１０（ａ）は、表示装置２の９０°の方向に存在するユーザーが「ぎ」を手書きしたため、操作ガイド５００が表示された状態を示す。表示装置２は９０°の方向から手書きした「ぎ」を、表示方向が初期値の０°のまま文字認識するため、期待とは違う選択可能候補５３０が表示されている。
角度情報を入力する場合、ユーザーは操作ガイド５００内に、ユーザーから見て上から下方向に直線を手書きする。図１０（ｂ）はこの直線５２１の一例を示す。０°の方向とこの直線５２１との反時計回りのなす角αが表示方向である。すなわち、始点Ｓから０°の方向に下ろした直線５２２と、ユーザーが入力した直線５２１の反時計回りのなす角αが表示方向である。したがって、図１０（ｂ）でユーザーが入力した表示方向は９０°である。
なお、直線の検出には、例えば、始点Ｓから終点Ｅまでの座標を最小二乗法で直線に変換し、得られた相関係数と閾値を比較して直線か否かを判断する方法がある。
ユーザーが直線５２１を書き始めた直後（ペン２５００を直線５２１の始点Ｓに触れた直後）、表示装置２は操作ガイド５００を消去する。また、直線５２１を書き終わった直後（ペン２５００を直線５２１の終点Ｅから離した直後）、表示装置２は、９０°、１８０°、２７０°、０°から上記のなす角αが最も近い値を探してそれを表示方向に決定する。なす角αそのものが角度情報でもよい。この表示方向が使用されたペン２５００に対応付けられる。
ペン２５００は、手書きなどのためにペン先が押圧されると、ペンＩＤを表示装置２に送信するので、表示装置２はペン２５００と表示方向を対応付けることができる。
図１０（ｃ）は、図１０（ｂ)の操作直後の操作ガイド５００を示す。ペン２５００に表示方向として９０°が設定されたので、手書きデータが内部的に９０°だけ時計回りに回転して文字認識され、操作ガイド５００は９０°だけ反時計回りに回転して表示されている。なお、角度情報はメニューからユーザーが手動で入力してもよい。
図１１は、表示方向と変換先言語をユーザーが対応付ける方法を説明する図である。図１１では０°の表示方向と１８０°の表示方向にユーザーが存在する。表示装置２は、図９にて説明したように、手書きデータに基づいてユーザーが４辺のどの方向に存在するかを判断できる。あるいは、各ユーザーが使用するペン２５００にすでに表示方向が対応付けられている。
０°の表示方向のユーザーが言語設定の操作コマンドを呼び出す「日本語」を手書きする。これにより、操作ガイド５００には「日本語に設定」という操作コマンド３１０が表示される。ユーザーがこの操作コマンドを選択すると、操作コマンド処理部２８は、入力方向検出部３２が「日本語」で検出した０°という表示方向に変換先言語「日本語」を設定する。あるいは、操作コマンド処理部２８は、０°の表示方向のユーザーが使用したペン２５００の０°という表示方向に変換先言語「日本語」を設定する。
同様に、１８０°の表示方向のユーザーが言語設定の操作コマンドを呼び出す「English」を手書きする。これにより、操作ガイド５００には「Set to English」という操作コマンド３１１が表示される。ユーザーがこの操作コマンドを選択すると、操作コマンド処理部２８は入力方向検出部３２が「English」で検出した１８０°という表示方向に変換先言語「英語」を設定する。あるいは、操作コマンド処理部２８は、１８０°の表示方向のユーザーが使用したペン２５００の１８０°という表示方向に変換先言語「English」を設定する。以上で、表１のような変換言語記憶部４１が生成される。
なお、変換言語記憶部４１に登録された表示方向と変換先言語の対応は、ユーザーが予め定まっている操作コマンドを実行することで解除できる。
また、ユーザーが手書きした手書きデータは該ユーザーが存在する表示方向に対応付けられている変換先言語で文字認識される。例えば、０°の表示方向のユーザーが手書きした「こんにちは」は日本語の「こんにちは」と認識され、１８０°の表示方向のユーザーが手書きした「Ｈｅｌｌｏ」は英語のアルファベットの「Ｈｅｌｌｏ」と認識される。
＜表示方向に応じた変換例＞
図１２は、表示方向に応じた文字列の変換例を説明する図である。図１２では９０°ごとに変換先言語を設定されているものとする。０°の表示方向に日本語、９０°の表示方向に中国語、１８０°の表示方向に英語、２７０°の表示方向に韓国語が設定されている。
図１２（ａ）に示すように、０°の方向から日本語で「京都駅」３２０とユーザーが手書きした。文字列の入力データの属性は以下のようになる。
・Angle＝０° Language＝日本語
ユーザーが画像全体を９０°回転させる操作を入力すると（詳細は後述する）、回転処理部２９が画像全体を反時計回りに９０°回転させる。また、言語変換部３０が９０°の表示方向に対応付けられている変換先言語を変換言語記憶部４１から取得し、日本語を中国語に変換する変換辞書４４を用いて、「京都駅」を中国語３２１に変換する。なお、回転処理部２９と言語変換部３０の処理は並行に行われてもよいし、どちらかが先に行われてもよい。これにより、図１２（ｂ）に示すように、画像と中国語の「京都駅」３２１が９０°の表示方向に正対して表示される。文字列の入力データの属性は以下のようになる。
・Angle＝９０° Language＝中国語
また、更に、ユーザーが画像全体を９０°回転させる操作を入力すると、回転処理部２９と言語変換部３０が同様の処理を行う。これにより、図１２（ｃ）に示すように、画像と英語に変換された「京都駅」３２２が１８０°の表示方向に正対して表示される。文字列の入力データの属性は以下のようになる。
・Angle＝１８０° Language＝英語
また、更に、ユーザーが画像全体を９０°回転させる操作を入力すると、回転処理部２９と言語変換部３０が同様の処理を行う。これにより、図１２（ｄ）に示すように、画像と韓国語に変換された「京都駅」３２３が２７０°の表示方向に正対して表示される。文字列の入力データの属性は以下のようになる。
・Angle＝２７０° Language＝韓国語
なお、各ユーザーは画像全体の回転状態に関係なく、任意に文字列を手書きできる。例えば、図１２（ｄ）の状態で、０°の方向のユーザーが自分に正対するように日本語で手書きした場合、該日本語は表示方向に応じて変換されるので、各ユーザーは正対する方向から見る限り自分が理解できる言語で文字列を読める。各ユーザーは自分に正対する方向に自分の言語で手書きした状態で、ユーザーが画像全体を回転させると、本実施形態の表示方向に応じた変換先言語への変換により、各方向のユーザーが読める言語に変換できる。
図１３は、複数の異なる言語が同時に存在する場合の変換例を示す。図１３（ａ）は図１２（ｄ）と同じものである。１８０°の方向のユーザーが英語で「good」３２４と入力した。このため、図１３（ａ）では韓国語で「京都駅」に相当する文字列３２３と英語の「good」３２４が表示されている。入力データにおける各文字列の属性は以下のようになる。
・韓国語 Angle＝２７０° Language＝韓国
・英語 Angle＝１８０° Language＝英語
ユーザーが更に９０°回転させた場合、表示方向と変換先言語はそれぞれ以下のようになる
・韓国語 Angle＝０°＝２７０＋９０ Language＝日本語
・英語 Angle＝２７０°＝１８０＋９０ Language＝韓国
したがって、図１３（ｂ）に示すように、韓国語の「京都駅」３２３は日本語の「京都駅」３２０に、英語の「good」３２４は韓国語のgoodに相当する文字列３２５に、それぞれ変換される。したがって、複数の異なる言語が正対するユーザーからは読める言語で表示される。このように、１つの画面内に異なる言語が同時に存在しても何ら支障がない。
＜文字列を含む画像全体の回転操作＞
次に、図１４、図１５を参照して、ユーザーによる画像全体の回転操作を説明する。回転操作はユーザーがアイコンを操作する方法と、操作コマンドを実行する方法がある。回転操作は、文字を手書きしたユーザーだけでなく任意のユーザーが行うことができる。
図１４は、アイコン３３０による回転操作を説明する図である。表示装置２は画面にツールトレイを表示するので、ユーザーがツールトレイ内のアイコン３３０を押下することで、回転操作を入力できる。
アイコン３３０を押下すると、９０°、１８０°、２７０°の回転角度が表示されるので、ユーザーは所望の回転角度を選択する。あるいは、９０°、１８０°、２７０°の回転角度に対応したアイコンが用意されてもよい。なお、ユーザーが指示する９０°、１８０°、２７０°の回転角度は現在の状態に対して更に角度を回転させる相対角度である。
図１５は、操作コマンドの実行による回転操作を説明する図である。ユーザーが「かいてん」と手書きすると、文字認識部２３が「回転」に変換する。「回転」は操作コマンド定義データに登録されてるので、操作コマンド処理部２８が「表示を９０°回転」「表示を１８０°回転」「表示を２７０°回転」という操作コマンドを検出する。表示制御部２４はこれらの操作コマンドを操作ガイド５００に表示する。図１５では、「表示を９０°回転」３４１と「表示を１８０°回転」３４２のみを示した。
このように、ユーザーがアイコン操作又は手書きデータにより画像全体を回転させ、更に表示方向に応じた変換先言語に文字列を変換できる。
＜画像全体の回転の動作手順＞
図１６は、表示装置２がユーザー操作に応じて、表示方向に応じた変換先言語に文字列を変換する手順を示すフローチャート図である。図１６では説明の便宜上、すでに１つ以上の文字列が表示されているものとする。
操作受付部２７が回転操作の入力を受け付ける（Ｓ１）。回転操作の入力方法はアイコン又は手書きデータのどちらが使用されてもよい。これにより、操作コマンド処理部２８から又はアイコン操作から、言語変換部３０は回転角度を取得した。
言語変換部３０は、変換言語記憶部４１から表示方向に対応付けられている変換先言語を取得する（Ｓ２）。操作受付部２７が受け付けるのは回転角度なので（現在の状態からの相対的な回転角度）、すでに表示されている文字列の表示方向に回転角度を足した値が、回転後の表示方向である。言語変換部３０は回転後の表示方向に対応付けられている変換先言語を変換言語記憶部４１から取得する。なお、各文字列の入力データはAngleとLanguageを保持しているので、言語変換部３０は現在の表示方向と現在の言語を特定できる。
次に、言語変換部３０は変換元と変換先の言語に対応した変換辞書４４を使って文字列を変換する（Ｓ３）。変換元の言語はすでに表示されている文字列の言語（入力データのLanguage）であり、変換先の言語は変換言語記憶部４１において回転後の表示方向に対応付けられている変換先言語である。
なお、言語変換部３０は文字列の入力データのAngleとLanguageを更新する。
表示制御部２４はすでに表示されている文字列を削除し、変換した文字列を表示する（Ｓ４）。
画面に複数の文字列（Type＝"Text"）が表示されている場合、ステップＳ２～Ｓ４が文字列ごとに行われる。
回転処理部２９は変換後の文字列を含む画像全体を、操作受付部２７が受け付けた回転角度で回転する（Ｓ５）。なお、回転処理部２９が画像全体を回転させてから、言語変換部３０が文字列の言語を変換してもよい。
＜文字列のみの回転＞
例えば図１２では回転処理部２９が文字列を含む画像全体を回転させた。しかし、回転処理部２９は文字列だけを回転させてもよい。
図１７は、画像を回転させずに、文字列のみを表示方向に回転させ表示方向に応じて変換する変換例を説明する図である。図１７では０°に日本語、９０°に中国語、１８０°に英語が設定されている。
図１７（ａ）に示すように、０°の方向のユーザーが日本語で「確認！」と手書きした。ユーザー（このユーザーは誰でもよい）が「確認！」３５０という文字列を９０°回転させる操作を入力すると、言語変換部３０が９０°の表示方向（現在のAngleは０°）に対応付けられている変換先言語を変換言語記憶部４１から取得する。言語変換部３０は、日本語を中国語に変換する変換辞書４４を用いて、「確認！」３５０を中国語の文字列３５１に変換する。
そして、回転処理部２９が中国語の文字列３５１を反時計回りに９０°回転させる。なお、回転処理部２９と言語変換部３０の処理は並行に行われてもよいし、どちらかが先に行われてもよい。これにより、図１７（ｂ）に示すように、中国語の文字列３５１が９０°の表示方向に正対して表示される。なお、文字列３５１の入力データのAngleは９０°、Languageは中国語、Textは中国語の「確認！」に更新される。
また、ユーザーが中国語の文字列３５１を更に９０°回転させる操作を入力すると、回転処理部２９と言語変換部３０が同様の処理を行う。これにより、図１７（ｃ）に示すように、英語の文字列３５２が１８０°の表示方向に正対して表示される。なお、文字列３５２の入力データのAngleは１８０°、Languageは英語、Textは英語の「確認！」に更新される。
このように、表示装置２が、画像は回転させずに文字列だけを回転させる場合、地図のような複雑な画像が静止した状態となるので、各ユーザーが画像を見やすいというメリットがある。
図１８は、文字列のみを回転させる操作方法を説明する図である。文字列のようなオブジェクトを回転させる一例を説明する。
a. ユーザーがペン２５００で文字列を選択する（図１８（ａ））。
b. 表示制御部２４がテキストボックスを表示する。
c. ユーザーがテキストボックスの回転バーをペン２５００で押下して所望の表示方向に回転させる（図１８（ｂ））。操作受付部２７は回転角度を受け付ける。
このように、画像全体の回転と文字列のみの回転で操作方法がことなることで、ユーザー画像全体を回転させた方がみやすいか、文字列のみを回転させた方がみやすいかを考慮して使い分けることができる。
なお、文字列のみの回転に操作コマンドが使用されてもよい。
＜文字列のみの回転の動作手順＞
図１９は、表示装置２がユーザー操作に応じて、文字列のみを表示方向に応じた変換先言語に変換する手順を示すフローチャート図である。図１９の説明では図１６との相違を主に説明する。
操作受付部２７は図１８のような文字列の回転操作を受け付ける（Ｓ１１）。これにより、操作受付部２７から、言語変換部３０が回転される文字列と回転角度を取得した。
言語変換部３０は、変換言語記憶部４１から表示方向に対応付けられている変換先言語を取得する（Ｓ１２）。この処理は図１６のステップＳ２と同様でよい。
次に、言語変換部３０は変換元と変換先の言語に対応した変換辞書４４を使って文字列を変換する（Ｓ１３）。この処理は図１６のステップＳ３と同様でよい。
表示制御部２４はすでに表示されている文字列を削除し、変換した文字列を操作受付部２７が受け付けた回転角度で回転してから表示する（Ｓ１４）。
＜チルトセンサーによる表示方向の指定＞
ユーザーが操作コマンドの入力又はアイコンで表示方向を指定するだけでなく、ユーザーが表示装置２を傾けることで表示方向を指定できる。
図２０は、ユーザーが表示装置２を傾けることによる表示方向の指定を説明する図である。図２０（ａ）は水平面に置かれた表示装置２を上面から示す図である。０°と１８０°の表示方向にユーザー３６４，３６５が存在している。０°の表示方向に対応付けられている変換先言語は日本語、１８０°の表示方向に対応付けられている変換先言語は英語である。そして、０°の方向に正対して「京都駅」３６０という文字列が表示されている。
図２０（ｂ）に示すように、ユーザー３６４が表示装置２の自分の側の端を持ち上げると、重力方向が１８０°の表示方向に変化したことを傾き検出部３１が検出する。表示装置２は、１８０°の表示方向に対応付けられている変換先言語に「京都駅」３６０という文字列を変換して表示する。図２０（ｃ）では「京都駅」という文字列が英語の文字列３６１に変換されている。
１８０°の表示方向のユーザー３６５が英語の文字列を手書きする場合も同様に変換できる。図２１（ａ）は水平面に置かれた表示装置２を上面から示す図である。１８０°の表示方向にいるユーザー３６５に正対する方向に「東寺」が英語の文字列３６１で表示されている。
図２１（ｂ）に示すように、ユーザー３６５が表示装置２の自分の側の端を持ち上げると、重力方向が０°の表示方向に変化したことを傾き検出部３１が検出する。表示装置２は、０°の表示方向に対応付けられている変換先言語に英語の文字列３６１を変換して表示する。図２１（ｃ）では「東寺」３６３という文字列が表示されている。
このように、ユーザーは相手の向きに表示装置２を傾けることで、表示方向に応じた変換先言語に文字列を変換させ、画像全体を回転させることができる。
なお、重力方向の検出には、チルトセンサーだけでなく加速度センサーやジャイロセンサーを用いてよい。
図２２は、表示装置２が重力方向に応じて、表示方向に応じた変換先言語に文字列を変換する手順を示すフローチャート図である。図２２の説明では、主に図１１との相違を説明する。
傾き検出部３１が、重力が最も大きく作用する４辺のいずれかの表示方向として検出する（Ｓ２１）。なお、重力が最も大きく作用する辺と次点の辺の重力の差が一定以上になるまでは、傾き検出部３１は元の表示方向を維持する。表示方向のハンチングを防ぐためである。これにより、傾き検出部３１から言語変換部３０が表示方向を取得した。
言語変換部３０は、変換言語記憶部４１から表示方向に対応付けられている変換先言語を取得する（Ｓ２２）。言語変換部３０は回転角度でなく表示方向を取得してるので、この表示方向に対応付けられている変換先言語を変換言語記憶部４１から取得すればよい。
以降のステップＳ２３～Ｓ２５処理は、図１６のステップＳ３～Ｓ５と同様でよい。
＜フォントの設定＞
言語にはユーザーが所望のフォント設定可能でもよい。表示装置２は表示方向と言語に対応したフォントで文字列を表示できる。
Figure 2022147337000005
表４は、フォントが設定された変換言語記憶部４１の一例を示す。表４では、変換先言語と対にフォントが設定されている。言語ごとに存在するフォントが異なるためである。０°の日本語には明朝体、９０°の中国語には宋体が設定されている。１８０°の英語にはセリフ体、２７０°の韓国語にはパダンチェが設定されている。
図２３は、表示方向に応じた変換先言語とフォントへの変換を説明する図である。図２３（ａ）では、０°の表示方向に正対して明朝体で「京都駅」３７０と「東寺」３７１が表示されている。ユーザーが画像全体を１８０°回転させた場合、図２３（ｂ）に示すように、１８０°の表示方向に正対して英語のセリフ体で、「京都駅」に相当する英語の文字列３７２と「東寺」に相当する英語の文字列３７３とが表示される。
このように、ユーザーは所望のフォントで各言語のフォントを表示できる。なお、変換先言語とフォントの対応付けは、ユーザーがそれぞれの表示方向から「フォント」などを手書きして操作コマンドを表示させ、所望のフォントを選択する方法がある。
以下の実施例では表示装置２の別の構成例について説明する。
＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。
図２４は、表示装置２の他の構成例を示す図である。図２４では、平置きのホワイトボード４１３の一辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。平置きのホワイトボード４１３は、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボード４１３は黒板でもよく、映像を投影するだけの広さの平面であればよい。
プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣから送信されてもよいし、プロジェクター４１１が記憶していてもよい。
ユーザーは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。プロジェクター４１１は方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。
プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリー２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。
＜＜表示装置の別の構成例２＞＞
図２５は、表示装置２の他の構成例を示す図である。図２５の例では、表示装置２が、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。
端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。
ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、平置きのスクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図２４と同様でよい）、端末装置６００へ送信する。
端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
＜＜表示装置の別の構成例３＞＞
図２６は、表示装置２の構成例を示す図である。図２６の例では、表示装置２が、端末装置６００と、平置きのディスプレー８００Ａと、ペン動作検出装置８１０Ａとを有する。
ペン動作検出装置８１０Ａは、ディスプレー８００Ａの近傍に配置され、ディスプレー８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図２４と同様でよい）、端末装置６００へ送信する。なお、図２６の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。
端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像データを生成し、ディスプレー８００Ａに表示させる。
＜＜表示装置の別の構成例４＞＞
図２７は、表示装置２の構成例を示す図である。図２７の例では、表示装置２が、端末装置６００と、画像投影装置７００Ａとを有する。
端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、平置きのスクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。
そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０Ｂによって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
文字列は文字コードとして、手書きデータは座標点データとして表示装置２に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置２からダウンロードして再使用することができる。再使用する表示装置２はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置２で再現して会議などを継続することができる。
例えば、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。
また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。
また、図６などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
また、表示装置２が行う処理の一部を、表示装置２とネットワークを介して接続されたサーバーが行ってもよい。
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
言語変換部（取得部）３０は取得手段と変換手段の一例である。表示制御部２４は表示制御手段の一例である。文字認識部２３は文字認識手段の一例である。操作コマンド処理部２８はコマンド処理手段の一例である。傾き検出部３１は表示方向検出手段の一例である。接触位置検出部２１は手書きデータ受付手段の一例である。操作受付部２７は操作受付手段の一例である。入力方向検出部３２は入力方向検出手段の一例である。変換言語記憶部４１は記憶手段の一例である。
２ 表示装置
特開２００３－１６２５２７号公報

Claims (13)

  1. ディスプレーに文字列を表示する表示装置であって、
    前記文字列の表示方向を取得する取得手段と、
    前記文字列の表示方向と変換先言語とを対応付けて記憶する記憶手段と、
    前記取得手段で取得された文字列の表示方向に応じて、前記ディスプレーに表示されている前記文字列を、該文字列の表示方向に対応する前記記憶手段の前記変換先言語に変換する変換手段と、
    前記変換手段が前記変換先言語に変換した前記文字列を表示する表示制御手段と、
    を有する表示装置。
  2. 手書きデータを前記文字列に変換する文字認識手段を有し、
    前記表示制御手段は、前記文字認識手段が変換した前記文字列に基づいて前記表示方向を受け付ける操作コマンドを表示し、
    前記操作コマンドの選択に応じて前記文字列の表示方向を受け付けるコマンド処理手段、を有し、
    前記変換手段は前記ディスプレーに表示されている前記文字列を、前記コマンド処理手段が受け付けた前記表示方向に対応する前記記憶手段の前記変換先言語に変換する請求項１に記載の表示装置。
  3. 前記表示制御手段は、前記文字列の表示方向を受け付けるアイコンを表示し、
    前記アイコンの押下に応じて前記文字列の表示方向を受け付ける操作受付手段、を有し、
    前記変換手段は前記ディスプレーに表示されている前記文字列を、前記操作受付手段が受け付けた前記表示方向に対応する前記記憶手段の前記変換先言語に変換する請求項１又は２に記載の表示装置。
  4. 前記表示装置に作用する重力方向に基づいて前記文字列の表示方向を検出する表示方向検出手段を有し、
    前記変換手段は前記ディスプレーに表示されている前記文字列を、前記表示方向検出手段が検出した前記表示方向に対応する前記記憶手段の前記変換先言語に変換する請求項１～３のいずれか１項に記載の表示装置。
  5. 前記表示制御手段は、前記ディスプレーに表示されている画像を前記文字列と同じ前記表示方向に正対させて表示する請求項１～４のいずれか１項に記載の表示装置。
  6. 前記表示制御手段は、前記ディスプレーに表示されている前記文字列のみを前記表示方向に正対させて表示する請求項１～４のいずれか１項に記載の表示装置。
  7. 手書きデータの入力を受け付ける手書きデータ受付手段と、
    前記手書きデータ受付手段が受け付けた前記手書きデータに基づいて、前記手書きデータを入力するユーザーに正対する表示方向を検出する入力方向検出手段と、を有し、
    前記コマンド処理手段は、前記表示方向に関する前記操作コマンドの選択に応じて、前記入力方向検出手段が検出した前記表示方向と前記変換先言語の対応を前記記憶手段に登録する請求項２に記載の表示装置。
  8. 手書きデータの入力に用いられた入力手段の識別情報を前記入力手段から受信し、
    予め決まった方法で手書きされた前記手書きデータに応じて、前記入力手段を用いて手書きするユーザーに正対する表示方向を検出する入力方向検出手段、を有し、
    前記コマンド処理手段は、前記表示方向に関する前記操作コマンドの選択に応じて、前記入力方向検出手段が検出した前記表示方向と前記変換先言語の対応を前記記憶手段に登録する請求項２に記載の表示装置。
  9. 前記文字列ごとに現在の表示方向が記録されており、
    前記変換手段は、前記文字列の現在の前記表示方向に、受け付けた相対的な回転角度を加えた値を新たな表示方向として、前記ディスプレーに表示されている前記文字列を、前記新たな表示方向に対応する前記記憶手段の前記変換先言語に変換する請求項２又は３に記載の表示装置。
  10. 前記文字列の表示方向に変換先言語が対応付けられている前記記憶手段には前記変換先言語のフォントが対応付けられており、
    前記変換手段は、前記ディスプレーに表示されている前記文字列を、前記表示方向に対応する前記記憶手段の前記変換先言語に変換し、
    前記表示制御手段は、前記変換手段が前記変換先言語に変換した前記文字列を前記変換先言語に対応付けられているフォントで表示する請求項１～９のいずれか１項に記載の表示装置。
  11. 前記表示制御手段は、前記変換手段が前記変換先言語に変換した前記文字列を前記表示方向に正対させて表示する請求項１に記載の表示装置。
  12. ディスプレーに文字列を表示する表示装置が行う表示方法であって、
    取得手段が、前記文字列の表示方向を取得するステップと、
    変換手段が、前記文字列の表示方向と変換先言語とを対応付けて記憶する記憶手段を参照し、前記取得手段で取得された文字列の表示方向に応じて、前記ディスプレーに表示されている前記文字列を、該文字列の表示方向に対応する前記記憶手段の前記変換先言語に変換するステップと、
    前記変換手段が前記変換先言語に変換した前記文字列を表示制御手段が表示するステップと、
    を有する表示方法。
  13. ディスプレーに文字列を表示する表示装置を、
    前記文字列の表示方向を取得する取得手段と、
    前記文字列の表示方向と変換先言語とを対応付けて記憶する記憶手段と、
    前記取得手段で取得された文字列の表示方向に応じて、前記ディスプレーに表示されている前記文字列を、該文字列の表示方向に対応する前記記憶手段の前記変換先言語に変換する変換手段と、
    前記変換手段が前記変換先言語に変換した前記文字列を表示する表示制御手段、
    として機能させるためのプログラム。
JP2021048533A 2021-03-23 2021-03-23 表示装置、表示方法、プログラム Pending JP2022147337A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021048533A JP2022147337A (ja) 2021-03-23 2021-03-23 表示装置、表示方法、プログラム
EP22162481.0A EP4064019A1 (en) 2021-03-23 2022-03-16 Display system, display method, and carrier means
US17/695,846 US20220319211A1 (en) 2021-03-23 2022-03-16 Display apparatus, display system, display method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021048533A JP2022147337A (ja) 2021-03-23 2021-03-23 表示装置、表示方法、プログラム

Publications (1)

Publication Number Publication Date
JP2022147337A true JP2022147337A (ja) 2022-10-06

Family

ID=81327945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021048533A Pending JP2022147337A (ja) 2021-03-23 2021-03-23 表示装置、表示方法、プログラム

Country Status (3)

Country Link
US (1) US20220319211A1 (ja)
EP (1) EP4064019A1 (ja)
JP (1) JP2022147337A (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154214A (en) * 1998-03-20 2000-11-28 Nuvomedia, Inc. Display orientation features for hand-held content display device
JP3933449B2 (ja) * 2001-11-22 2007-06-20 株式会社東芝 コミュニケーション支援装置
US20100205190A1 (en) * 2009-02-09 2010-08-12 Microsoft Corporation Surface-based collaborative search
US20110270824A1 (en) * 2010-04-30 2011-11-03 Microsoft Corporation Collaborative search and share
JP5580694B2 (ja) * 2010-08-24 2014-08-27 キヤノン株式会社 情報処理装置、その制御方法、プログラム及び記憶媒体
KR101467295B1 (ko) * 2013-03-18 2014-12-01 주식회사 피엔에프 필기 정렬이 가능한 정보 입력 장치 및 방법
JP5829354B2 (ja) * 2013-03-29 2015-12-09 楽天株式会社 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム
US9727797B2 (en) * 2015-03-05 2017-08-08 International Business Machines Corporation Techniques for rotating language preferred orientation on a mobile device
CN109308205B (zh) * 2018-08-09 2020-12-01 腾讯科技（深圳）有限公司 应用程序的显示适配方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220319211A1 (en) 2022-10-06
EP4064019A1 (en) 2022-09-28

Similar Documents

Publication Publication Date Title
US11250253B2 (en) Handwriting input display apparatus, handwriting input display method and recording medium storing program
JP7452155B2 (ja) 手書き入力装置、手書き入力方法、プログラム
JP2022019426A (ja) 表示装置、制御方法、プログラム
JP2022147337A (ja) 表示装置、表示方法、プログラム
EP4064020B1 (en) Display system, display method, and carrier means
JP2022039088A (ja) 表示装置、表示方法、プログラム、表示システム
JP7384191B2 (ja) 表示装置、プログラム、領域変更方法
JP7508916B2 (ja) 表示装置、表示方法およびプログラム
JP7480608B2 (ja) 表示装置、表示方法、プログラム
US20230070034A1 (en) Display apparatus, non-transitory recording medium, and display method
JP2022141344A (ja) 表示装置、表示方法、プログラム
US11726654B2 (en) Display apparatus capable of displaying icon corresponding to shape of hand-drafted input, display method, and non-transitory computer-executable medium storing program thereon
US11822783B2 (en) Display apparatus, display method, and information sharing system
EP4246301A1 (en) Display apparatus, formatting method, carrier means, and information sharing system
WO2022071448A1 (en) Display apparatus, display method, and program
US20230289517A1 (en) Display apparatus, display method, and non-transitory recording medium
JP7268479B2 (ja) 表示装置、プログラム、表示方法
JP2022119463A (ja) 表示装置、表示方法およびプログラム
US20220300147A1 (en) Display apparatus, display method, and non-transitory recording medium
JP2021149662A (ja) 表示装置、表示方法、プログラム
JP2023133110A (ja) 表示装置、表示方法、プログラム
JP2023133111A (ja) 表示装置、表示方法、プログラム
JP2021149480A (ja) 表示装置、表示方法、プログラム
JP2021152884A (ja) 表示装置、表示方法、プログラム、情報処理装置
JP2022147297A (ja) 表示装置、表示方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240830