JP2022141344A - 表示装置、表示方法、プログラム - Google Patents

表示装置、表示方法、プログラム Download PDF

Info

Publication number
JP2022141344A
JP2022141344A JP2021041593A JP2021041593A JP2022141344A JP 2022141344 A JP2022141344 A JP 2022141344A JP 2021041593 A JP2021041593 A JP 2021041593A JP 2021041593 A JP2021041593 A JP 2021041593A JP 2022141344 A JP2022141344 A JP 2022141344A
Authority
JP
Japan
Prior art keywords
character string
language
display device
display
handwritten data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021041593A
Other languages
English (en)
Inventor
知佳 中野
Chika Nakano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2021041593A priority Critical patent/JP2022141344A/ja
Priority to EP22701704.3A priority patent/EP4309073A1/en
Priority to PCT/IB2022/050368 priority patent/WO2022195360A1/en
Publication of JP2022141344A publication Critical patent/JP2022141344A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/247Thesauruses; Synonyms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)
  • Machine Translation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】入力された手書きデータに対して複数の言語に変換された複数の文字列を表示する表示装置を提供すること。【解決手段】本発明は、手書きデータの入力を受け付ける受付手段と、前記受付手段が受け付けた前記手書きデータを複数の言語に変換した複数の文字列を表示する表示制御手段と、前記表示制御手段が表示した複数の前記文字列から文字列の選択を受け付ける選択手段と、を有する表示装置を提供する。【選択図】図1

Description

本発明は、表示装置、表示方法、又は、プログラムに関する。
手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。表示装置は筆談によるコミュニケーションツールとして利用される場合もある。
また、手書き認識技術を用いて手書きデータを別の言語に変換する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、手書きデータに文字認識を行なってテキストデータ化し、テキストデータを異なる言語へ変換する技術が開示されている。
しかしながら、従来の技術では、入力された1つの手書きデータから1つの言語に変換された文字列を表示していたが、複数の異なる言語を利用する話者が混在する職場や現場にて表示装置が使われる場面では、入力された1つの手書きデータに対して複数の言語に変換された複数の文字列を表示したい場合がある。
上記に課題に鑑み、本発明は、入力された手書きデータに対して複数の言語に変換された複数の文字列を表示できる表示装置を提供することを目的とする。
上記課題に鑑み、本発明は、手書きデータの入力を受け付ける受付手段と、前記受付手段が受け付けた前記手書きデータを複数の言語に変換した複数の文字列を表示する表示制御手段と、を有する表示装置を提供する。
入力された手書きデータに対して複数の言語に変換された複数の文字列を表示する表示装置を提供することができる。
本実施形態の表示装置による言語の変換の概略を説明する図である。 表示装置の一例の全体構成図である。 表示装置の一例のハードウェア構成図である。 表示装置が有する機能をブロック状に分けて説明する一例の機能ブロック図である。 操作ガイドと操作ガイドが表示する選択可能候補の一例を示す図である。 ケース1aの手書きデータとその変換例を示す図である。 図6の変換手順を説明する一例のフローチャート図である。 ケース1bの手書きデータとその変換例を示す図である。 図8の変換例を説明する一例のフローチャート図である。 表示装置が有する機能をブロック状に分けて説明する一例の機能ブロック図である。 ケース2aの手書きデータとその変換例を示す図である。 図11の変換例を説明する一例のフローチャート図である。 ケース2bの手書きデータとその変換例を示す図である。 図12の変換例を説明する一例のフローチャート図である。 ケース2cの手書きデータとその変換例を示す図である。 図15の変換例を説明する一例のフローチャート図である。 変換先言語が設定される一例のアイコンボタンを示す図である。 図17の変換例を説明する一例のフローチャート図である。 変換元の言語と変換先言語の双方の表示例を示す図である。 英語と中国語への変換例を説明する図である。 英語と中国語への変換例を説明する図である。 図21の変換例を説明する一例のフローチャート図である。 複数の操作ガイドを起点に追加して表示されるリコメンドウィンドゥを説明する図である。 表示装置が操作ガイド内の選択可能候補をテロップのように表示する一例の操作ガイドを示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。
以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。
複数の異なる言語話者が混在する職場や現場にて表示装置が使われる場面がある。このような場面では、ある国の人が異国の人に手書きにより情報を伝えたい場合、ディスプレーに表示されている文字列を、異国の人が分かる言語に変換して表示すれば、意思伝達が容易になる。しかし、ある国の人が異国の人の言語をよく知らない場合が起こりうる。それだけでなく、異国の人がどの言語なら分かるのかもある国の人がわからない場合が起こりうる。
<文字列の修正の概略>
図1は、本実施形態の表示装置による言語の変換の概略を説明する図である。
(1) まず、ユーザーが「こんにちは」と手書きした。ユーザーは必ずしも「こんにちは」の全部を手書きしなくてもよい。
(2) 表示装置は、手書きデータを文字認識することで、「こんにちは」という文字列に変換する。そして、表示装置は「こんにちは」と同じ意味の他言語の文字列のリストを表示する。図1では、「こんにちは」という意味の英語、中国語、フランス語、及び、韓国語の文字列が表示されている。他言語とは、文字認識された手書きデータの言語以外の言語を言う。
(3) 例えば、中国語に変換したいユーザーは中国語の文字列を選択する。
このように本実施形態の表示装置は、変換先言語をユーザーが予め設定しておかなくても、手書きされた言語とは異なる他言語で同じ意味の文字列のリストを表示することができる。したがって、ある国の人が異国の人の言語をよく知らない場合、又は、異国の人がどの言語なら分かるのかもある国の人がわからない場合でもコミュニケーションが可能になる。
なお、従来は、日本語の単語と英語の単語との関係を構築しているデータベース(コンピュータにおいて、関連し合うデータを収集・整理して、検索や更新を効率化したリレーショナル(関係)な関係を有するデータ構造を有するデータ)が、日本語の単語と中国語の単語との関係を構築しているデータベースとは、別のデータベースとして管理されていたため、手書きデータを入力する前に、利用するデータベースを特定するために、ユーザーが変換先の言語(上記例ならば、英語、中国語)とを特定しておく必要があった。
そのため、手書きデータを入力する前に、変換先の言語を予めユーザーが設定しておく必要があるという問題があった。
<用語について>
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。
ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、1つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。
ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。
手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。
確定データは手書きデータの文字認識により文字コード(フォント)に変換されユーザーにより選択されたデータ、又は、文字コード(フォント)に変換しないことが確定している手書きデータである。
操作コマンドとは手書き入力装置を操作するために用意されている、特定の処理の実行を指示する命令をいう。本実施形態では一例として、画像全体の回転、表示方向と変換先文字列の対応をユーザーが表示装置2に指示する例を説明する。このほか、文字列の編集系、修飾系、又は、入出力系などでも操作コマンドが使用される。
文字列とは、コンピュータで扱われる1つ以上の文字である。文字列の実態は文字コードである。文字には、数字、アルファベット、及び、記号等が含まれる。文字列はテキストデータとも言われる。
変換とはかえること又はかわることをいう。文字列の言語を変換することを翻訳という場合がある。
<装置の構成例>
図2を用いて、本実施形態に係る表示装置2の全体構成を説明する。図2は、表示装置2の全体構成図を示した図である。図2(a)は、表示装置2の一例として、壁につり下げられた横長の電子黒板として使用される表示装置2を示している。
図2(a)に示されているように、表示装置2の上部には表示装置の一例としてのディスプレー220が設置されている。ユーザーUは、ペン2500を用いて、ディスプレー220に文字等を手書きする(入力、描画ともいう)ことができる。
図2(b)は壁につり下げられた縦長の電子黒板として使用される表示装置2を示している。
図2(c)は机230に平置きされた表示装置2を示す。表示装置2は厚みが1cm程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、ユーザーが容易に表示装置2を移動できる。
なお、ペン2500の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン2500は、筆圧検知、傾き検知、ホバー機能(ペンが触れる前にカーソルを表示)、などの機能を有していてよい。
<装置のハードウェア構成>
続いて、図3を用いて、表示装置2のハードウェア構成を説明する。表示装置2は図示するように情報処理装置又はコンピュータの構成を有している。図3は、表示装置2のハードウェア構成図の一例である。図3に示されているように、表示装置2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、及び、SSD(Solid State Drive)204を備えている。
これらのうち、CPU201は、表示装置2全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。
SSD204は、OSや表示装置用のプログラム等の各種データを記憶する。このプログラムは汎用的なOS(Windows(登録商標)、Mac OS(登録商標)、Android(登録商標)、iOS(登録商標)等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。
また、表示装置2は、ディスプレーコントローラー213、タッチセンサーコントローラー215、タッチセンサー216、ディスプレー220、電源スイッチ227、チルトセンサー217、シリアルインタフェース218、スピーカー219、マイク221、無線通信装置222、赤外線I/F223、電源制御回路224、ACアダプター225、及びバッテリー226を備えている。
ディスプレーコントローラー213は、出力画像をディスプレー220等へ出力するために画面表示の制御及び管理を行う。タッチセンサー216は、ディスプレー220上にペン2500やユーザーの手等(ペンやユーザーの手は入力手段となる)が接触したことを検知する。また、タッチセンサー216はペンIDを受信する。
タッチセンサーコントローラー215は、タッチセンサー216の処理を制御する。タッチセンサー216は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー220の上側両端部に設置された2つ受発光装置が、ディスプレー220に平行して複数の赤外線を放射し、ディスプレー220の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー216は、物体によって遮断された2つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー215に出力し、タッチセンサーコントローラー215が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー215は通信ユニット215aを有しており、ペン2500と無線で通信することができる。例えば、Bluetooth(登録商標)などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット215aに予め1つ以上のペン2500を登録しておくと、ユーザーはペン2500を表示装置2と通信させる接続設定を行わなくても通信できる。
電源スイッチ227は、表示装置2の電源のON/OFFを切り換えるためのスイッチである。チルトセンサー217は、表示装置2の傾き角度を検出するセンサーである。主に、表示装置2が図2(a)、図2(b)、又は、図2(c)のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。
シリアルインタフェース218はUSBなどの外部との通信インタフェースである。シリアルインタフェース218は、外部からの情報の入力などに使用される。スピーカー219は音声の出力に使用され、マイク221は音声の入力に使用される。無線通信装置222は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置222はWi-FiやBluetooth(登録商標)などで通信するが、通信規格は問われない。無線通信装置222はアクセスポイントを形成しており、ユーザーが入手したSSID(Service Set Identifier)とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。
なお、無線通信装置222には2つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
aのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。bのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。
赤外線I/F223は隣に配置された表示装置2を検出する。赤外線I/F223は、赤外線の直進性を利用して、隣に配置された表示装置2のみを検出できる。赤外線I/F223は各辺に1つずつ設けられることが好ましく、表示装置2のどの方向に他の表示装置2が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置2に過去に手書きされた手書き情報(1つのディスプレー220の広さを1ページとして別のページの手書き情報)等を表示できる。
電源制御回路224は表示装置2の電源であるACアダプター225とバッテリー226を制御する。ACアダプター225は商用電源が共有する交流を直流に変換する。
ディスプレー220がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー226による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置2を使用することが可能になる。
更に、表示装置2は、バスライン210を備えている。バスライン210は、図3に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、タッチセンサー216は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー216は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン2500は、細長いペン型である必要はない。
<機能について>
次に、図4を用いて表示装置2の機能について説明する。図4は、表示装置2が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置2は、接触位置検出部21、描画データ生成部22、文字認識部23、表示制御部24、データ記録部25、ネットワーク通信部26、操作受付部27、及び、変換処理部28、を有している。表示装置2が有する各機能は、図3に示されている各構成要素のいずれかが、SSD204からRAM203上に展開されたプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。
接触位置検出部21はタッチセンサー216に対しペン2500が接触した位置の座標を検出する。描画データ生成部22はペン2500のペン先が接触した座標を接触位置検出部21から取得する。描画データ生成部22は、この座標点列を補間することで接続してストロークデータを生成する。
文字認識部23はユーザーが手書きした1つ以上のストロークデータ(手書きデータ)に対し文字認識処理を行い、文字コードに変換する。文字認識部23は、ユーザーのペン操作と並行して文字(日本語だけでなく英語などの多言語)、数字、記号(%、$、&など)、図形(線、丸、三角など)等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。
表示制御部24は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレーに表示する。データ記録部25は、表示装置2に手書きされた手書きデータ、変換された文字列、及び、PCの画面、ファイル等を記憶部30に記憶する。ネットワーク通信部26はLAN等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。
変換処理部28は、定義済み制御データ記憶部32と同意語辞書31を使用して、ユーザーが入力した文字列を、該文字列と同じ意味の他言語に変換する。
また、表示装置2は、図3に示されているSSD204やRAM203などに構築される記憶部30を有し、記憶部30には同意語辞書31、定義済み制御データ記憶部32、及び、入力データ記憶部33が構築されている。
Figure 2022141344000002
表1は同意語辞書31の内容を模式的に示す。同意語辞書31は複数の言語の同意語が対応付けて登録された辞書である。同意語とは、発音又は表記などは異なるが意味が同じである語をいう。同義語ともいう。変換処理部28は同意語辞書を参照することで、手書きデータを意味が同じ複数の他言語に変換できる。
Figure 2022141344000003
表2は定義済み制御データ記憶部32が記憶する定義済み制御データを模式的に示す。定義済み制御データは、入力された文字列による表示装置2の制御内容である。例えば、定義済み制御項目が「テキスト言語」361の定義済み制御データは、ユーザーにより手書き入力された言語の種類に応じたLanguage属性が設定されることを意味する。Language属性は、手書きデータから認識された文字列を変換処理部28がどの言語に変換するかを示す。例えば、ユーザーが「英語」と手書きすると、Language属性に「English」が設定される。ユーザーが手書きした手書きデータは英語に変換される。
定義済み制御項目が「テキスト意味」362の定義済み制御データは、ユーザーにより入力された文字列に応じたTextmeaning属性が設定されることを意味する。Textmeaning属性は、入力された文字列の一般的な意味を英語で表している。この意味は同意語辞書31の検索に使用される。
Figure 2022141344000004
表3は入力データ記憶部33の内容を模式的に示す。入力データは、ユーザーにより入力されたデータの属性をデータごとに示す。入力データは1つのオブジェクト(1つのストロークデータ、1つの文字列、1つの画像等)ごとに記録される。入力データ363,364はそれぞれが1つのオブジェクトである。各属性について説明する。
・DataIdは入力データの識別情報である。
・Typeは入力データの種別であり、ストローク(Stroke)、テキスト(Text)、及び、イメージ(Image)がある。Typeによって入力データが保持する属性は異なってよいが、表3ではType="Text"の場合を説明する。テキストは文字列を表し、イメージは画像である。
・PenIdはこの文字列の入力に使用されたペン2500の識別情報である。
・colorIdは文字列の色の識別情報を示す。
・Angleはこの文字列の表示方向である。
・StartPointは文字列の外接矩形における左上頂点の座標である。
・StartTimeはユーザーが文字列を書き始めた時刻である。
・EndPointは文字列の外接矩形における右下頂点の座標である。
・EndTimeはユーザーが文字列を書き終えた時である。
・FontNameは文字列のフォント名である。
・FontSizeは文字サイズである。
・Textは入力されたテキストである(文字コード)。
・meaningは文字列の意味である。
・Languageは文字列の言語である。
表3の入力データ363は、「こんにちは」と日本語で入力されたケースであり、入力データ364は「ニーハオ」と中国語で記入されたケースである。MeaningとLanguageの属性は定義済み制御データにより特定される。なお、表や図では「ニーハオ」を中国語で記載したが、特許庁が提供する出願システムで使用できる言語の制限のため本明細書ではカタカナで「ニーハオ」と記載する。使用が制限される他の言語についても同様である。
<選択可能候補の表示例>
続いて、図5を参照して、手書きデータの変換時に表示される操作ガイド500について説明する。図5は操作ガイド500と操作ガイドが表示する選択可能候補530の一例である。ユーザーが手書きデータ504を手書きすることで、操作ガイド500が表示される。操作ガイド500は、操作コマンドの候補510、手書き認識文字列候補506、変換文字列候補507、及び、文字列/予測変換の候補508を表示する。なお、選択可能候補530は、操作コマンドの候補510、手書き認識文字列候補506、変換文字列候補507、文字列/予測変換の候補508である。また、操作コマンドの候補510を除く選択可能候補530を文字列候補539という。
手書きデータ504はユーザーが手書きした「ぎ」という文字である。手書きデータ504を囲む手書きデータ矩形領域表示503が表示される。図5では一文字の入力で操作ガイド500が表示されているが、操作ガイド500が表示されるタイミングは、ユーザーが手書きを中断したタイミングである。したがって、手書きデータ504の文字数は任意である。
手書き認識文字列候補506、変換文字列候補507、文字列/予測変換の候補508にはそれぞれの文字列候補が確率降順で並んでいる。手書き認識文字列候補506の「ぎ」は認識結果の候補である。この例では、文字認識部23が正しく「ぎ」を認識している。
変換文字列候補507は「ぎ」のカナ漢字変換の結果(例えば「技」)から変換された変換文字列候補(例えば技を含む熟語)である。この例の「技量試」とは「技術量産試作」の略名である。文字列/予測変換の候補508は変換文字列候補507から変換された予測文字列候補である。この例では「技量試を決裁」と「議事録の送付先」が表示されている。
操作コマンドの候補510は認識された文字に応じて表示される、予め定義されている操作コマンド(ファイル操作、文字の編集などのコマンド)の候補である。図5の例では行頭文字の「》」511が操作コマンドの候補であることを示している。図5では「ぎ」の文字列候補である「議事録」が、定義データと部分一致したため、操作コマンドの候補510として表示されている。
操作コマンドの候補510は、変換された文字列を含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。本実施形態では、変換に関する操作コマンドの候補510が表示される。
操作ヘッダー520はボタン501、509、502、505を有する。ボタン501は予測変換とカナ変換の切り替え操作を受け付ける。ボタン502は候補表示のページ操作をする。図5の例では候補表示ページは3ページあり、現在は1ページ目を表示している。ボタン505は操作ガイド500の消去を受け付ける。ユーザーがボタン505を押下すると操作受付部27が受け付けて、表示制御部24が手書きデータ以外の表示を消去する。ボタン509は一括表示消去を受け付ける。ユーザーがボタン509を押下すると操作受付部27が受け付けて、表示制御部24が手書きデータを含め、図5に示されているすべての表示を消去して、ユーザーが最初から手書きをしなおすことを可能にする。
<変換例>
以下では、ユーザーにより入力された手書きデータのいくつかの変換例を説明する。
<<ケース1>>
接客業等では、情報の伝達相手の使用言語が毎回、不特定な場合がある。このようなケースでは、表示装置2が変換先言語を固定しないほうがよいと考えられる。
・ケース1a
図6は、ケース1aの手書きデータとその変換例を示す図である。
(1) ユーザーが「こんにちは」と日本語で手書きした。描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータを表示する。
(2) ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「こんにちは」を生成する(手書き認識文字列候補506に相当)。
次に、変換処理部28は「こんにちは」で定義済み制御データを検索することで、Textmeaning="hello"を取得する。変換処理部28は同意語辞書31を参照して、"hello"の意味を持つ他言語の文字列を特定する。
以上のように、表示制御部24が(1)(2)のユーザー操作に応じて操作ガイド500を表示して、日本語と同義の複数の他言語で文字列350を表示する。
(3) ユーザーがペン2500で例えば「ニーハオ」を選択すると、表示制御部24はユーザーが選択した他言語の文字列を表示する。
図7は、図6の変換手順を説明するフローチャート図である。
描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータ「こんにちは」を表示する(S1)。
ユーザーがペン2500をディスプレーから離して手書きを中断すると、文字認識部23が文字認識を開始する。文字認識部23は認識結果として「こんにちは」に変換する(S2)。
次に、変換処理部28は「こんにちは」で定義済み制御データを検索することで、Textmeaning="hello"を取得する(S3)。また、変換処理部28はデフォルトの設定、又は、ストロークデータに基づいてユーザーの使用言語を判断する。ストロークデータに基づくユーザーの使用言語の判断には、例えば機会学習が利用されてよい。開発者はストロークデータと使用言語を組とするトレーニングデータを用意し、ニューラルネットワークやサポートベクターマシンなどのアルゴリズムで学習モデルを生成する。ここではLanguage=Japaneseと判断される。
次に、変換処理部28は同意語辞書31を参照して、"hello"の意味を持つ日本語以外の他言語の文字列を特定する(S4)。
表示制御部24は操作ガイド500を表示して、認識結果として「こんにちは」、及び、日本語と同義の複数の他言語の文字列を表示する(S5)。
ユーザーから文字列候補539の選択を受け付けると、表示制御部24はユーザーが選択した他言語の文字列を表示する(S6)。変換処理部28は、ユーザーが選択した文字列の言語を判断する。例えば、Language=Chineseである。
データ記録部25は、入力データ記憶部33に表示した文字列の属性を保存する(S7)。本実施形態で特徴的な属性は、Text="ニーハオ"、meaning="hello"、Language="Chinese"である。その他の属性は例えばデフォルトの値が設定される。
このように、ユーザーが手書きデータを入力すると、表示装置は日本語だけでなく同じ意味の他言語の文字列も表示できる。
・ケース1b
図6のように変換候補の文字列そのものを操作ガイドが表示するのではなく、変換先言語を先に表示してもよい。例えば、「こんにちは」と同義の英語は「Hello」「Hi」、また、近い意味を持つ「Good morning」等も候補として挙げられ、1つの他言語について複数の同義の文字列を表示装置が表示すると、候補が多いためにユーザーが選択肢から探す手間が生じる。このように一言語で候補が膨大になってしまうケースが考慮される場合、先に言語指定を受け付けるユーザーインターフェースを表示装置2が採用すると、多言語に対応しやすい。
図8は、ケース1bの手書きデータとその変換例を示す図である。
(1) ユーザーが「こんにちは」と日本語で手書きした。描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータを表示する。
(2) ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「こんにちは」を生成する(手書き認識文字列候補506に相当)。
次に、変換処理部28は「こんにちは」が定義済み制御データに登録されていることから、「翻訳」という操作コマンドを表示する。「翻訳」という操作コマンドは、ユーザーが別途、表示装置2が表示するように設定しておくことで表示されてもよい。「翻訳」という操作コマンドは「変換先言語のリスト表示」という処理(表示装置が変換可能な言語のリストを表示)を表示装置2に実行させる。
以上のように、表示制御部24が(1)(2)のユーザー操作に応じて操作ガイド500を表示して、「翻訳」という操作コマンドの候補510と日本語の文字列候補539を表示する。
図8では、選択肢として操作コマンド以外の文字列候補539が表示されるので、ユーザーは変換でなく日本語の文字入力を行いたい場合も文字列を選択できる。
(3) ユーザーがペン2500で「翻訳」を選択すると、表示制御部24は処理「変換先言語のリスト表示」に基づいて、変換先言語の一覧を表示する。変換先言語のリストは、同意語辞書31に設定されている言語の種類の一覧でよい。なお、これらの言語の種別も操作コマンドである。
(4) ユーザーがペン2500で「English」を選択すると、表示制御部24は「こんにちは」と同じ意味の英語とその類義語351を操作ガイド500に表示する。すなわち、変換処理部28は「こんにちは」で定義済み制御データを検索することで、Textmeaning="hello"を取得する。次に、変換処理部28は同意語辞書31を参照して、"hello"の意味を持つ英語の文字列「Hello」を特定する。更に、変換処理部28は汎用の類義語辞書を参照して、"Hello"の類義語として例えば「Hi」「Good morning」「Good afternoon」「Good evening」を取得する。
(5) ユーザーがペン2500で「Hello」を選択すると、表示制御部24はユーザーが選択した「Hello」を表示する。
図9は、図8の変換例を説明する一例のフローチャート図である。
描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータ「こんにちは」を表示する(S1-1)。
文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「こんにちは」を生成する(S2-2)。
次に、変換処理部28は「こんにちは」で定義済み制御データを検索すると、「こんにちは」が登録済みなので、又は、ユーザーの設定に基づいて、予め定まっている「翻訳」の操作コマンドを表示すると決定する(S3-3)。なお、変換処理部28は「こんにちは」が有するストロークデータに基づいて、この文字列が日本語であると判断する。
表示制御部24は、日本語の文字列候補と「翻訳」の操作コマンドを含む操作ガイド500を表示する(S4-4)。
操作受付部27が操作ガイドから「翻訳」の操作コマンドを受け付け、変換処理部28がこの操作コマンドの処理を実行する(S5-5)。操作コマンドの処理とは「変換先言語のリスト表示」である。
表示制御部24は「変換先言語のリスト表示」の処理の実行結果として、同意語辞書31に登録されている言語を、変換先言語のリストとして操作ガイド500に表示する(S6-6)。
操作受付部27が操作ガイドから"English"を受け付けると、変換処理部28がこの操作コマンドの処理を実行する(S7-7)。この操作コマンドの処理は「英語の類義語表示」である。変換処理部28は「こんにちは」で定義済み制御データを検索することで、Textmeaning="hello"を取得する。変換処理部28は同意語辞書31を参照して、"hello"の意味を持つ英語の文字列を特定する。変換処理部28は汎用の類義語辞書を参照して、"Hello"の類義語を特定する。表示制御部24はこれら"Hello"とその類義語を有する操作ガイド500を表示する(S8-8)。
ユーザーから文字列候補539の選択を受け付けると、表示制御部24はユーザーが選択した文字列を表示する(S9-9)。データ記録部25は、入力データ記憶部33に表示した文字列の属性を保存する。
このように、表示装置2は変換先言語を先に受け付け、該言語で変換候補の文字列を表示することができる。
<主な効果>
以上説明したように、本実施例の表示装置2は、複数の他言語で文字列を表示するか、又は、言語の種類を表示する。これにより、複数の異なる言語話者が混在する職場や現場にて表示装置2が使われる場面で、対面する人が相手の国の言語をよく知らない場合や、相手がどの言語なら分かるのかもわからない場合に、コミュニケーションしやすくなる。
既知の海外ビジネスパートナーとのミーティングのように、ユーザーが情報の伝達相手の使用言語をおおよそ予測又は特定できる場合、変換先言語が固定されるとよい。本実施例ではこの状況を「ケース2」としていくつかの形態を説明する。
図10は、表示装置2が有する機能をブロック状に分けて説明する機能ブロック図の一例である。図10の説明において、図4において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
本実施例の表示装置2はコマンド検出部29を有している。コマンド検出部29は、ユーザーが入力した文字列に操作コマンドが含まれているどうかを、操作コマンド定義データ記憶部を参照して判断し、文字列に対応する操作コマンドを表示制御部24に表示させる。
また、本実施例の表示装置2は記憶部30に操作コマンド定義データ記憶部34を有する。
Figure 2022141344000005
表4は、ユーザーが変換先言語を明示的に設定するための操作コマンド定義データの一例である。各属性の内容を以下に示す。
・Nameは、操作コマンドの表示名である。
・Stringは、この操作コマンドをユーザーが呼び出すための文字列である。
・Commandは、操作コマンドの処理の内容を表す。
例えば、操作コマンド定義データ401のstringは英語に関連する文字列が設定されている。操作コマンド定義データ402のstringは韓国語に関連する文字列が設定されている。コマンド検出部29がこれらの文字列を検出すると、表示制御部24が対応する操作コマンドのName属性を操作コマンドの候補510として表示する。
<<ケース2a>>
表示装置2はユーザーが1度選択した文字列の言語に変換先言語を固定する。すなわち、同義語辞書において、前回選択された文字列の言語のみを変換処理部28が参照する。これにより、変換処理部28は、毎回、同じ言語に変換できる。
図11は、ケース2aの手書きデータとその変換例を示す図である。(1)~(3)はケース1aと同じでよい。(3)において、変換処理部28はユーザーが選択した「ニーハオ」が中国語であるため、変換先言語を中国語に固定する。
(4) ユーザーが「ありがとう」と日本語で手書きした。描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータを表示する。
(5) ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「ありがとう」を生成する。
次に、変換処理部28は「ありがとう」で定義済み制御データを検索することで、Textmeaning="thanks"を取得する。変換処理部28は同意語辞書31を参照して、"thanks"の意味を持つ中国語を特定する。
表示制御部24は操作ガイド500を表示することなく、"thanks"の意味を持つ中国語「謝謝」352を表示する。
したがって、ユーザーは選択操作を毎回実行することが不要になり、文字列を選択しなくても変換先言語で表示できる。なお、変換先言語が中国語に固定されていても、表示制御部24が操作ガイド500を表示してよい。この場合、手書きデータが日本語の場合と同様に、中国語「謝謝」を含む単語や予測変換の結果が表示される。
また、固定された変換先言語をリセットするには、例えば「リセット」「Reset」を操作コマンドとして用意し、固定された変換先言語をユーザーがリセットする。
図12は、図11の変換例を説明するフローチャート図である。なお、図12では図7との相違を主に説明する。まず、ステップS11~S15は、図7のステップS1~S5と同様でよい。
次に、変換処理部28は、ユーザーが選択した「ニーハオ」が中国語であるため、変換先言語を中国語に固定する(S16)。
描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータ「ありがとう」を表示する(S17)。
ユーザーがディスプレーからペン2500を離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「ありがとう」を生成する(S18)。
次に、変換処理部28は「ありがとう」で定義済み制御データを検索することで、Textmeaning="thanks"を取得する(S19)。
次に、変換処理部28は同意語辞書31を参照して、"thanks"の意味を持つ中国語(変換先言語が固定されている)の文字列を特定する(S20)。
表示制御部24は操作ガイド500を表示することなく、"thanks"の意味を持つ中国語の文字列を表示する(S21)。
なお、データ記録部25は、"thanks"の意味を持つ中国語の文字列について入力データ記憶部33に入力データを保存する。入力データの各属性は、Text="謝謝"meaning="thanks"、Language="Chinese"である。
このように、ケース2aでは、変換先言語が固定されるので、ユーザー同士が効率よくコミュニケーションをとれるようになる。
<<ケース2b>>
ケース2aにおいて、表示装置2は変換先言語を固定するか否かをユーザーから受け付けてもよい。例えば、表示装置2が「こんにちは」という日本語の手書きデータを中国語の「ニーハオ」で表示した後、2回目の「ありがとう」という日本語の手書きデータを中国語「謝謝」で表示した。表示装置2は2度連続で同一言語へ変換したことを検出して「翻訳先(出力言語)を中国語に固定しますか?」といったダイアログを表示する。操作受付部27はユーザーからYes又はNoで変換先言語の固定を受け付ける。
なお、ユーザーが中国語の「ニーハオ」を選択した段階で、表示装置2がダイアログを表示してもよい。すなわち、ユーザーが他言語の文字列を1回選択したタイミングで、表示装置2がダイアログを表示してよい。このように、ユーザーが他言語の文字列を一定回数以上(1を含む)、連続して選択したタイミングで、表示装置2がダイアログを表示してよい。
図13は、ケース2bの手書きデータとその変換例を示す図である。(1)~(3)はケース1aと同じでよい。
(4) ユーザーが「ありがとう」と日本語で手書きした。描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータを表示する。ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「ありがとう」を生成する(手書き認識文字列候補506に相当)。
次に、変換処理部28は「ありがとう」で定義済み制御データを検索することで、Textmeaning="thanks"を取得する。変換処理部28は同意語辞書31を参照して、"thanks"の意味を持つ他言語の文字列を特定する。
表示制御部24は操作ガイド500を表示し、日本語の「ありがとう」と同義の他言語で文字列を表示する。
(5) ユーザーから文字列候補539の選択を受け付けると、表示制御部24はユーザーが選択した他言語の文字列を表示する。
(6) (2)と(4)の2回連続で中国語が選択されたので、表示制御部24は変換先言語を中国語に固定するか否かを問い合わせるダイアログ410を表示する。ユーザーがYesを選択したものとする。変換処理部28は変換先言語を中国語に固定する。
(7) ユーザーが「会議」と日本語で手書きした。描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータを表示する。
(8) 変換先言語が中国語に固定されているので、変換処理部28は「会議」を中国語に変換して表示する。なお、表示装置2は中国語の文字列候補539を含む操作ガイド500を表示してよい。
したがって、表示装置2はユーザーの同意の下で変換先言語を固定できる。
なお、ケース2bでも、同様に、ユーザーは固定された変換先言語をリセットすることができる。
図14は、図12の変換例を説明するフローチャート図である。なお、図14では図12との相違を主に説明する。まず、ステップS31~S35は、図12のステップS11~S15と同様でよい。
次に、描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータ「ありがとう」を表示する(S36)。
ユーザーがペン2500をディスプレーから離して手書きを中断すると、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「ありがとう」を生成する(S37)。
次に、変換処理部28は「ありがとう」で定義済み制御データを検索することで、Textmeaning="thanks"を取得する(S38)。
次に、変換処理部28は同意語辞書31を参照して、"thanks"の意味を持つ日本語以外の他言語の文字列を特定する(S39)。
表示制御部24は操作ガイド500を表示して、認識結果として「ありがとう」、及び、日本語と同義の意味を有する複数の他言語の文字列を表示する(S40)。
ユーザーから文字列候補539の選択を受け付けると、変換処理部28は2回連続して同じ言語に変換されたか否かを判断する(S41)。
ステップS42の判断がYesの場合、表示制御部24はダイアログ410を表示する(S42)。
ダイアログ410でYesが押下された場合、変換処理部28は変換先言語を中国語に固定する(43)。
なお、2回連続に限らず、1回以上の変換先言語への変換により、表示装置2はダイアログ410を表示し、ユーザーの同意の下で変換先言語を固定してよい。
<<ケース2c>>
ユーザーが変換先言語に関連する文字列を手書きすることで言語選択が可能でもよい。このような処理は操作コマンド定義データにより実現できる。
図15は、ケース2cの手書きデータとその変換例を示す図である。
(1) ユーザーが「メキシコ」と日本語で手書きした。このケースでは、異国の人がメキシコから来たことが分かっている。描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータを表示する。
(2) ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「メキシコ」を生成する(手書き認識文字列候補506に相当)。
次に、コマンド検出部29は「メキシコ」で定義済み制御データを検索することで、コマンド名「スペイン語に翻訳する」「英語に翻訳する」を取得する。
表示制御部24は操作ガイド500を表示し、日本語の文字列候補と操作コマンドの候補510を表示する。ここでは、ユーザーが「スペイン語に翻訳する」を選択した。変換処理部28は操作コマンドを実行して変換先言語をスペイン語に設定する。
(3) ユーザーが「こんにちは」と日本語で手書きした。描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータを表示する。
(4) ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「こんにちは」を生成する。変換処理部28は変換先言語がスペイン語に固定されているので、「こんにちは」をスペイン語に変換する。変換方法はこれまでの説明と同様でよい。
なお、(4)で表示装置2は操作ガイド500を表示してもよい。この場合、操作ガイド500はスペイン語の「こんにちは」である「Hola」と、スペイン語の文字列候補539を表示する。
図16は、図15の変換例を説明するフローチャート図である。
描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータ「メキシコ」を表示する(S51)。
ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「メキシコ」を生成する(S52)。
次に、変換処理部28は「メキシコ」で操作コマンド定義データを検索することで、コマンド名「スペイン語に翻訳する」「英語に翻訳する」を取得する(S53)。
表示制御部24は操作ガイド500を表示し、日本語の文字列候補と操作コマンドの候補510を表示する(S54)。
ユーザーが「スペイン語に翻訳する」を選択した場合、変換処理部28は操作コマンドの実行により変換先言語をスペイン語に設定する(S55)。
ユーザーが「こんにちは」を手書きする。描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータ「こんにちは」を表示する(S56)。
ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「こんにちは」を生成する。変換処理部28は「こんにちは」で定義済み制御データを検索することで、Textmeaning="hello"を取得する。変換先言語がスペイン語に設定されているので、変換処理部28は同意語辞書31を参照して、"hello"の意味を持つスペイン語の文字列「Hola」を特定する。表示制御部24は操作ガイド500を表示することなく、スペイン語の文字列「Hola」を表示する(S57)。
このように、ユーザーは変換先言語に関連する文字列を手書きすることで変換先言語を設定できる。ユーザーが相手の出身国しか分からない場合でも、適切な変換先言語に設定できる。
<<ケース2d>>
変換先言語の設定の方法として、ユーザーがアイコンボタンから選択してもよいし、音声認識で入力してもよい。アイコンボタンとはイラストや文字と共に表示され選択を受け付ける表示部品である。このような表示部品をソフトキーともいう。
図17は、変換先言語が設定されるアイコンボタンの一例を示す。
(1) 図17では3つのアイコンボタン311~313が表示されている。各アイコンボタン311~313は、ユーザーが変換先言語を英語に設定するアイコンボタン311、変換先言語を日本語に設定するアイコンボタン312、変換先言語を中国語に設定するアイコンボタン313である。
(2) ユーザーが変換先言語を中国語に設定するアイコンボタン313を押下した場合、変換処理部28は変換先言語を中国語に設定する。
(3) ユーザーが例えば「こんにちは」と手書きすると、変換処理部28は中国語に変換して表示する。表示装置2は操作ガイド500を表示してもよい。この場合、操作ガイド500は中国語の「こんにちは」である「ニーハオ」を表示する。
このように、ユーザーはアイコンボタンで変換先言語を設定できる。
図18は、図17の変換例を説明するフローチャート図である。図18ではアイコンボタンがすでに表示されているものとする。アイコンボタンは常に表示されていても、ユーザーの操作で表示されてもよい。
操作受付部27がアイコンボタンで変換先言語の設置を受け付ける(S61)。ここでは操作受付部27が中国語を受け付けた。
描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータ「こんにちは」を表示する(S62)。
ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「こんにちは」を生成する(S63)。
次に、変換処理部28は「こんにちは」で定義済み制御データを検索することで、Textmeaning="hello"を取得する(S64)。
次に、変換先言語が中国語なので、変換処理部28は同意語辞書31を参照して、"hello"の意味を持つ中国語の文字列を特定する(S65)。
表示制御部24は、「こんにちは」から変換された中国語で文字列を表示する(S66)。表示制御部24は操作ガイド500を表示してもしなくてもよい。
<主な効果>
以上説明したように、本実施例の表示装置2は、変換先言語を固定できるので、情報の伝達相手の使用言語がおおよそ予測又は特定できる場合、コミュニケーションしやすくなる。
本実施例では、実施例1,2のケース1,ケース2に共通に適用できるケースを説明する。このケースを便宜上「ケース1・2」という。
なお、本実施例においては、実施例2にて説明した図10の機能ブロック図を援用できるものとして説明する。
<<ケース1・2a>>
手書きを行うユーザーと情報の伝達対象の相手が一見して意味を理解できるよう、変換元の言語と変換先言語の双方を表示装置2が表示してもよい。
図19は、変換元の言語と変換先言語の双方の表示例を示す。なお、変換先言語が中国語に固定されているものとする。図19では、ユーザーが手書きした「こんにちは」に対し、文字列に変換された「こんにちは」421と「こんにちは」が中国語に変換された文字列「ニーハオ」422が表示されている。このような制御は、表示制御部24が変換元の言語と変換先言語の双方を表示すればよい。
なお、表示装置2が複数の文字列を表示する場合、操作ガイド500は表示されないが、表示されてもよい。この場合、表示制御部24は日本語と中国の操作ガイド500をそれぞれ別に表示する方法、又は、1つの操作ガイド500から2つの文字列の選択を受け付け可能とする方法がある。
表示装置2の処理手順は、変換先言語が複数になる以外は図16、図18と同様でよい。
また、変換先言語は1つに限らず、2つ以上でもよい。この場合、操作コマンド定義データには、複数の言語が変換先言語として定義される。これにより、「1言語」対「1言語」の変換だけではなく、「1言語」対「多言語」の変換が可能になる。
Figure 2022141344000006
表5は、「1言語」対「多言語」の変換が可能な操作コマンド定義データの一例を示す。認識文字列は、「English and Chinese」「英語と中国語」「アメリカと中国」であり、これらが手書きされると、操作コマンドの候補510に「英語と中国語に翻訳する」が表示される。ユーザーが「英語と中国語に翻訳する」を選択すると、変換先言語が英語と中国語の2つに設定される。
図20は、2つの変換先言語の一例として英語と中国語への変換例を説明する図である。
(1) ユーザーが「英語と中国語」と日本語で手書きした。描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータを表示する。
ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「英語と中国語」を生成する。コマンド検出部29は「英語と中国語」で操作コマンド定義データを検索し、「英語と中国語に翻訳する」という操作コマンドを検出する。表示制御部24は日本語の文字列候補とこの操作コマンドの候補(2つの変換先言語の組を有する操作コマンド)を表示する。ユーザーが「英語と中国語に翻訳する」という操作コマンドを選択すると、変換処理部28は処理「英語と中国語に翻訳」を実行して、変換先言語を英語と中国語に設定する。
(2) ユーザーが「こんにちは」と日本語で手書きした。描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータを表示する。
(3) ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「こんにちは」を生成する。変換処理部28は変換先言語である英語と中国語に「こんにちは」を変換する。表示制御部24は日本語の文字列423、英語の文字列424、及び、中国語の文字列425を表示する。
なお、表示装置2の処理手順は、変換先言語が複数になる以外は図16と同様でよい。
<<ケース1・2b>>
一言語において多数の変換候補がある場合などは、一言語につき複数の候補がある状態で複数言語が混在した操作ガイド500を表示してもよい。
図21は、英語と中国語への変換例を説明する図である。
(1) ユーザーが「こんにちは」と日本語で手書きした。描画データ生成部22は接触位置検出部21が検出する座標に基づいて手書きデータを表示する。
(2) ユーザーがペン2500をディスプレーから離すと、文字認識部23が文字認識を開始する。文字認識部23は直接の認識結果として「こんにちは」を生成する(手書き認識文字列候補506に相当)。
次に、変換処理部28は「こんにちは」が定義済み制御データに登録されているため、又は、ユーザーの設定に応じて、「翻訳」という操作コマンドを表示する。「翻訳」という操作コマンドは「変換先言語のリスト表示」という処理を表示装置2に実行させる。
以上のように、表示制御部24が(1)(2)のユーザー操作に応じて操作ガイド500を表示して、「翻訳」という操作コマンドの候補510と日本語の文字列候補539を表示する。この操作コマンドの内容が実施例1の図8とは異なっている。
図21では、選択肢として操作コマンド以外の文字列候補539が表示されるので、ユーザーは変換でなく日本語の文字入力を行いたい場合も文字列を選択できる。
(3) ユーザーがペン2500で「翻訳」を選択すると、表示制御部24は処理「複数言語変換」に基づいて、複数の言語かつ複数の文字列の一覧354を操作ガイド500に表示する。変換処理部28は「こんにちは」で定義済み制御データを検索することで、Textmeaning="hello"を取得する。次に、変換処理部28は同意語辞書31を参照して、"hello"の意味を持つ他言語の文字列を特定する。変換処理部28は汎用の類義語辞書を参照して、英語のhelloの類義語「Hi」等、中国語の「ニーハオ」の類義語を取得する。
(4) ユーザーがペン2500で「Hi」を選択すると、表示制御部24は「Hi」を表示する。
このように、表示装置2が複数の言語で類義語を表示するので、ユーザーが選ぶつもりだった文字列が表示される可能性が高くなる。図8と異なり、表示装置2が変換先言語を表示する必要もない。
図22は、図21の変換例を説明するフローチャート図である。なお、図22の説明では主に図9との相違を説明する。ステップS81~S84は図9のS1-1~S4-4と同様でよい。
操作受付部27が操作ガイドから「翻訳」の操作コマンドを受け付け、変換処理部28がこの操作コマンドの処理を実行する(S85)。操作コマンドの処理とは「複数言語変換」である。
変換処理部28は「複数言語変換」の処理の実行結果として、同意語辞書31からTextmeaning="hello"と同じ意味の他言語の文字列を特定する。変換処理部28は汎用の類義語辞書を参照して、英語のhelloの類義語「Hi」等、及び、中国語の「ニーハオ」の類義語を取得する。
表示制御部24は取得した各言語の類義語を操作ガイド500に表示する(S86)。
操作受付部27が文字列の選択を受け付け、表示制御部24が選択された文字列を表示する(S87)。
このように、表示装置2が複数の言語で類義語を表示するので、ユーザーが選ぶつもりだった文字列が表示される可能性が高くなる。図9と異なり、表示装置2が変換先言語を表示する必要もない。
<ユーザーインターフェースの例>
操作ガイドのいくつかのデザイン例を説明する。
図23は複数の操作ガイドを起点に追加して表示されるリコメンドウィンドゥを説明する図である。
図23では、(2)で操作ガイド500が表示する「翻訳」が選択される。表示制御部24は操作ガイド500にユーザーの選択結果を残して、別に、リコメンドウィンドゥ330を表示する。リコメンドウィンドゥ330には、こんにちはと同義の他言語の文字列が表示される。
このようなユーザーインターフェースでは、ユーザーが自分の選択履歴を確認できる。
図24は、表示装置2が操作ガイド内の選択可能候補530を左から右に移動させながら表示する操作ガイドを示す。図24では「英語と中国語に翻訳」という操作コマンドが1マスに入りきらない。表示制御部24は「英語と中国語に翻訳」を徐々に左から右に移動させ、全体をユーザーが読めるようにする。操作コマンドや登場する文字列が長い場合など、こうすることで、空間効率を上げることができる。
<主な効果>
以上説明したように、本実施例の表示装置2は、複数の変換先言語を同時に表示したり、使いやすいユーザーインターフェースを提供したりできる。
以下の実施例では表示装置2の別の構成例について説明する。
<<表示装置の別の構成例1>>
本実施形態の表示装置2は大型のタッチパネルを有するものとして説明されているが、表示装置2はタッチパネルを有するものに限られない。
図25は、表示装置2の他の構成例を示す図である。図25では、通常のホワイトボード413の上辺にプロジェクター411が設置されている。このプロジェクター411が表示装置2に相当する。通常のホワイトボード413とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。
プロジェクター411は超短焦点の光学系を有しており、10cm程度から歪みの少ない映像をホワイトボード413に投影できる。この映像は、無線又は有線で接続されたPC400-1から送信されてもよいし、プロジェクター411が記憶していてもよい。
ユーザーは専用の電子ペン2501を使ってホワイトボード413に手書きする。電子ペン2501は、ユーザーが手書きのためにホワイトボード413に押しつけるとスイッチがONになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター411はカメラを有しており、発光部を撮像して画像を解析し電子ペン2501の方向を特定する。また、電子ペン2501は発光と共に音波を発信しており、プロジェクター411は音波の到達時間により距離を算出する。プロジェクター411は、方向と距離により電子ペン2501の位置を特定できる。電子ペン2501の位置には手書きされたデータが描画(投影)される。
プロジェクター411はメニュー430を投影するので、ユーザーが電子ペン2501でボタンを押下すると、プロジェクター411が電子ペン2501の位置とスイッチのON信号により押下されたボタンを特定する。例えば、保存ボタン431が押下されると、ユーザーが手書きした手書きされたデータ(座標点列)がプロジェクター411で保存される。プロジェクター411は、予め定められたサーバー412又はUSBメモリー2600等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー430は表示されなくてもよい。
<<表示装置の別の構成例2>>
図26は、表示装置2の他の構成例を示す図である。図26の例では、表示装置2が、端末装置600、画像投影装置700A、及び、ペン動作検出装置810を有する。
端末装置600は、画像投影装置700A及びペン動作検出装置810と有線で接続されている。画像投影装置700Aは、端末装置600により入力された画像データをスクリーン800に投影させる。
ペン動作検出装置810は、電子ペン820と通信を行っており、スクリーン800の近傍における電子ペン820の動作を検出する。具体的には、電子ペン820は、スクリーン800上において、電子ペン820が示している点を示す座標情報を検出し(検出方法は図25と同様でよい)、端末装置600へ送信する。
端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820によって入力される手書きデータの画像データを生成し、画像投影装置700Aによって手書きデータの画像をスクリーン800に描画させる。
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
<<表示装置の別の構成例3>>
図27は、表示装置2の構成例を示す図である。図27の例では、表示装置2が、端末装置600と、ディスプレー800Aと、ペン動作検出装置810とを有する。
ペン動作検出装置810は、ディスプレー800Aの近傍に配置され、ディスプレー800A上に、電子ペン820Aが示している点を示す座標情報を検出し(検出方法は図25と同様でよい)、端末装置600へ送信する。なお、図27の例では、電子ペン820Aは、端末装置600によってUSBコネクタを介して充電されても良い。
端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820Aによって入力される手書データの画像の画像データを生成し、ディスプレー800Aに表示させる。
<<表示装置の別の構成例4>>
図28は、表示装置2の構成例を示す図である。図28の例では、表示装置2が、端末装置600と、画像投影装置700Aとを有する。
端末装置600は、電子ペン820Bと無線通信(Bluetooth(登録商標)等)を行って、スクリーン800上において電子ペン820Bが示す点の座標情報を受信する。座標情報は、スクリーン800に形成された微小な位置情報を電子ペン820Bが読み取ってもよいし、スクリーン800から座標情報を受信してもよい。
そして、端末装置600は、受信した座標情報に基づき、電子ペン820Bにより入力される手書データの画像の画像データを生成し、画像投影装置700Aに手書データの画像を投影させる。
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。
<付記>
課題について補足する。従来の技術は、手書きデータを入力する前に変換先の言語を予めユーザーが設定しておく必要があるという問題がある。変換先の言語とは、日本語から英語への変換のようにある言語の文字列が別の言語に変換される場合の別の言語をいう。表示装置が複数の変換先の言語に変換できる場合、手書きデータを入力する前にユーザーは目的の変換先の言語を設定しておかないと手書きデータを所望の言語に変換できない。上記の課題に鑑み、本発明は、手書きデータを入力する前に変換先の言語を予めユーザーが設定しておかなくても手書きデータを他の言語に変換して表示できる表示装置を提供することを目的とする面もある。
〔請求項A〕
手書きデータの入力を受け付ける受付手段と、
前記受付手段で前記手書きデータを受け付けした後に、複数の言語の種類を表示する表示制御手段と、
前記表示制御手段が表示した前記複数の言語の種類から言語の選択を受け付ける選択手段と、を有し、
前記表示制御手段は、前記選択手段が選択を受け付けた前記言語で、前記手書きデータから変換された文字列を表示することを特徴とする表示装置。
〔請求項B〕
前記受付手段が受け付けた前記手書きデータを文字列に変換する文字認識手段を有し、
前記表示制御手段は、前記文字認識手段が変換した前記文字列に対応付けられている他言語への変換を受け付ける操作コマンド、及び、前記受付手段が受け付けた前記手書きデータを前記文字認識手段が変換した文字列を同時に表示し、
前記操作コマンドの選択を受け付けた場合、前記表示制御手段は複数の言語の種類を表示する請求項Aに記載の表示装置。
〔請求項C〕
前記表示制御手段は、前記選択手段が選択を受け付けた前記言語の種類で、前記手書きデータが変換された複数の文字列を表示し、
前記選択手段が選択を受け付けた前記文字列を表示する請求項Bに記載の表示装置。
〔請求項D〕
前記操作コマンドの選択を受け付けた場合、前記表示制御手段は、前記受付手段が受け付けた前記手書きデータが複数の言語に変換された文字列を表示し、
前記表示制御手段は、前記選択手段が選択を受け付けた前記文字列を表示する請求項Cに記載の表示装置。
〔請求項E〕
前記操作コマンドの選択を受け付けた場合、前記表示制御手段は、前記受付手段が受け付けた前記手書きデータが複数の言語に変換された文字列に加え、1つの言語に対し類義語である複数の文字列を表示し、
前記表示制御手段は、前記選択手段が選択を受け付けた前記文字列を表示する請求項Dに記載の表示装置。
〔請求項F〕
前記操作コマンドの選択を受け付けた場合、前記表示制御手段は、前記操作コマンドを消去せずに、前記受付手段が受け付けた前記手書きデータが複数の言語に変換された文字列を表示する請求項Eに記載の表示装置。
〔請求項G〕
前記表示制御手段は、前記文字認識手段が変換した前記文字列に対応付けられている他言語への変換を受け付ける操作コマンド、及び、前記受付手段が受け付けた前記手書きデータを前記文字認識手段が変換した文字列を、マスの中を移動させて表示する請求項Fに記載の表示装置。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
文字列は文字コードとして、手書きデータは座標点データとして表示装置2に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置2からダウンロードして再使用することができる。再使用する表示装置2はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置2で再現して会議などを継続することができる。
例えば、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、PJ(Projector:プロジェクター)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC又はデスクトップPC等であってもよい。
また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置2は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画(投影)する。
また、図4などの構成例は、表示装置2による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
また、表示装置2が行う処理の一部を、表示装置2とネットワークを介して接続されたサーバーが行ってもよい。
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
接触位置検出部21は受付手段の一例である。表示制御部24は表示制御手段の一例である。操作受付部27は選択手段の一例である。文字認識部23は文字認識手段の一例である。変換処理部28は変換手段の一例である。
2 表示装置
特開2003-162527号公報

Claims (10)

  1. 手書きデータの入力を受け付ける受付手段と、
    前記受付手段が受け付けた前記手書きデータを複数の言語に変換し複数の文字列を表示する表示制御手段と、
    を有する表示装置。
  2. 前記表示制御手段が表示した前記複数の文字列から文字列の選択を受け付ける選択手段、を有し、
    前記表示制御手段は、前記手書きデータを前記選択手段が選択を受け付けた前記文字列に変えて表示する請求項1に記載の表示装置。
  3. 前記選択手段が選択を受け付けた前記文字列の言語を変換先言語に設定し、
    前記選択手段が前記文字列の選択を受け付けた後、前記受付手段が受け付けた前記手書きデータを前記変換先言語に変換する変換手段を有し、
    前記表示制御手段は、前記変換手段が前記変換先言語に変換した文字列を表示する請求項2に記載の表示装置。
  4. 連続して一定回数以上、前記選択手段が同じ言語の文字列の選択を受け付けた場合、
    前記表示制御手段は、文字列の変換先言語を設定するか否かを問い合わせる旨を表示し、
    前記選択手段が文字列の変換先言語を設定する旨を受け付けた場合、前記選択手段が選択を受け付けた前記文字列の言語を前記変換先言語に設定する請求項3に記載の表示装置。
  5. 前記受付手段が受け付けた前記手書きデータを文字列に変換する文字認識手段を有し、
    前記表示制御手段は、前記文字認識手段が変換した前記文字列に対応付けられている1つ以上の変換先言語のリストを表示し、
    前記変換手段は、前記選択手段がリストから選択を受け付けた前記変換先言語に、前記受付手段が受け付けた前記手書きデータを変換する請求項4に記載の表示装置。
  6. 前記表示制御手段は、前記受付手段が受け付ける前記手書きデータの変換先言語をソフトキーで表示し、
    前記変換手段は、前記選択手段がソフトキーで選択を受け付けた前記変換先言語に、前記受付手段が受け付けた前記手書きデータを変換する請求項4に記載の表示装置。
  7. 前記表示制御手段は、前記受付手段が受け付けた前記手書きデータを文字認識手段が変換した文字列と、
    前記受付手段が受け付けた前記手書きデータを前記変換手段が前記変換先言語に変換した文字列と、を同時に表示する請求項4~6のいずれか1項に記載の表示装置。
  8. 前記表示制御手段は、前記文字認識手段が変換した前記文字列に対応付けられている2つの変換先言語の組を表示し、
    前記変換手段は、前記選択手段が選択を受け付けた前記2つの変換先言語に、前記受付手段が受け付けた前記手書きデータを変換し、
    前記表示制御手段は、前記受付手段が受け付けた前記手書きデータを前記文字認識手段が変換した文字列と、前記受付手段が受け付けた前記手書きデータを前記変換手段が前記変換先言語に変換した2つの文字列と、を同時に表示する請求項7に記載の表示装置。
  9. 受付手段が、手書きデータの入力を受け付けるステップと、
    表示制御手段が、前記受付手段が受け付けた前記手書きデータを複数の言語に変換した複数の文字列を表示するステップと、
    を有することを特徴とする表示方法。
  10. 表示装置を、
    手書きデータの入力を受け付ける受付手段と、
    前記受付手段が受け付けた前記手書きデータを複数の言語に変換した複数の文字列を表示する表示制御手段、として機能させるためのプログラム。
JP2021041593A 2021-03-15 2021-03-15 表示装置、表示方法、プログラム Pending JP2022141344A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021041593A JP2022141344A (ja) 2021-03-15 2021-03-15 表示装置、表示方法、プログラム
EP22701704.3A EP4309073A1 (en) 2021-03-15 2022-01-18 Display apparatus, display system, display method, and recording medium
PCT/IB2022/050368 WO2022195360A1 (en) 2021-03-15 2022-01-18 Display apparatus, display system, display method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021041593A JP2022141344A (ja) 2021-03-15 2021-03-15 表示装置、表示方法、プログラム

Publications (1)

Publication Number Publication Date
JP2022141344A true JP2022141344A (ja) 2022-09-29

Family

ID=80123447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021041593A Pending JP2022141344A (ja) 2021-03-15 2021-03-15 表示装置、表示方法、プログラム

Country Status (3)

Country Link
EP (1) EP4309073A1 (ja)
JP (1) JP2022141344A (ja)
WO (1) WO2022195360A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3933449B2 (ja) 2001-11-22 2007-06-20 株式会社東芝 コミュニケーション支援装置
US20140035823A1 (en) * 2012-08-01 2014-02-06 Apple Inc. Dynamic Context-Based Language Determination
KR20140120192A (ko) * 2013-04-02 2014-10-13 삼성전자주식회사 데이터 처리 방법 및 그 전자 장치
US10409919B2 (en) * 2015-09-28 2019-09-10 Konica Minolta Laboratory U.S.A., Inc. Language translation for display device
CN106020700B (zh) * 2016-05-26 2019-03-01 维沃移动通信有限公司 翻译方法及终端设备
JP2021041593A (ja) 2019-09-10 2021-03-18 大日本印刷株式会社 熱転写受像シート、熱転写受像シートのロール及び熱転写印画装置

Also Published As

Publication number Publication date
WO2022195360A1 (en) 2022-09-22
EP4309073A1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
US11250253B2 (en) Handwriting input display apparatus, handwriting input display method and recording medium storing program
US11557138B2 (en) Display apparatus, control method, and recording medium
JP7456287B2 (ja) 表示装置、プログラム、表示方法
WO2022071448A1 (en) Display apparatus, display method, and program
JP2022141344A (ja) 表示装置、表示方法、プログラム
JP2022147337A (ja) 表示装置、表示方法、プログラム
JP2022147384A (ja) 表示装置、表示方法、プログラム
EP4254158A1 (en) Display apparatus, display method, information sharing system, and carrier means
JP7384191B2 (ja) 表示装置、プログラム、領域変更方法
JP7494506B2 (ja) 表示装置、表示方法、プログラム
JP7480608B2 (ja) 表示装置、表示方法、プログラム
JP7268479B2 (ja) 表示装置、プログラム、表示方法
US11726654B2 (en) Display apparatus capable of displaying icon corresponding to shape of hand-drafted input, display method, and non-transitory computer-executable medium storing program thereon
US20220300147A1 (en) Display apparatus, display method, and non-transitory recording medium
US20230070034A1 (en) Display apparatus, non-transitory recording medium, and display method
JP7494507B2 (ja) 表示装置、表示方法、プログラム
JP2022119463A (ja) 表示装置、表示方法およびプログラム
JP2023137822A (ja) 表示装置、清書方法、プログラム、情報共有システム
JP2023133110A (ja) 表示装置、表示方法、プログラム
JP2023133111A (ja) 表示装置、表示方法、プログラム
JP2022147297A (ja) 表示装置、表示方法、プログラム
JP2021152884A (ja) 表示装置、表示方法、プログラム、情報処理装置
WO2019243954A1 (en) Handwriting input display apparatus, handwriting input display method and recording medium storing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240827