JP2007316929A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2007316929A
JP2007316929A JP2006145569A JP2006145569A JP2007316929A JP 2007316929 A JP2007316929 A JP 2007316929A JP 2006145569 A JP2006145569 A JP 2006145569A JP 2006145569 A JP2006145569 A JP 2006145569A JP 2007316929 A JP2007316929 A JP 2007316929A
Authority
JP
Japan
Prior art keywords
mark
image
unit
input
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006145569A
Other languages
English (en)
Other versions
JP4712613B2 (ja
Inventor
Kenji Nakajima
健次 中島
Naomi Iwayama
尚美 岩山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006145569A priority Critical patent/JP4712613B2/ja
Priority to US11/523,646 priority patent/US7633512B2/en
Publication of JP2007316929A publication Critical patent/JP2007316929A/ja
Application granted granted Critical
Publication of JP4712613B2 publication Critical patent/JP4712613B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Character Discrimination (AREA)
  • Digital Computer Display Output (AREA)

Abstract

【課題】表示画像に追加したマークが、画像の文字、図形または絵を隠してしまうことが少なく、効果的な表示画像へのマークの追加ができる情報処理装置を提供する。
【解決手段】表示装置１３および入力装置１２に接続される情報処理装置１は、画像データを記録する画像記録部５と、画像に重ねて表示するマークを入力装置１２から受け付ける入力部２と、マークを表すデータを記録するマーク記録部６と、所定の範囲内においてマークと重なる部分の画像における画素群を表す画素情報を、画像データから取得する画像データ取得部９と、画素情報を用いて、マークと画像に含まれる文字、図形または絵との重なりの程度を表す値を計算し、その値が表す重なりの程度が最も低くなるようなマークの位置または形状を求める調整部１１と、調整部１１で求められた位置または形状のマークを前記画像と重ねて表示装置１３へ表示させる出力部３とを備える。
【選択図】図１

Description

本発明は、例えば、プレゼンテーション、電子黒板等の機能を提供する情報処理装置のように、画像を表示する表示装置と、画像にマークを入れるための入力装置とに接続される情報処理装置に関する。
従来、プレゼンテーションや講義などにおいて、ＯＨＰや、ノートＰＣなどに接続されたプロジェクタ等が用いられていた。これらの装置によるプレゼンテーションでは、発表者は、表示画像のうち強調したい部分を、例えば、レーザーポインタや指示棒、マウスカーソル等を用いて指し示していた。この場合、指し示した部分には、筆跡が残らなかった。そのため、聴衆が表示画像を見て話の流れを追ったり、再確認するために再度画像を見直したりしたときに、強調された箇所がわからなくなってしまうという問題があった。
このような問題を解決するために、表示画像に手書きによるマークを入れることが可能なプレゼンテーションシステムが開発された（例えば、非特許文献１参照）。これにより、強調箇所が表示画像に残せるようになってきている。その結果、聴衆が、表示画像を再度見直した場合にも強調した箇所が残っているため、発表者の意図がより伝えやすくなった。
上記のような表示画像に手書きでマークを入れることができるプレゼンテーション装置、電子黒板装置などにおいては、資料の提示とともに手書きでアンダーラインや囲みによる強調を手軽に入力することが可能であり、利便性が高い。
ヒビノ株式会社、"ＰｏｉｎｔＭａｋｅｒ"、［ｏｎｌｉｎｅ］、ヒビノ株式会社、［平成１８年５月２２日検索］、インターネット＜http://www.hibino.co.jp/topics/pointmaker.html＞
しかしながら、手書きで表示画像に追加したマークが、表示画像におけるプレゼンテーションの内容に重なって、文字、図形または絵を隠してしまうことがある。そのため、表示画像の内容が読取りにくくなり、本末転倒な状況になってしまうという課題があった。
本発明は、表示画像に追加したマークが、文字、図形または絵を隠してしまうことが少なく、効果的な表示画像へのマークの追加ができる情報処理装置を提供することを目的としている。
本発明にかかる情報処理装置は、画像を表示する表示装置および入力装置に接続される情報処理装置であって、前記表示装置に表示する画像を表す画像データを記録する画像記録部と、前記画像に重ねて表示するマークを表す手書きの筆跡データを前記入力装置から受け付ける入力部と、前記入力部が受け付けたマークを表す手書きの筆跡データを記録するマーク記録部と、前記マーク記録部に記録されたデータが表すマークに対応する位置を含む前記画像中の所定の範囲内において、マークの少なくとも一部を複数の異なる位置または形状にそれぞれ移動または変形させた場合に、移動または変形後のそれぞれの位置または形状のマークと重なる部分の画像における画素群を表す画素情報を、前記画像データから取得する画像データ取得部と、前記画素情報を用いて、前記移動または変形後の複数の異なる位置または形状のマークと画像に含まれる文字、図形または絵との重なりの程度を表す値を、前記移動または変形後のそれぞれの位置または形状について計算し、前記値が表す重なりの程度が最も低くなるようなマークの位置または形状を求めて前記マーク記録部に記録する調整部と、前記入力部で受け付けた前記手書きの筆跡データが表すマークを入力時に前記画像と重ねて前記表示装置へ表示し、前記調整部で求められた位置または形状のマークを、前記手書きの筆跡データが表すマークの表示を消去した後、前記画像と重ねて前記表示装置へ表示させる出力部とを備える。
調整部は、画像データ取得部が取得した画素情報を用いることで、マークの少なくとも一部を、所定の範囲内において、複数の異なる位置または形状にそれぞれ移動または変形させた場合のそれぞれの位置または形状のマークと画像に含まれる文字、図形または絵との重なりの程度を表す値を計算することができる。すなわち、調整部は、所定範囲内の複数の異なる位置または形状におけるマークと、画像との重なり度合いを、画像データ取得部が取得した画素情報を用いて計算する。これにより、調整部は、所定範囲内で重なり度合いが最も低くなるマークの位置または形状を求めることができる。出力部は、まず、入力部で受け付けた手書きの筆跡データで表されるマークを、画像と重ねて表示装置へ表示し、その後、調整部で求められた位置または形状のマークを、手書きの筆跡データが表すマークの換わりに表示装置へ表示させる。表示装置には、画像に含まれる文字、図形または絵との重なりが少なくなるように調整されたマークが画像と重ねて表示される。これにより、入力装置を介して表示画像に追加されたマークが画像に含まれる文字、図形または絵を隠してしまうことが少なくなり、表示画像へのマークの効果的な追加が可能になる。
本発明にかかる情報処理装置において、図形認識に用いる複数の基準図形を表すデータが予め記録されている基準図形記録部と、前記手書きの筆跡データに対して、前記基準図形記録部を参照して、図形認識を行うことにより、前記複数の基準図形のうち置換すべき図形を認識する図形認識部をさらに備えることが好ましい。
これにより、調整部は、手書きの筆跡を、図形認識部により置換すべき基準形状に基づいた形状のマークに置換して、画像に含まれる文字、図形または絵との重なりが少なくなるように調整することができる。そのため、調整部の計算が簡単になる。また、入力部が入力装置から受け付けたマークが、図形認識部によって基準形状に基づいた形状に置換されるので、入力装置で入力された手書きの筆跡が基準形状に清書されたマークとして表示装置へ表示されることになる。
本発明にかかる情報処理装置において、前記画像データ取得部は、前記画素情報として、前記移動または変形後の複数の異なる位置または形状のマークそれぞれについて、マークと重なる部分の画像に含まれる画素群におけるそれぞれの画素の位置および画素値を示す情報を含むデータを取得し、前記調整部は、前記移動または変形後の複数の異なる位置または形状のマークそれぞれについて、マークと重なる部分の画像に含まれる画素群における画素値のばらつきの度合いを表す値を用いて、前記マークと画像に含まれる文字、図形または絵との重なりの程度を表す値を計算することが好ましい。
調整部は、前記画像データが取得した画素情報に含まれる画素の位置および輝度を示す情報から、マークと重なる画像に含まれる画素群における画素値のばらつきの度合いを得ることができる。マークと重なる画像に含まれる画素群における画素値のばらつきの度合いは、そのマークと重なる画像における文字、図形、または絵がどの程度含まれているかによって変化する。そのため、調整部は、マークと重なる画像に含まれる画素群における画素値のばらつきの度合いを表す値を用いることにより、前記マークと画像に含まれる文字、図形または絵との重なりの程度を表す値を定量的に計算することができる。
本発明にかかる情報処理装置において、前記調整部は、マークと重なる部分の画像に含まれる画素群における画素値のばらつきの度合いを表す値として、前記画素群において隣り合う画素の画素値が所定値以上変化している箇所の数を用いることが好ましい。
これにより、調整部は、マークと重なる部分の画像に含まれる画素群における画素値のばらつきの度合いを表す値を簡単な計算で効率よく求めることができる。
本発明にかかる情報処理装置において、前記調整部は、マークと重なる部分の画像に含まれる画素群における画素値のばらつきの度合いを表す値として、前記画素群に含まれる画素の画素値の分散を用いることが好ましい。
これにより、調整部は、マークと重なる部分の画像に含まれる画素群における画素値のばらつきの度合いを表す値を簡単な計算で効率よく求めることができる。
本発明にかかる情報処理装置において、前記調整部は、前記マーク記録部に記録されたデータが表すマークに対応する位置を含む所定の範囲内の画像における画素群を表す画素情報を用いて、前記所定の範囲内の画像に含まれる文字を認識し、認識した文字に基づいて、マークの位置または形状を補正することが好ましい。
調整部は、マークに対応する位置を含む所定の範囲内の画像において認識された文字に基づいて、マークの位置または形状を補正するので、文字に対応する位置または形状にマークを補正することができる。
本発明にかかる情報処理装置において、前記調整部は、調整した前記マークの少なくとも一部を透明または半透明にするように前記マークの色を調整することが好ましい。
調整部がマークの少なくとも一部の色を透明または半透明にすることで、マークが画像と重ねて表示された時に、マークによって隠された文字、図形または絵が透けて見えるように表示される。
本発明にかかる情報処理方法は、画像を表示する表示装置および入力装置に接続され、前記表示装置に表示する画像を表す画像データを記録する画像記録部と、前記画像に重ねて表示するマークを表すデータを記録するマーク記録部とを備えるコンピュータによる情報処理方法であって、前記コンピュータが備える入力部が、前記画像に重ねて表示するマークを表す手書きの筆跡データを前記入力装置から受け付けて、前記マーク記録部に記録する入力工程と、前記コンピュータが備える画像データ取得部が、前記マーク記録部に記録されたデータが表すマークに対応する位置を含む前記画像中の所定の範囲内において、マークの少なくとも一部を複数の異なる位置または形状にそれぞれ移動または変形させた場合に、移動または変形後のそれぞれの位置または形状のマークと重なる部分の画像における画素群を表す画素情報を、前記画像データから取得する取得工程と、前記コンピュータが備える調整部が、前記画素情報を用いて、前記移動または変形後の複数の異なる位置または形状のマークと画像に含まれる文字、図形または絵との重なりの程度を表す値を、前記移動または変形後のそれぞれの位置または形状について計算し、前記値が表す重なりの程度が最も低くなるようなマークの位置または形状を求めて前記マーク記録部に記録する調整工程と、前記コンピュータが備える出力部が、前記入力部で受け付けた前記手書きの筆跡データを入力時に前記画像と重ねて前記表示装置へ表示させ、前記調整工程で求められた位置または形状のマークを、前記手書きの筆跡データが表すマークの表示を消去させた後、前記画像と重ねて前記表示装置へ表示させる出力工程とを含む。
本発明にかかる情報処理プログラムは、画像を表示する表示装置および入力装置に接続され、前記表示装置に表示する画像を表す画像データを記録する画像記録部を備えるコンピュータに処理を実行させる情報処理プログラムであって、前記画像に重ねて表示するマークを表す手書きの筆跡データを前記入力装置から受け付けて、前記コンピュータが備えるマーク記録部に記録する入力処理と、前記マーク記録部に記録されたデータが表すマークに対応する位置を含む前記画像中の所定の範囲内において、マークの少なくとも一部を複数の異なる位置または形状にそれぞれ移動または変形させた場合に、移動または変形後のそれぞれの位置または形状のマークと重なる部分の画像における画素群を表す画素情報を、前記画像データから取得する取得処理と、前記画素情報を用いて、前記移動または変形後の複数の異なる位置または形状のマークと画像に含まれる文字、図形または絵との重なりの程度を表す値を、前記移動または変形後のそれぞれの位置または形状について計算し、前記値が表す重なりの程度が最も低くなるようなマークの位置または形状を求めて前記マーク記録部に記録する調整処理と、前記入力処理で受け付けた前記手書きの筆跡データが表すマークを入力時に前記画像と重ねて前記表示装置へ表示させ、前記調整処理で求められた位置または形状のマークを、前記手書きの筆跡データが表すマークの表示を消去した後、前記画像と重ねて前記表示装置へ表示させる出力処理とコンピュータに実行させる。
本発明によれば、表示画像に追加したマークが、文字、図形または絵を隠してしまうことが少なく、効果的な表示画像へのマークの追加ができる情報処理装置を提供することができる。
［第１の実施形態］
図１は、本実施形態にかかる情報処理装置の構成を表す機能ブロック図である。図１に示す情報処理装置１は、入力部２、出力部３、画像記録部５、マーク記録部６、図形認識部７、基準図形記録部８、画像データ取得部９、調整部１１を備える。また、情報処理装置１は、入力装置１２および表示装置１３に接続されている。
情報処理装置１は、例えば、パーソナルコンピュータ、ワークステーション、サーバ等のコンピュータにより実現することができる。入力部２、出力部３、図形認識部７、画像データ取得部９、調整部１１の各機能は、コンピュータのＣＰＵが所定のプログラムに従って動作することにより実現される。なお、上記各機能に対応する別個のハードウエアが必ずしも存在するわけではない。また、画像記録部５、マーク記録部６および基準図形記録部８は、コンピュータの内蔵記憶装置またはこのコンピュータからアクセス可能な記憶装置によって具現化される。また、入力部２、出力部３、図形認識部７、画像データ取得部９、調整部１１の機能をコンピュータで実現するためのプログラムまたはそれを記録した記録媒体も本発明の一実施態様である。
表示装置１３は、情報処理装置１から送られる画像データに基づいて画像を表示する装置である。表示装置１３は、例えば、ディスプレイ、プロジェクタ等により実現される。入力装置１２は、表示装置１３に表示された画面上の位置を示す情報を入力するための装置である。
入力装置１２は、例えば、マウス、タッチパネル、タブレットまたはデジタイザ（ｄｉｇｉｔｉｚｅｒ）等により実現される。なお、入力装置１２および表示装置１３を１つの装置で構成してもよい。すなわち、表示画面上をペンまたは指等で指し示すことにより、位置を入力することができるディスプレイ装置を、入力装置１２および表示装置１３の機能を実現するための装置として用いることができる。本実施形態では、一例として、ペンを用いて画面に手書き入力が可能なタブレットを入力装置１２に用いる場合について説明する。
情報処理装置１は、例えば、表示装置１３に表示された画像を用いてプレゼンテーションを行う場合等に用いられる。情報処理装置１は、入力装置１２を用いて入力されたマークを、表示装置に表示された画像に重ねて表示する機能を有する。そのため、プレゼンテーションの説明者は、入力装置１２を用いて、例えば、表示された画像中の注目箇所、強調する箇所等にマークを記入することができる。
入力部２は、表示装置１３の画面上の位置を示すデータを入力装置１２から受け付ける。入力部２が受け付けるデータには、表示装置１３に表示される画像に重ねて表示するマークを表すデータが含まれる。マークは、表示装置１３に表示される画像において、例えば、着目すべき部分や、強調すべき部分等に記入される印である。マークが入力される場合の一例として、ユーザが入力装置１２であるタブレットにペンを用いて手書きで入力する場合が挙げられる。また、マークは、アノテーション（ａｎｎｏｔａｔｉｏｎ）と呼ばれることもある。
入力部２が受け付けたマークを表すデータは、マーク記録部６へ記録される。入力されるマークは、入力中にフィードバックとして、出力部３を通して既存の画像と重ねて表示される。マークは、例えば、マークの軌跡を構成する時系列の複数の点の座標を示すデータにより表される。また、マーク記録部６には、マークを表すデータとして、座標の他に、色、線幅、線種（例えば、点線、破線、一点差線等）を表すデータが含まれていてもよい。これらのデータは、ユーザが入力装置１２を用いて入力することができる。なお、本実施形態においては、一例として、マークを表すデータが手書きの筆跡を表すデータとして入力装置を用いてユーザによって入力される場合について説明する。
図形認識部７は、入力部２が受け付けた筆跡を表すデータに対して、図形認識を行うことにより、予め基準図形記録部８に記録された複数の基準図形のうち１つに置換する。複数の基準図形の例として、線分、波線、四角囲み（長方形）および丸囲み（楕円または円）等が挙げられる。すなわち、着目すべき部分や、強調すべき部分等に記入される印となり得る図形を複数の基準図形とすることができる。基準図形を表す情報は、例えば、基準図形の特徴を示す特徴情報が複数の基準図形について登録された辞書データとして予め基準図形記録部８に記録されている。図形認識部７は、このような基準図形を用いて図形認識を行うことにより、入力されたマークの筆跡が、線分、波線、四角囲み（長方形）および丸囲み（楕円または円）のうち、いずれに属するかを判定する。図形認識部７は、入力されたマークの筆跡をその筆跡が属する基準図形に置換する。
また、図形認識部７は、入力されたマークの筆跡が、線分、波線、四角囲み（長方形）および丸囲み（楕円または円）のいずれにも属さないと判断することもできる。この場合、マークの筆跡は置換されない。なお、図形認識部７による図形認識には、公知の図形認識技術またはジェスチャ認識技術を用いることができる。なお、本発明で用いられる基準形状は、上記複数の基準形状の例に限らない。
画像記録部５は、表示装置１３に表示される画像データを記録する。画像データは、例えば、表示画像における画素情報を示すデータである。画素情報には、例えば、画素の位置および画素値が含まれる。画素値は、それぞれの画素が持つ値である。画素値には、例えば、白黒を表す２値データ、画素の輝度または色情報（例えば光の三原色のＲＧＢごとの強度）等を示す情報が含まれる。
画像データ取得部９は、画像データのうち一部を、マーク記録部６に記録されたデータが示すマークの位置を基に抽出して取得する。具体的には、画像データ取得部９は、マーク記録部６に記録されたデータが表すマークに対応する位置を含む所定の範囲内において、マークの少なくとも一部を複数の異なる位置または形状にそれぞれ移動または変形させた場合に、移動または変形後のそれぞれの位置または形状のマークと重なる部分の画像における画素群を表す画素情報を取得する。
調整部１１は、画像データ取得部９が取得した画素情報を用いて、画像に含まれる文字、図形または絵との重なりが少なくなるようなマークの位置または形状を求める。具体的には、調整部１１は、マークを含む所定の範囲で様々な位置または形状に移動または変形させたマークと、画像に含まれる文字、図形または絵との重なりの程度を表す値を、画像データ取得部９が取得した画素情報を用いて計算する。調整部１１は、計算した値が示す重なりの程度が最も低くなるマークの位置または形状を求める。ここで、所定の範囲は、予め設定された情報に基づいて決められる。
調整部１１によって求められたマークの位置または形状はマーク記録部６に記録される。出力部３は、マーク記録部６に記録されたマークの位置または形状に基づいたマークを、画像記録部５の画像データが示す画像と重ねて表示装置１３へ表示させる。
ここで、図２を参照して、プレゼンテーションにおいて、表示装置１３に表示されている画像に対して入力装置１２を介してマークが入力された場合に、情報処理装置１によって制御される表示画像の遷移の具体例を説明する。図２（ａ）は、プレゼンテーションにおいて、表示装置１３に表示される画像の一例である。図２（ｂ）は、入力装置１２でマークが入力された直後の画像の例を示す図である。図２（ｂ）に示す画像では、ペンを用いて入力されたマークの軌跡がそのままマーク２１ｒとして図２（ａ）に示す元の画像に重ねて表示されている。ここで、マークの軌跡は、一例として、ペンによる位置情報の入力の始点位置（ペンダウン位置）から終点位置（ペンアップ位置）までの筆跡である。
図２（ｃ）は、図形認識部７によって置換されたマークが調整部１１で調整される前に表示された場合の画像の例を示す図である。ここでは、一例として、手書きで入力されたマークが基準形状の１つである長方形に置換された後、長方形のマーク２１ａとして表示されている。図２（ｄ）は、調整部１１によって、画像における文字との重なりが少なくなるように調整されたマーク２１ｆが表示された場合の画像の例を示す図である。図２（ａ）〜図２（ｄ）に示すように、ペンを用いて手書きで入力されたマーク２１ｒは、長方形に清書され、画像に含まれる文字、図形または絵との重なりが少なくなる位置およびサイズに調整されて表示される。なお、図２（ｂ）に示す入力されたマーク２１ｒや、図２（ｃ）に示す調整前のマーク２１ａは、必ずしも表示する必要はない。
通常は入力されたマークの原型を図2（ｂ）のように入力マークのフィードバックとして表示し、その後、情報処理装置１の内部で図形認識部７、調整部１１による調整処理を経た後、出力部３が図2（ｄ）のように最終結果を表示することができる。マークの筆跡を入力中にその筆跡をフィードバックとして表示することで、ユーザは、自分の筆跡を確かめながら入力することができるので使い勝手がよくなる。また、出力部３は、入力部２がマーク２１ｒを表すデータをマーク記録部６に記録した時点では、そのマークを表示せずに、図形認識部７および調整部１１が、記録されたマークを調整した後でその調整されたマーク２１ｆを表示するようにしてもよい。
次に、情報処理装置１が、入力装置１２からのマークの入力を受け付けて表示装置１３へマークを表示させる動作の例を説明する。図３は、情報処理装置１の動作の流れを示すフローチャートである。まず、出力部３は、画像記録部５に記録された画像データを表示装置１３へ出力する。表示装置１３に画像が表示される（Ｏｐ１）。
入力部２は、マークの入力を入力装置１２から受け付け、入力されたマークを表すデータをマーク記録部６に記録する（Ｏｐ２）。入力部２は、例えば、入力装置１２において、ペンダウンなどの操作により位置情報の入力が開始されてから、ペンアップなど操作により入力が終了するまでの、ペンの筆跡を表すデータを、マークを表すデータとしてマーク記録部６に記録する。出力部３は入力が行われている間も入力筆跡のフィードバックとして入力筆跡を画像記録部5の画像データが示す画像と重ねて表示する。
入力されたマークを表すデータすなわち、入力された筆跡を表すデータが記録されると、図形認識部７は、記録された筆跡を表すデータに対して、図形認識を行うことにより、入力された筆跡を、予め記録された複数の基準図形のうち１つに置換する。（Ｏｐ３）。例えば、図形認識部７は、図形認識処理として、まず、筆跡を表すデータから代表点となる特徴点を複数取り出した後、特徴点の位置関係を基に、筆跡についての特徴を示す特徴情報を抽出する。図形認識部７は、その筆跡の特徴情報と予め基準図形の特徴情報が登録されている辞書データとを照合することにより、筆跡が属する基準図形を決定する。筆跡は、決定された基準図形に置換される。基準図形に置換するための公知技術は、例えば、特開２００１−１００９０２号公報に記載されている。
なお、入力された筆跡が、予め設定された複数の基準図形のいずれにも属さないと図形認識部７が判断した場合、出力部３は、入力された筆跡をそのまま表示装置１３に出力する。
調整部１１は、図形認識部７によって置換されたマークを表すデータを、さらに更新して、画像に含まれる文字、図形または絵とマークとの重なりが少なくなるようにマークを調整する（Ｏｐ４）。マークが四角囲み（長方形）の場合および丸囲み（楕円または円）の場合について、調整部１１がマークを調整する処理の具体例を後述する。
出力部３は、調整されたマークを表すデータをマーク記録部６から読み出して、表示装置１３に出力する（Ｏｐ５）。これにより、表示装置１３では、画像記録部５の画像データが示す画像と、調整されたマークとが重ねて表示される。表示装置１３では、画像データが示す画像における文字、図形または絵を隠さないように調整されたマークが表示される。
（四角囲みのマークを調整する処理の具体例）
図４は、マークが四角囲み（長方形）の場合に、調整部１１および画像データ取得部９が、文字、図形または絵との重なりが少なくなるように、マークを調整する処理の具体例を示すフローチャートである。図４に示す具体例は、長方形の各辺について、最適な位置を計算することで、最適な長方形を計算する処理である。以下、画像の画素の輝度が、白か黒かを表す２値データで表される場合を例に挙げて説明する。
調整部１１は、まず、マーク記録部６に記録された長方形のマークを表すデータを読み出し、前記長方形のうちで処理対象とする辺を選択する（Ｏｐ４１）。画像データ取得部９は、選択した辺から所定の距離だけ離れた線分に対応する位置の画像の画素情報を取得する（Ｏｐ４２）。ここで所定の距離は、例えば、予め設定された値によって決定される。
図５を用いて、Ｏｐ４１、Ｏｐ４２の処理の具体例を説明する。図５（ａ）および（ｂ）は、マークと画像とを重ねて表示した場合の表示画像の例を示す図である。図５（ａ）および（ｂ）において、画像の縦方向をＹ軸、横方向をＸ軸とする。図５（ａ）に示す例は、入力された手書きの筆跡のマーク２１ｂが画像と重なって表示される場合の例である。マーク２１ｂは、図形認識部７により、長方形と認識され、図５（ｂ）に示すような長方形ＡＢＣＤのマーク２１ｂに置換される。図５（ｂ）に示す例では、長方形ＡＢＣＤで構成されるマーク２１ｅが文字列を含む画像と重なっている。
ここでは、一例として、Ｏｐ４１で辺ＡＢが処理対象として選択された場合について説明する。この場合、Ｏｐ４２において、画像データ取得部９は、辺ＡＢから長方形ＡＢＣＤの外側に距離ｄ１だけ離れた線分ｈ１に対応する位置の画像の画素情報を取得する。距離ｄ１は、辺ＡＣの半分の長さである。このように、距離ｄ１は、長方形ＡＢＣＤの大きさを基にして決定されてもよい。なお、この距離ｄ１の長さは一例であり、これに限定されない。
画像データ取得部９は、例えば、線分ｈ１に沿う一列の画素の輝度および座標を画素情報として取得する。なお、取得される画素情報は、一列の画素の画素情報に限られず、複数列の画素の画素情報が取得されてもよい。
調整部１１は、画像データ取得部９が取得した画素情報が示す一連の画素群において、隣り合う画素で輝度が変化している回数と、黒画素の数とを数える（Ｏｐ４３）。画素情報が示す画像に文字、図形または絵の一部が含まれている場合は、隣り合う画素で白から黒へまたは黒から白へ輝度の変化があり、かつ、画素情報が示す一連の画素群において黒画素が存在する。そのため、画素情報が示す画素群における輝度の変化回数と黒画素数との和を、画素情報に対応する画像に文字、図形または絵がどの程度含まれているかを示す値とすることができる。すなわち、上記和が、画素情報の画素群の位置にマークが表示された場合の、文字、図形または絵とマークとの重なりの程度を表す値となる。
図５（ｂ）に示す例では、線分ｈ１に対応する位置の画像に含まれる画素群における輝度の変化回数と黒画素数との和は、辺ＡＢを線分ｈ１の位置へ平行移動させた場合の文字との重なりの程度を表す値とすることができる。もし、画像に文字、図形または絵のいずれも無ければ、隣り合う画素で輝度が変化している回数と、黒画素の数との和は０となる。また、文字、図形、絵の多さに応じてその和は増減することになる。
画像データ取得部９は、前回画素情報を取得した位置の線分を、長方形の内側へ向かって微小距離Δｄだけ移動させた線分に対応する位置の画像の画素情報を取得する（Ｏｐ４４）。このとき、微小距離Δｄは1画素分である。（2画素以上だと最適なものが見つからない場合が考えられます。）調整部１１は、Ｏｐ４４で画素情報を取得した位置が、予め決められた終了位置であるか否かを判断する（Ｏｐ４５）。これにより、調整部１１は、画素情報の取得を終了するか否かを判定する。ここで終了位置は、例えば、予め設定された値によって決定される。
画素情報を取得した位置が、所定の終了位置でない場合（Ｏｐ４５でＮｏ）、調整部１１は、Ｏｐ４４で画像データ取得部９が取得した画素情報が示す一連の画素群において、隣り合う画素で輝度が変化している回数と、黒画素の数とを数える（Ｏｐ４３）。このようにして、Ｏｐ４３で画像データ取得部９が画素情報を取得した位置が所定の終了位置に達する（Ｏｐ４５でＹｅｓ）までＯｐ４３、Ｏｐ４４の処理が繰り返される。これにより、所定の範囲で辺を平行移動させた場合におけるそれぞれの位置のおける辺と画像に含まれる文字、図形または絵との重なりの程度を示す値を求めることができる。
図５（ｂ）に示す例では、辺ＡＢを、線分ｈ１の位置から線分ｈ２の位置まで、例えば、微小距離Δｄずつ平行移動させた場合に、それぞれの位置における画像の文字との重なりの程度を示す値が得られる。図５（ｂ）における線分ｈ２は、所定の終了位置の一例を示す線分である。線分ｈ２は、例えば、辺ＡＢから長方形ＡＢＣＤの内側に向かって辺ＡＣの半分の距離だけ離れている線分である。このように、終了位置は、長方形の大きさに応じて決定することができる。
また、調整部１１は、終了位置を動的に決定してもよい。例えば、調整部１１は、辺ＡＢを、線分ｈ１の位置から微小距離Δｄずつ平行移動させた場合の、それぞれの位置における画像の文字との重なりの程度を表す値を、逐次取得する。長方形ＡＢＣＤ内で、重なりの程度を表す値が閾値以下の極小値をとった後、極小値より大きい値が、所定回数続いた時点で終了位置としてもよい。この場合、極小値が最適な位置となる。これにより、線分ｈ１の位置から線分ｈ２の位置まで、すべてを調査する必要をなくし、効率をあげることもできる。また、重なりの程度を示す値のうち、所定の閾値より小さい極小値が複数の箇所で見つかった場合、その中で線分ｈ１の位置（調査開始位置）に最も近い位置を最適の位置としてもよい。
調整部１１は、処理対象の辺を平行移動した場合のそれぞれの位置における重なりの程度を示す値を基に、その辺の最適な位置を求める（Ｏｐ４６）。例えば、調整部１１は、輝度の変化回数と黒画素数との和が最も少なくなっている位置を最適な位置をすることができる。輝度の変化回数と黒画素数との和が最も少なくなっている位置が長方形の内側と外側にそれぞれある場合、調整部１１は、例えば、長方形の内側でかつ外接矩形の辺に近いものを最適な位置とすることができる。このように長方形の内側を優先して最適な位置にすることにより、例えば、使用者が囲んだものより大きく囲ってしまうことや、2行以上囲ったにもかかわらず1行だけに減らされてしまうということが防がれる。
また、輝度の変化回数と黒画素数との和が最も少なくなっている位置が一定の範囲で連続している場合は、その範囲内の任意の位置を最適な位置とすることができる。例えば、図５（ｂ）に示す画像において、文字列“Ａｎｉｍａｌｓ”と“Ｍｏｕｓｅ Ｃａｔ Ｂｏａｒ”との間の部分における画素の輝度は全て白一色となる。そのため、その部分において辺ＡＢを微小距離Δｄずつ移動させた場合、いずれの位置においても、画素群の輝度の変化回数と黒画素数との和は０になる。このような場合、文字列“Ｍｏｕｓｅ Ｃａｔ Ｂｏａｒ”の上端部と重なる線分から一定距離だけ離れた線分の位置を最適な位置とすることができる。この一定距離は、予め設定された値によって決めることができる。
このようにして、調整部１１は、文字、図形または絵との重なりが少なくなる、最適な辺の位置を求めることができる。なお、Ｏｐ４６において最適な位置を求める方法は上記の例に限られない。
以上のＯｐ４２〜Ｏｐ４６の処理が、長方形の各辺について繰り返される（Ｏｐ４７）。各辺について、それぞれ最適な位置が求められると（Ｏｐ４７でＹｅｓ）処理は終了する。これにより、最も画像に含まれる文字、図形または絵との重なりが少なくなるような長方形を示すデータが得られる。調整部１１は、マーク記録部６のマークを表すデータを、上記処理で得た長方形を示すデータに更新する。すなわち、マーク記録部６に記録されたデータが示す長方形の各辺の位置を、Ｏｐ４７で求められた位置に更新する。このようなマークが出力部３によって表示装置１３に出力されることによって、図２（ｄ）に示す例のように、画像に含まれる文字、図形または絵と重ならないようにマークが表示される。
なお、画素情報を取得する範囲は、長方形の縦の辺の場合と横の辺の場合とで異なっていてもよい、例えば、図６に示すように、長方形ＡＢＣＤの辺ＡＣの最適な位置を求める際、画像データ取得部９が画素情報を取得する範囲は、線分ｖ１と線分ｖ２との間の範囲とすることができる。図６では、一例として、線分ｖ１と辺ＡＣとの距離ｄ２は辺ＡＢの５分の１となっている。一方で、図５（ｂ）に示す距離ｄ１は辺ＡＣの２分の１になっている。
例えば、長方形の縦の辺が横の辺の２分の１以下の場合、ｄ１を縦の辺の2分の1、ｄ２を横の辺の5分の1にすることができる。また、長方形の縦の辺が横の辺の２分の１より長く、かつ横の辺の２倍には満たない場合は、ｄ１を縦の辺の２分の１、ｄ２を横の辺の2分の1にし、縦の辺が横の辺の２倍以上になった場合、ｄ１を縦の辺の5分の1、ｄ２を横の辺の2分の1にすることができる。このように、縦の辺の移動範囲と、横の辺の移動範囲を長方形の形状に合わせて設定することにより、処理効率を向上させることができる。
また、Ｏｐ４３で、調整部１１は輝度の変化の回数と黒画素数を数えてその和を、マークと文字、図形または絵との重なり度合いを示す値としているが、これらのうち少なくとも１つだけを数えて、その数をマークと文字、図形または絵との重なり度合いを示す値としてもよい。
また、上記例は、画像が２値データで表される場合であるが、画像が２値データでなく、濃淡画像またはカラー画像であっても、その画素情報からマークと文字、図形または絵との重なり度合いを表す値を得ることができる。濃淡画像の場合、例えば、調整部１１は、取得した画素情報に含まれる濃淡を表す輝度の分散を計算することで、マークと文字、図形または絵との重なり度合いを表す値を得ることができる。カラー画像の場合も同様に、調整部１１は、色を表す輝度（例えば、ＲＧＢ値）の分散の大きさを求めるか、あるいは、カラー画像を濃淡画像に変換して、濃淡を表す輝度の分散を求めることにより、マークと文字、図形または絵との重なり度合いを表す値を得ることができる。
また、カラー画像の場合、色の違いの度合いを表す尺度として、色の距離が考えられる。たとえば、画素の色を、ＲＧＢの3原色（他の色の表現方法もあります。）で表す場合、Ｒ，Ｇ，Ｂの各値を3次元の座標値と見立てて、3次元の座標における距離を尺度とすることができる。
なお、マークと文字、図形または絵との重なり度合いを表す値として計算される値は、輝度の分散に限られず、その他の輝度のばらつきを表す値であってもよい。また、例えば、取得した画素群に含まれるそれぞれの画素の輝度と、マークの色を示す輝度との差を計算し、その差の分散を求めてもよい。
（アンダーラインの具体例）
上記例はマークが長方形の場合であるが、マークが画像の水平方向に伸びる線分（アンダーライン）である場合も、調整部１１は、マークを平行移動させて、それぞれの位置における文字、図形または絵との重なり度合いを計算することで、最適な位置を求めることができる。一例として、調整部１１は、上記の図４に示す処理において、長方形の１辺について最適な位置を求める処理と同様にして、線分であるマークの最適な位置を求めることができる。
また、さらに他の例を以下に説明する。入力装置１２で入力されたアンダーラインの手書き筆跡データを図形認識部７が形状認識して、線分のマークを表すデータを取得した後に、調整部１１が、そのマークの最適な位置の調査する。この場合は、調査範囲はあらかじめ決められていなくてもよい。調査部１１は、線分の位置を、元の位置から上へ移動させて重なり度合いを表す値として計算する処理と、元の位置から下へ移動させて重なり度合いを表す値として計算する処理とを交互に繰り返す。この繰り返しにおいて、調整部１１は、初めに見つかった最適な位置を直線の移動先位置として設定することができる。
また、入力されたアンダーラインの手書き筆跡データを、図形認識部７が形状認識で整形してから調整部１１が最適な場所を探すのではなく、入力された手書き筆跡データが表す形状の手書きのアンダーラインを表すマークについて、調整部１１が最適な場所を探してもよい。この場合、例えば、調整部１１は、入力された手書き筆跡データの外接矩形を計算し、その外接矩形の中心の線分を基準位置とする。調整部１１は、上記と同様に、手書き筆跡データで表されるアンダーラインを基準位置から上へ移動させて重なり度合いを表す値として計算する処理と、基準位置から下へ移動させて重なり度合いを表す値として計算する処理とを交互に繰り返す。この繰り返しにおいて、調整部１１は、初めに見つかった最適な位置を直線の移動先位置として設定することができる。
（楕円のマークを調整する処理の具体例）
次に、マークが楕円の場合に、調整部１１および画像データ取得部９が、マークを調整する処理の具体例について説明する。図７は、表示装置１３に表示されている画像に対して入力装置１２を介してマークが入力された場合に、情報処理装置１によって制御される表示画像の遷移の具体例を示す図である。図７（ａ）は、入力装置１２でマーク２２ｒが入力された直後の画像の例を示す図である。図７（ｂ）は、図形認識部７によって、置換されたマーク２２ａが表示された場合の画像の例を示す図である。ここでは、手書きで入力されたマーク２２ｒが楕円のマーク２２ａに置換されている。図７（ｃ）は、調整部１１によって、画像に含まれる文字、図形または絵との重なりが少なくなるように調整されたマーク２２ｆが表示された場合の画像の例を示す図である。図７（ａ）〜図７（ｃ）に示すように、ペンを用いて手書きで入力されたマーク２２ｒは、楕円のマーク２２ａに清書され、さらに、画像に含まれる文字、図形または絵との重なりが少なくなる位置およびサイズのマーク２２ｆに調整されて表示される。ここでも出力部３は、長方形の場合と同様に、図７（ａ）をフィードバックとして表示し、途中の図7（ｂ）については特に表示せず、図7（ｃ）の調整後のマークを表示することができる。
図８は、マークが楕円の場合に、調整部１１および画像データ取得部９が、文字、図形または絵との重なりが少なくなるように、楕円のマークを調整する処理の具体例を示すフローチャートである。図８に示す具体例は、マーク記録部６に記録されたマークが示す楕円の長軸の長さと、短軸の長さをそれぞれ段階的に変化させて、短軸と長軸それぞれの最適な長さを計算することで、最適な楕円を計算する処理である。
調整部１１は、まず変数ｉと変数ｊを０に初期化する（Ｏｐ４０１）。変数ｉは、楕円の長軸の長さＡが変化する度に１ずつ増える変数であり、変数ｊは、楕円の短軸の長さＢが変化する度に１ずつ増える変数である。
次に、調整部１１は、楕円の長軸の長さＡを決定する（Ｏｐ４０２）。長軸の長さＡは、例えば、下記（式１）で決定される。
（式１）
Ａ＝Ａ0＋ｉ×ΔＡ
上記（式１）でＡ0は、長軸の長さの最小値である。ΔＡは、長軸の長さの変化量である。すなわち、長軸の長さＡは、ｉ＝０の時はＡ0であり、ｉが１増える度にΔＡずつ大きくなる。
調整部１１は、楕円の短軸の長さＢも決定する（Ｏｐ４０３）。短軸の長さＢは、例えば、下記（式２）で決定される。
（式２）
Ｂ＝Ｂ0＋ｊ×ΔＢ
上記（式２）でＢ0は、短軸の長さの最小値である。ΔＢは、短軸の長さの変化量である。すなわち、短軸の長さＢは、ｊ＝０の時はＢ0であり、ｊが１増える度にΔＢずつ大きくなる。なお、上記のＡ0、ΔＡ、Ｂ0、ΔＢは、例えば、予め設定された値によって決められる。
また、入力されたマークのデータに基づいて計算することによって上記Ａ0、Ｂ0の値が決められてもよい。例えば、手書きで入力された図７（ａ）のマーク２２ｒに対して、図形認識部７が、内部で（表示せずに）図7（ｂ）のマーク２２ａの楕円ように認識したときに、調査部１１は、その楕円の外接矩形を用いて、まず上記の長方形の場合と同じように外接矩形の最適な位置の調査を行う。この調査で見出された重なりの少なくなる長方形（外接矩形）の横の長さと縦の長さを、それぞれ、このあとに続いて調査する楕円の長軸の長さの最小値Ａ0、短軸の長さの最小値Ｂ0とすることができる。
調整部１１は、マーク記録部６に記録されたマークが示す楕円の長軸の長さを、Ｏｐ４０２で決定したＡに、短軸の長さをＯｐ４０３で決定したＢに変更した場合の、楕円の軌跡の座標を計算する。画像データ取得部９は、計算された座標に対応する画像の画素情報を画像記録部５から取得する（Ｏｐ４０４）。
画像の画素情報に含まれる画素の輝度が白か黒かを表す２値データで表される場合、調整部１１は取得した画素情報を用いて、楕円の軌跡上で隣り合う画素間で輝度が変化している回数と、黒画素の数とを数える（Ｏｐ４０５）。調整部１１は、隣り合う画素間で輝度が変化している回数と黒画素の数との和を、楕円と画像に含まれる文字、図形または絵との重なりの程度を示す値とする。その後、調整部１１は、ｊに１を足して（Ｏｐ４０６）、ｊが予め決められた上限値Ｋ（Ｋ＝自然数）より小さいか否かを判断し、小さい場合（Ｏｐ４０７でＹｅｓ）には、短軸の長さＢを再度計算し（Ｏｐ４０３）、上記Ｏｐ４０４〜Ｏｐ４０６の処理を繰り返す。ここで、Ｋは、例えば、短軸の長さＢが図7（ｂ）のマーク２２ａの楕円の外接矩形の縦の辺の長さを超える最小のものになるときのｊの値である。上記Ｏｐ４０４〜Ｏｐ４０６の処理は、ｊ＝０からＪ＝Ｋまで繰り返される。これにより、調整部１１は、マークの形状である楕円の短軸の長さＢをＢ0から（Ｂ0＋Ｋ×ΔＢ）までΔＢずつ変化させて、それぞれの形状について、マークと文字、図形または絵との重なりの程度を示す値を得ることができる。
Ｏｐ４０３〜Ｏｐ４０６の処理が、ｊ＝０からＪ＝Ｋまで繰り返されると、調整部１１は、ｉに１を足して（Ｏｐ４０８）、ｉが予め決められた上限値Ｎ（Ｎ＝自然数）より小さいか否かを判断し（Ｏｐ４０９）、小さい場合（Ｏｐ４０９でＹｅｓ）には、長軸の長さＡを再度計算し（Ｏｐ４０２）、上記Ｏｐ４０３〜Ｏｐ４０６の短軸の長さＢを変化させて、それぞれ形状について、マークと文字、図形または絵との重なりの程度を示す値を求める処理を繰り返し、ｉに１を足す（Ｏｐ４０８）。このＯｐ４０２からＯｐ４０８の処理は、ｉ＝１からｉ＝Ｎまで繰り返される。これにより、調整部１１は、マークの形状である楕円の長軸の長さＡをＡ0から（Ａ0＋Ｎ×ΔＡ）までΔＡずつ変化させる。そして、長軸の長さＡがΔＡだけ変化する度に、短軸の長さＢを変化させてＢ0から（Ｂ0＋Ｋ×ΔＢ）までΔＢずつ変化させて、それぞれの形状について、マークと文字、図形または絵との重なりの程度を示す値が求められる。その結果、マーク記録部６に記録されたマークの形状である楕円の長軸と短軸を様々に変形させた場合の、マークと文字、図形または絵との重なりの程度を示す値を得ることができる。ここで、Ｎは、例えば、長軸の長さＡが図7（ｂ）のマーク２２ａの楕円の外接矩形の横の辺の長さを超える最小のものになるときのｉの値である。
ここで、図９を用いて、楕円の長軸と短軸の変化範囲の例について説明する。図９（ａ）および図９（ｂ）は、楕円のマークと文字を含む画像とを重ねて表示した場合の例を示す図である。図９（ａ）に示すマーク２２ａの楕円の短軸は、ＢminからＢmaxまで段階的に変化し、それぞれにおいて、楕円と文字との重なり度合いを示す値が求められる。Ｂminは、上記Ｂ0に相当し、Ｂmaxは（Ｂ0＋Ｋ×ΔＢ）に相当する。
図９（ｂ）に示すマーク２２ａの楕円の長軸は、ＡminからＡmaxまで段階的に変化し、それぞれにおいて、楕円と文字との重なり度合いを示す値が求められる。Ａminは、上記Ａ0に相当し、Ａmaxは（Ａ0＋Ｎ×ΔＡ）に相当する。
図９（ａ）および図９（ｂ）に示す例では、マーク２２ａの楕円の長軸をＡminからＡmaxまでの範囲で、短軸をＢminからＢmaxまで様々に変形させた場合の文字との重なりの程度を示す値を得ることができる。
調整部１１は、上記のＯｐ４０１〜Ｏｐ４０９の処理で得られた、マークの形状である楕円の長軸と短軸を様々に変形させた場合の文字、図形または絵との重なりの程度を表す値から、最適な長軸の長さと、最適な短軸の長さを求める（Ｏｐ４１０）。
例えば、調整部１１は、変化回数と黒画素数との和が、他のどの組み合わせよりも少なくなっている長軸の長さと短軸の長さの組み合わせを、最適な長軸の長さおよび最適な短軸の長さをすることができる。このとき、変化回数と黒画素数との和が、他のどの組み合わせよりも少なくなっている長軸の長さと短軸の長さの組み合わせが複数出てきた場合、調整部１１は、長軸および短軸の長さが最も大きい楕円を選択する。大きい楕円ほど、元の記入された楕円に近いことになるので、このように、長軸および短軸の長さが最も大きい楕円を選択することで、囲みマークとして入力された楕円により近い楕円を最適な楕円として選択することになる。
このようにして、調整部１１は、マークと文字、図形または絵との重なりが少なくなる、最適な楕円の形状を求めることができる。なお、Ｏｐ４１０において最適な位置を求める方法は上記の例に限られない。また、上記例では、長軸の長さと短軸の長さを楕円の形状を示すパラメータとして用いたが、楕円の形状を示すパラメータは長軸の長さと短軸の長さに限られない。
ここでは、楕円の短軸および長軸の長さを、最小値から段階的に大きくして調査する方法を紹介したが、長軸および短軸の最大値を、それぞれ認識後のマーク２２ａの楕円の外接矩形の横の辺の長さおよび縦の辺の長さとして、短軸および長軸の長さを段階的に小さくして調査する方法も考えられる。この場合だと、複数行が囲われた場合でも、重なりの度合いが小さい楕円が見つかった時点で調査を打ち切ることが可能である。
なお、調整部１１がマークの形状または位置を調整しても、文字、図形または絵との重なりが多くなってしまう場合がある。例えば、Ｏｐ４０５で数えられた輝度の変化回数と黒画素数との和が、取得した画素情報に含まれる全画素数のうち所定の割合を超える場合等は、マークの一部（重なっている部分）の色を透明または半透明にしてもよい。これにより、マークと重なることによって隠された文字、図形または絵が見えるようになる。
このように、調整部１１による調整によっても文字、図形または絵との重なりの程度が高い場合に、調整部１１は、マーク一部の色が透明または半透明になるように、マークの色を調整する。マークの色は、マーク記録部６に記録されたマークを示すデータを更新することで調整することができる。マークの一部を透明する場合、調整部１１は、例えば、マークと重なる画像の画素情報を基に透明にする部分を決定することができる。
以上、図４および図８を参照して、入力されたマークの軌跡が図形認識部７によって長方形に置換された場合と楕円に置換された場合の例を説明したが、図形認識部７によるマークの軌跡の置換は行わずに、調整部１１が入力された手書き筆跡データで表されるマークの位置または形状を調整してもよい。その場合、調整部１１は、例えば、手書き筆跡データで表されるマークの軌跡の外接矩形を求めて、その矩形について、上記図４の長方形の処理と同様に最適なマークの位置を計算することができる。この場合の調査範囲は、外接矩形を基準として、上記の長方形について最適な位置を求める調査の場合と同様にすることができる。画像取得部９は、手書き筆跡データで表されるマークと重なる部分の画像を取得し、調整部１１が、画像に含まれる文字、図形または絵とマークとの重なりの程度を計算する。
また、上記実施形態では、マークと文字とが重なる場合の例を示したが、例えば、マークと図形が重なる場合やマークと絵が重なる場合も、上記実施形態と同様である。図１０（ａ）および（ｂ）は、図形が含まれる画像にマークが入力された場合の表示画像の例を示す図である。図１０（ａ）では、入力装置１２で入力されたマーク２２ｓがそのまま、画像に重ねて表示されている。図１０（ｂ）は、図形認識部７および調整部１１によって置換、調整されたマーク２２ｔが表示されている。マーク２２ｔは、画像に含まれる図形との重なりが少なくなるように調整部１１によって調整されたマークである。
また、上記実施形態において、情報処理装置１へ手書きの筆跡を表すデータがマークを表すデータとして入力される例を説明したが、入力されるマークは、手書きの筆跡に限られない。例えば、ユーザの操作に基づいて、線分、四角形、楕円等を自動的に描画するソフトウエアによって生成された図形データが、マークを表すデータとして入力されてもよい。
［第２の実施形態］
図１１は、本実施形態にかかる情報処理装置の構成を表す機能ブロック図である。図１１において、図１に示す機能ブロックと同じ部分には同じ番号を付し、説明を省略する。図１１に示す情報処理装置１０において、調整部１１ａは、文字認識部１４と単語辞書１５とを備える。調整部１１ａは、第１の実施形態と同様に、画像に含まれる文字、図形または絵との重なりが少なくなるようにマークの位置または形状を調整する機能を備える。画像データ取得部９ａは、画像記録部５からマーク記録部６に記録されたマークの近傍における画像を表すデータを取得して、調整部１１に渡す。
文字認識部１４は、画像データ取得部９ａから受け取った部分画像データが示す画像に含まれる文字を認識する。文字認識部１４は、部分画像データから文字を識別する機能と、識別した文字から単語を認識する機能とを備える。文字認識部１４が単語を認識する際には、予め備えられた単語辞書１５が用いられる。単語辞書１５には、複数の単語が記録されている。部分画像データから文字を識別する機能は、例えば、既存のＯＣＲ（Ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）技術を用いて実現することができる。
次に、調整部１１ａおよび画像データ取得部９ａが、マーク記録部６に記録されたマークを調整する処理の例を説明する。情報処理装置１０が、入力装置１２からのマークの入力を受け付けて表示装置１３へマークを表示させる動作の大まかな流れは、図３に示す処理と同様である。図３のフローチャート中のＯｐ４におけるマーク調整処理が、上記第１の実施形態とは異なるので、Ｏｐ４の処理について以下、説明する。
図１２は、調整部１１ａが、マーク記録部６に記録された丸囲みまたは四角囲みのマークを調整する処理の例を示すフローチャートである。図１２に示すように、まず、画像データ取得部９ａは、マークに囲まれる部分における画像の画素情報を画像記録部５から取得して、調整部１１ａに渡す（Ｏｐ１０）。調整部１１ａは、渡されたマークで囲まれる範囲内の画素情報を基に、文字が含まれている可能性があるか否かを判定する（Ｏｐ１１）。
この判定の処理の具体例を、画像が濃淡画像である場合について説明する。調整部１１ａは、隣り合う画素間での濃淡を示す輝度の変化度合いを、マークで囲まれる範囲における各画素間について計算する。濃淡を示す輝度の変化度合いが大きい箇所が多くある場合には、文字が含まれている可能性が高くなる。そのため、調整部１１ａは、例えば、マークで囲まれた範囲内で、隣り合う画素間での輝度の変化度合いが予め設定された閾値を超える箇所が、所定数以上ある場合に、文字が含まれている可能性があると判定することができる。
マークで囲まれた範囲に文字が含まれている可能性があると判定された場合（Ｏｐ１２でＹｅｓ）、調整部１１ａは、マークを画像に含まれる文字、図形または絵との重なりが少なくなるように調整する（Ｏｐ１３）。このＯｐ１３の処理は、上記第１の実施形態において図４に示した処理または、図８で示した処理と同様である。調整部１１ａは、さらに、調整されたマークによる囲みの範囲を補正する（Ｏｐ１４）。調整部１１ａは、マークの囲み内にある文字を認識し、認識結果に基づいて、その囲みの範囲を補正する。Ｏｐ１４の処理の具体例については、後述する。これにより、妥当な範囲で文字を囲むように、マークが調整される。
一方、Ｏｐ１１の処理の結果から、マークで囲まれた範囲に文字が含まれている可能性がないと判定された場合（Ｏｐ１２でＮｏ）、調整部１１ａは、マークを画像に含まれる文字、図形または絵との重なりが少なくなるように調整する（Ｏｐ１５）。このＯｐ１５の処理は、上記Ｏｐ１３の処理と同様である。以上、図１２に示す処理により、マークの囲みの範囲内に文字が含まれている場合には、調整部１１ａは、その文字が構成する文字列の認識結果に応じて、マークを補正する。
ここで、図１２のＯｐ１４において、調整部１１ａが調整されたマークを補正する処理の具体例を説明する。図１３は、Ｏｐ１４の詳細な処理の具体例を示すフローチャートである。図１３に示すように、文字認識部１４は、まず、マークで囲まれた範囲内の画像における画素情報から、その範囲の画像に含まれる文字を識別する（Ｏｐ１３１）。文字の識別には、既存のＯＣＲの技術を用いることができる。文字認識部１４は、文字識別処理の結果として、例えば、マークで囲まれた範囲内に含まれる１または複数の文字を表すデータと、各文字を構成する画素の位置を表すデータが得られる。
文字認識部１４は、マークで囲まれた範囲内の文字と、単語辞書１５とを照合する（Ｏｐ１３２）。文字認識部１４は、マークで囲まれた範囲内の文字で構成されうる文字列それぞれについて、単語辞書１５と照合し、一致度（スコア）を計算する。文字認識部１４は、マークで囲まれた範囲内の文字で構成されうる文字列のうち、一致度が最も高い文字列を抽出する。
文字列と単語辞書１５との照合の具体例を、図１４を参照して説明する。図１４（ａ）は、画像に含まれる文字列「記号認識機能」の一部に調整部１１ａによって調整されたマーク２１ｃが重ねて表示されている場合の画像を示す図である。図１４（ａ）に示す例では、マーク２１ｃは、調整部１１ａで調整された結果、文字「認」の「言」と「忍」の間の部分を区切っている。文字認識部１４は、Ｏｐ１３１の処理で、マーク２１ｃで囲まれる範囲内の文字として、「記」、「号」、「言」を識別する。このとき、文字認識部１４は、例えば、「記」、「号」、「言」で構成される文字列として、「記号言」、「記号」、「号言」の文字列を認識候補として出力する。その後、「記号言」、「記号」、「号言」の文字列それぞれを単語辞書１５と照合する。単語辞書１５には、「記号」の単語が記録されており、「記号言」、「号言」の単語は記録されていないとすると、文字認識部１４による照合の結果、「記号」の一致度が最も高くなる。このことから、マーク記入者の囲みは、文字列「記号」を囲んだものだと解釈する。
調整部１１ａは、文字認識部１４の前記照合結果を基に、マークを補正する（Ｏｐ１３３）。例えば、文字認識部１４は各単語を構成する文字の画像をどの位置から切り出したのかを示す切り出し情報を持っているので、調整部１１ａは、文字認識部１４から、単語辞書１５との一致度（スコア）が最も高い文字列「記号」を構成する画素の範囲を示すデータを取得し、そのデータに基づいて、マークを補正することができる。これにより、調整部１１ａは、一致度が最も高い文字列を囲むように、マークを補正することができる。
例えば、図１４（ａ）に示すマーク２１ｃは、図１４（ｂ）に示すマーク２１ｄのように補正される。すなわち、文字認識部１４による単語辞書１５との照合の結果、一致度が最も高かった文字列「記号」を囲むように、マーク２１ｃが補正されている。
図１５（ａ）および（ｂ）は、画像の文字列が英語の場合のマークの補正の例を示す図である。図１５（ａ）に示す例では、マーク２１ｃは、調整部１１ａで調整された結果、単語「ｏｒ」の「ｏ」と「ｒ」の間の部分を区切っている。文字認識部１４は、Ｏｐ１３１の処理で、マーク２１ｇで囲まれる範囲内の単語として、「ａ」、「ｐｌａｎｔ」、「ｏ」を識別する。このとき、文字認識部１４は、例えば、「ａ」、「ｐｌａｎｔ」、「ｏ」で構成される文字列として、「ａ ｐｌａｎｔ」、「ｐｌａｎｔ ｏ」の文字列それぞれを単語辞書１５と照合する。単語辞書１５には、「ａ ｐｌａｎｔ」の文字列が記録されており、「ｐｌａｎｔ ｏ」の文字列は記録されていないとすると、文字認識部１４による照合の結果、「ａ ｐｌａｎｔ」の一致度が最も高くなる。図１５（ａ）に示すマーク２１ｇは、図１５（ｂ）に示すマーク２１ｈのように補正される。すなわち、文字認識部１４による単語辞書１５との照合の結果、一致度が最も高かった文字列「ａ ｐｌａｎｔ」を囲むように、マーク２１ｇが補正される。
このように、文字認識部１４が認識した文字列に基づいて、マークを補正することで、文字列を考慮したマークの調整が可能になる。例えば、１つの文字の間に隙間があってマークによって分離されてしまう場合や、１つの単語を構成する文字列の文字と文字の間にマークがかかる場合等にも、調整部１１ａは、マークが妥当な境界で文字列を分離するように、マークを補正することができる。
なお、本実施形態では、マークが丸囲みまたは四角囲みの場合について説明したが、他の形状のマークについても同様に文字列にあわせて補正することができる。例えば、文字列にアンダーラインを記入するための線分のマークについても、文字列にあわせて長さおよび位置を補正することができる。
また、本実施形態では、画像を表す画像データは、ビットマップ画像のように、各画素の位置および輝度を含む画素情報として取得される場合について説明した。しかし、調整部１１ａは、ビットマップ画像のような各画素の位置および輝度を含む画素情報ではなく、テキストデータとそのテキストデータのテキストが表示される画像中の画素の位置（以下テキスト位置と称する）を示すデータとを用いて、テキストとの重なりの少ないマークの位置または形状を求めてもよい。また、調整部１１ａは、図形または絵を表すデータと、その図形または絵が表示される画素の位置（以下、図形位置と称する）を示すデータとを用いて、画像または絵との重なりが少ないマークの位置または形状を求めてもよい。上記テキスト位置や図形位置を示すデータは、例えば、ＯＣＲ技術のレイアウト認識技術を使用して取得することができる。
また、本発明にかかる情報処理装置は、プレゼンテーション装置として用いられる場合に限られない。例えば、マークを記入することができる電子ペーパー、電子ブックにも、本発明を適用することができる。
本発明は、例えば、プレゼンテーションや講義時等に記入したマークが、画像の文字、図形または絵を隠してしまうことが無くなり、効果的なプレゼンテーションや講義等をおこなうことが可能となる情報処理装置として有用である。
第１の実施形態にかかる情報処理装置の構成を表す機能ブロック図 （ａ）は、表示装置に表示される画像の一例である。（ｂ）は、マークが入力された直後の画像の例を示す図である。（ｃ）は、置換されたマークが表示された場合の画像の例を示す図である。（ｄ）は、調整されたマークが表示された場合の画像の例を示す図である。 情報処理装置の動作の流れを示すフローチャート 四角囲みのマークを調整する処理の具体例を示すフローチャート （ａ）および（ｂ）は、マークと画像とを重ねて表示した場合の表示画像の例を示す図 マークと画像とを重ねて表示した場合の表示画像の例を示す図 （ａ）は、マークが入力された直後の画像の例を示す図である。（ｂ）は、置換されたマークが表示された場合の画像の例を示す図である。（ｃ）は、調整されたマークが表示された場合の画像の例を示す図である。 楕円のマークを調整する処理の具体例を示すフローチャート （ａ）および（ｂ）は、楕円のマークと画像とを重ねて表示した場合の表示画像の例を示す図である。 （ａ）および（ｂ）は、図形が含まれる画像にマークが入力された場合の画像表示の例を示す図である。 第２の実施形態にかかる情報処理装置の構成を表す機能ブロック図 丸囲みまたは四角囲みのマークを調整する処理の例を示すフローチャート 調整されたマークを補正する処理を示すフローチャート （ａ）は、文字列の一部に調整されたマークが重ねて表示されている場合の画像を示す図である。（ｂ）は、（ａ）に示すマークが補正された場合の、補正後のマークの具体例を示す図である。 （ａ）は、英語の文字列の一部に調整されたマークが重ねて表示されている場合の画像を示す図である。（ｂ）は、（ａ）に示すマークが補正された場合の、補正後のマークの具体例を示す図である。
符号の説明
１、１０ 情報処理装置
２ 入力部
３ 出力部
５ 画像記録部
６ マーク記録部
７ 図形認識部
８ 基準図形記録部
９ 画像データ取得部
１１ 調整部
１２ 入力装置
１３ 表示装置
１４ 文字認識部
１５ 単語辞書

Claims (9)

  1. 画像を表示する表示装置および入力装置に接続される情報処理装置であって、
    前記表示装置に表示する画像を表す画像データを記録する画像記録部と、
    前記画像に重ねて表示するマークを表す手書きの筆跡データを前記入力装置から受け付ける入力部と、
    前記入力部が受け付けたマークを表す手書きの筆跡データを記録するマーク記録部と、
    前記マーク記録部に記録されたデータが表すマークに対応する位置を含む前記画像中の所定の範囲内において、マークの少なくとも一部を複数の異なる位置または形状にそれぞれ移動または変形させた場合に、移動または変形後のそれぞれの位置または形状のマークと重なる部分の画像における画素群を表す画素情報を、前記画像データから取得する画像データ取得部と、
    前記画素情報を用いて、前記移動または変形後の複数の異なる位置または形状のマークと画像に含まれる文字、図形または絵との重なりの程度を表す値を、前記移動または変形後のそれぞれの位置または形状について計算し、前記値が表す重なりの程度が最も低くなるようなマークの位置または形状を求めて前記マーク記録部に記録する調整部と、
    前記入力部で受け付けた前記手書きの筆跡データが表すマークを入力時に前記画像と重ねて前記表示装置へ表示させ、前記調整部で求められた位置または形状のマークを、前記手書きの筆跡データが表すマークの表示を消去させた後、前記画像と重ねて前記表示装置へ表示させる出力部とを備えた、情報処理装置。
  2. 図形認識に用いる複数の基準図形を表すデータが予め記録されている基準図形記録部と、
    前記手書きの筆跡データに対して、前記基準図形記録部を参照して、図形認識を行うことにより、前記複数の基準図形のうち置換すべき図形を認識する図形認識部をさらに備える、請求項１に記載の情報処理装置。
  3. 前記画像データ取得部は、前記画素情報として、前記移動または変形後の複数の異なる位置または形状のマークそれぞれについて、マークと重なる部分の画像に含まれる画素群におけるそれぞれの画素の位置および画素値を含むデータを取得し、
    前記調整部は、前記移動または変形後の複数の異なる位置または形状のマークそれぞれについて、マークと重なる部分の画像に含まれる画素群における画素値のばらつきの度合いを表す値を用いて、前記マークと画像に含まれる文字、図形または絵との重なりの程度を表す値を計算する、請求項１に記載の情報処理装置。
  4. 前記調整部は、マークと重なる部分の画像に含まれる画素群における画素値のばらつきの度合いを表す値として、前記画素群において隣り合う画素の画素値が所定値以上変化している箇所の数を用いる、請求項３に記載の情報処理装置。
  5. 前記調整部は、マークと重なる部分の画像に含まれる画素群における画素値のばらつきの度合いを表す値として、前記画素群に含まれる画素の画素値の分散を用いる、請求項３に記載の情報処理装置。
  6. 前記調整部は、前記マーク記録部に記録されたデータが表すマークに対応する位置を含む所定の範囲内の画像における画素群を表す画素情報を用いて、前記所定の範囲内の画像に含まれる文字を認識し、認識した文字に基づいて、マークの位置または形状を補正する、請求項１に記載の情報処理装置。
  7. 前記調整部は、調整した前記マークの少なくとも一部を透明または半透明にするように前記マークの色を調整する、請求項１に記載の情報処理装置。
  8. 画像を表示する表示装置および入力装置に接続され、前記表示装置に表示する画像を表す画像データを記録する画像記録部と、前記画像に重ねて表示するマークを表すデータを記録するマーク記録部とを備えるコンピュータによる情報処理方法であって、
    前記コンピュータが備える入力部が、前記画像に重ねて表示するマークを表す手書きの筆跡データを前記入力装置から受け付けて、前記マーク記録部に記録する入力工程と、
    前記コンピュータが備える画像データ取得部が、前記マーク記録部に記録されたデータが表すマークに対応する位置を含む前記画像中の所定の範囲内において、マークの少なくとも一部を複数の異なる位置または形状にそれぞれ移動または変形させた場合に、移動または変形後のそれぞれの位置または形状のマークと重なる部分の画像における画素群を表す画素情報を、前記画像データから取得する取得工程と、
    前記コンピュータが備える調整部が、前記画素情報を用いて、前記移動または変形後の複数の異なる位置または形状のマークと画像に含まれる文字、図形または絵との重なりの程度を表す値を、前記移動または変形後のそれぞれの位置または形状について計算し、前記値が表す重なりの程度が最も低くなるようなマークの位置または形状を求めて前記マーク記録部に記録する調整工程と、
    前記コンピュータが備える出力部が、前記入力部で受け付けた前記手書きの筆跡データが表すマークを入力時に前記画像と重ねて前記表示装置へ表示させ、前記調整工程で求められた位置または形状のマークを、前記手書きの筆跡データが表すマークの表示を消去させた後、前記画像と重ねて前記表示装置へ表示させる出力工程とを含む、情報処理方法。
  9. 画像を表示する表示装置および入力装置に接続され、前記表示装置に表示する画像を表す画像データを記録する画像記録部を備えるコンピュータに処理を実行させる情報処理プログラムであって、
    前記画像に重ねて表示するマークを表す手書きの筆跡データを前記入力装置から受け付けて、前記マーク記録部に記録する入力処理と、
    前記マーク記録部に記録されたデータが表すマークに対応する位置を含む前記画像中の所定の範囲内において、マークの少なくとも一部を複数の異なる位置または形状にそれぞれ移動または変形させた場合に、移動または変形後のそれぞれの位置または形状のマークと重なる部分の画像における画素群を表す画素情報を、前記画像データから取得する取得処理と、
    前記画素情報を用いて、前記移動または変形後の複数の異なる位置または形状のマークと画像に含まれる文字、図形または絵との重なりの程度を表す値を、前記移動または変形後のそれぞれの位置または形状について計算し、前記値が表す重なりの程度が最も低くなるようなマークの位置または形状を求めて前記マーク記録部に記録する調整処理と、
    前記入力処理で受け付けた前記手書きの筆跡データが表すマークを入力時に前記画像と重ねて前記表示装置へ表示させ、前記調整処理で求められた位置または形状のマークを、前記手書きの筆跡データが表すマークの表示を消去した後、前記画像と重ねて前記表示装置へ表示させる出力処理とをコンピュータに実行させる、情報処理プログラム。
JP2006145569A 2006-05-25 2006-05-25 情報処理装置、情報処理方法およびプログラム Expired - Fee Related JP4712613B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006145569A JP4712613B2 (ja) 2006-05-25 2006-05-25 情報処理装置、情報処理方法およびプログラム
US11/523,646 US7633512B2 (en) 2006-05-25 2006-09-20 Information processing apparatus, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006145569A JP4712613B2 (ja) 2006-05-25 2006-05-25 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2007316929A true JP2007316929A (ja) 2007-12-06
JP4712613B2 JP4712613B2 (ja) 2011-06-29

Family

ID=38749640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006145569A Expired - Fee Related JP4712613B2 (ja) 2006-05-25 2006-05-25 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US7633512B2 (ja)
JP (1) JP4712613B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216928A (ja) * 2011-03-31 2012-11-08 Casio Comput Co Ltd 投影システム、投影装置、投影方法及びプログラム
JP2015225516A (ja) * 2014-05-28 2015-12-14 沖電気工業株式会社 認識装置、認識方法、プログラムおよび認識システム
JP2017211847A (ja) * 2016-05-26 2017-11-30 コニカミノルタ株式会社 情報処理装置及びプログラム
JP2018049319A (ja) * 2016-09-20 2018-03-29 コニカミノルタ株式会社 文書閲覧装置及びプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4807618B2 (ja) * 2006-03-06 2011-11-02 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP4640470B2 (ja) * 2008-08-18 2011-03-02 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および撮像装置
JP5320925B2 (ja) * 2008-09-18 2013-10-23 富士通株式会社 情報検索方法、情報検索装置及び情報検索プログラム
US9069767B1 (en) 2010-12-28 2015-06-30 Amazon Technologies, Inc. Aligning content items to identify differences
US9846688B1 (en) 2010-12-28 2017-12-19 Amazon Technologies, Inc. Book version mapping
US8798366B1 (en) * 2010-12-28 2014-08-05 Amazon Technologies, Inc. Electronic book pagination
US9881009B1 (en) 2011-03-15 2018-01-30 Amazon Technologies, Inc. Identifying book title sets
JP6102215B2 (ja) * 2011-12-21 2017-03-29 株式会社リコー 画像処理装置、画像処理方法およびプログラム
JP5906788B2 (ja) * 2012-02-17 2016-04-20 オムロン株式会社 文字切り出し方法、およびこの方法を用いた文字認識装置およびプログラム
JP6167511B2 (ja) * 2012-12-04 2017-07-26 セイコーエプソン株式会社 書画カメラ、書画カメラの制御方法
JP2016076283A (ja) * 2014-10-06 2016-05-12 富士通株式会社 データ判定装置，ライブラリ装置，及びデータ判定方法
CN106155542B (zh) * 2015-04-07 2020-12-01 腾讯科技（深圳）有限公司 图片处理方法及装置
US11074793B2 (en) 2018-11-28 2021-07-27 Omni Consumer Products, Llc System, apparatus and method for inventory
CN110399508A (zh) * 2019-04-12 2019-11-01 重庆大学 一种可记录图像位置并将图像用于信号采集的软件

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284240A (ja) * 1993-03-25 1994-10-07 Matsushita Electric Ind Co Ltd 伝言型電子黒板装置
JP2003330606A (ja) * 2002-05-13 2003-11-21 Ricoh Co Ltd タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法およびその方法をコンピュータに実行させるためのプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587587B2 (en) * 1993-05-20 2003-07-01 Microsoft Corporation System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings
US5831615A (en) * 1994-09-30 1998-11-03 Intel Corporation Method and apparatus for redrawing transparent windows
JP2001100902A (ja) 1999-09-30 2001-04-13 Brother Ind Ltd 図形入力装置
US6891551B2 (en) * 2000-11-10 2005-05-10 Microsoft Corporation Selection handles in editing electronic documents
JP4190739B2 (ja) * 2001-02-19 2008-12-03 日本電気株式会社 画像特徴量生成装置および方法、ならびに画像特徴量生成プログラムを記録した記憶媒体
US7454702B2 (en) * 2005-03-21 2008-11-18 Microsoft Corporation Tool for selecting ink and other objects in an electronic document
JP4690114B2 (ja) * 2005-05-23 2011-06-01 パイオニア株式会社 情報更新装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
US7479968B2 (en) * 2006-01-31 2009-01-20 Microsoft Corporation Semi-transparent highlighting of selected objects in electronic documents
US20070206024A1 (en) * 2006-03-03 2007-09-06 Ravishankar Rao System and method for smooth pointing of objects during a presentation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284240A (ja) * 1993-03-25 1994-10-07 Matsushita Electric Ind Co Ltd 伝言型電子黒板装置
JP2003330606A (ja) * 2002-05-13 2003-11-21 Ricoh Co Ltd タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法およびその方法をコンピュータに実行させるためのプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216928A (ja) * 2011-03-31 2012-11-08 Casio Comput Co Ltd 投影システム、投影装置、投影方法及びプログラム
JP2015225516A (ja) * 2014-05-28 2015-12-14 沖電気工業株式会社 認識装置、認識方法、プログラムおよび認識システム
JP2017211847A (ja) * 2016-05-26 2017-11-30 コニカミノルタ株式会社 情報処理装置及びプログラム
JP2018049319A (ja) * 2016-09-20 2018-03-29 コニカミノルタ株式会社 文書閲覧装置及びプログラム
US10684772B2 (en) 2016-09-20 2020-06-16 Konica Minolta, Inc. Document viewing apparatus and program

Also Published As

Publication number Publication date
JP4712613B2 (ja) 2011-06-29
US7633512B2 (en) 2009-12-15
US20070274704A1 (en) 2007-11-29

Similar Documents

Publication Publication Date Title
JP4712613B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6840132B2 (ja) デジタルノートテイキングのシステムおよび方法
US9965175B2 (en) System and method of digital note taking
KR102381801B1 (ko) 핸드라이팅 입력을 가이드하는 시스템 및 방법
US11740783B2 (en) System and method of guiding handwriting diagram input
CN108780381B (zh) 利用手势进行笔记记录的装置和方法
US10643067B2 (en) System and method of handwriting recognition in diagrams
KR102473543B1 (ko) 디지털 잉크 상호작용을 위한 시스템 및 방법
US7970812B2 (en) Redistribution of space between text segments
US8682642B2 (en) Translation display apparatus
CN114365075B (zh) 用于选择图形对象的方法和对应装置
CN108369637B (zh) 用于美化数字墨水的系统和方法
CN113950822A (zh) 实体活动表面的虚拟化
EP3491580B1 (en) System and method for beautifying superimposed digital ink
EP4047465A1 (en) Modifying digital content
US20230401376A1 (en) Systems and methods for macro-mode document editing
US20210081604A1 (en) Systems and methods for macro-mode document editing
Glassic et al. Creating figures in R that meet the AFS style guide: standardization and supporting script

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081217

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110323

LAPS Cancellation because of no payment of annual fees