JP2004001315A - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP2004001315A
JP2004001315A JP2002160645A JP2002160645A JP2004001315A JP 2004001315 A JP2004001315 A JP 2004001315A JP 2002160645 A JP2002160645 A JP 2002160645A JP 2002160645 A JP2002160645 A JP 2002160645A JP 2004001315 A JP2004001315 A JP 2004001315A
Authority
JP
Japan
Prior art keywords
image
area
identification information
information processing
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002160645A
Other languages
English (en)
Inventor
Soichiro Iga
伊賀 聡一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002160645A priority Critical patent/JP2004001315A/ja
Priority to US10/449,352 priority patent/US20040021790A1/en
Publication of JP2004001315A publication Critical patent/JP2004001315A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/0402Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0438Scanning displays; Scanning large surfaces, e.g. projection screens, writing boards

Abstract

【課題】描画物が描画された被筆記装置の被筆記面の画像に関して、当該画像又は当該画像の描画物部分を有する文書であって、その文書が表示装置に表示されているとき、その文書を見ている者が、その画像等と関係がある画像等に自動的にアクセスできるような形式の文書を生成すること。
【解決手段】描画物が占める領域を特定する領域特定手段と、領域識別情報を表示装置に表示する識別情報表示手段と、領域識別情報が示す領域のいずれかをリンク元又はリンク先として指定するリンク指定手段と、領域識別情報が示す領域内の画像を有する文書を生成する文書生成手段とを備え、前記文書生成手段は、リンク元として予め指定された領域内の画像が、リンク先として予め指定された領域内の画像にリンクするように、前記文書を生成する情報処理装置。
【選択図】  図1

Description

【0001】
【発明の属する技術分野】
本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【0002】
【従来の技術】
ホワイトボードや黒板は、様々な場において使用されている。例えば、会議の場においてアジェンダや決定事項を確認するために使用されたり、打ち合わせの場において補助的な図を提示するために使用されたりする。
【0003】
ホワイトボードや黒板の中には、Ricoh社のimagiard(商標)のように、一般に電子ホワイトボードや電子黒板と呼ばれるものも存在する。これらの中には、被筆記面を切り替える機能や、被筆記面をスキャナで走査することにより被筆記面を画像として取り込む機能を有するものも多い。
【0004】
文字や図形などの描画物が描画されたホワイトボードや黒板を画像として取り込み、この画像を情報処理の対象とするシステムがいくつか提案されている。
【0005】
例えば、「Q.Stafford−Fraser, BrightBoard: A Video−Augmented Environment, Technical Report EPC−1995−108, Rank Xerox Reserch Centre, 1995.」や「E.Saund, Bringing the Marks on a Whiteboard to Electronic Life, In Proc. of CoBuild’99, pp.69−78, 1999.」には、ユーザーがホワイトボードにマーカーペンで所定記号を記入すれば電子計算機が起動されるようにするため、ホワイトボードをカメラで撮影することによりホワイトボードを画像として取り込み、画像認識技術を使用してこの画像の中からマーカーペンで記入された所定記号を認識するシステムが技術開示されている。
【0006】
また、「J.Coutaz, J.L.Crowley, F.Berard, Things that see: Machines Perception for Human Computer Interaction, In the Communications of the ACM, Vol.43, No.3, March2000.」には、ホワイトボードを可動カメラで撮影することによりホワイトボードを画像として取り込み、この画像をプロジェクタによりホワイトボードに投影するシステムが技術開示されている。
【0007】
【発明が解決しようとする課題】
従来の技術として、「描画物が描画されたホワイトボードや黒板を画像として取り込み、この画像を情報処理の対象とするシステム」の例について説明した。
【0008】
ここでは、「描画物が描画されたホワイトボードや黒板などの被筆記装置の被筆記面を画像として取り込み、この画像を情報処理の対象とするシステム」の例として、「描画物が描画されたホワイトボードや黒板などの被筆記装置の被筆記面を画像として取り込み、表示装置(ディスプレイ)に表示させることができる電子的な文書として、取り込んだ画像又は取り込んだ画像の描画物部分(取り込んだ画像の部分であって、描画物を含むような部分)を有する文書を自動的に生成するシステム」について考える。
【0009】
取り込まれた画像同士や、取り込まれた画像に含まれる描画物同士には、何らかの関係があることが多い。例えば、描画物として「第1議題」と「第2議題」とが描画されたホワイトボードを画像として取り込み、続いて、描画物として「第1議題の結論」と「第2議題の結論」とが描画されたホワイトボードを画像として取り込んだ場合、画像同士には「全議題とその全結論」という関係があり、描画物同士には「第1議題とその結論」「第2議題とその結論」「第1議題と第2議題」などの関係がある。
【0010】
よって、ある画像又はある描画物部分を有する文書が生成され、その文書が表示装置に表示されているとき、その文書を見ている者(文書のユーザー)が、その画像又はその描画物部分と関係がある画像又は描画物部分に自動的にアクセスできれば便利である。そのため、システムに文書を生成させようとする者(システムのユーザー)が、システムにより文書が生成される前に、どの画像又はどの描画物部分からどの画像又はどの描画物部分にアクセスできるかを予め選択しておけば、前者から後者へと自動的にアクセスできるような文書が自動的に生成されれば便利である。
【0011】
従来、このようなシステムは存在しなかった。
【0012】
したがって、本発明は、描画物が描画された被筆記装置の被筆記面の画像に関して、当該画像又は当該画像の描画物部分を有する文書であって、その文書が表示装置に表示されているとき、その文書を見ている者が、その画像又はその描画物部分と関係がある画像又は描画物部分に自動的にアクセスできるような形式の文書を生成することを課題とする。
【0013】
【課題を解決するための手段】
請求項1に記載の発明は、描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理装置において、前記画像において前記描画物が占める領域を特定する領域特定手段と、前記領域を示す領域識別情報を表示装置に表示する識別情報表示手段と、ユーザーからの入力に応じて、表示装置に表示されている領域識別情報が示す領域のいずれかをリンク元又はリンク先として指定するリンク指定手段と、ユーザーからの入力に応じて、表示装置に表示されている領域識別情報が示す領域内の画像を有する文書を生成する文書生成手段とを備え、前記文書生成手段は、表示装置に表示されている領域識別情報が示す領域の中に、リンク元として予め指定された領域及びリンク先として予め指定された領域が存在する場合、リンク元として予め指定された領域内の画像が、リンク先として予め指定された領域内の画像にリンクするように、前記文書を生成する。
【0014】
請求項2に記載の発明は、描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理装置において、前記画像を示す画像識別情報を表示装置に表示する識別情報表示手段と、ユーザーからの入力に応じて、表示装置に表示されている画像識別標識が示す画像のいずれかをリンク元又はリンク先として指定するリンク指定手段と、ユーザーからの入力に応じて、表示装置に表示されている画像識別標識が示す画像を有する文書を生成する文書生成手段とを備え、前記文書生成手段は、表示装置に表示されている画像識別情報が示す画像の中に、リンク元として予め指定された画像及びリンク先として予め指定された画像が存在する場合、リンク元として予め指定された画像が、リンク先として予め指定された画像にリンクするように、前記文書を生成する。
【0015】
請求項3に記載の発明は、描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理装置において、前記画像において前記描画物が占める領域を特定する領域特定手段と、前記画像を示す画像識別情報及び前記領域を示す領域識別情報を表示装置に表示する識別情報表示手段と、ユーザーからの入力に応じて、表示装置に表示されている画像識別情報が示す画像又は領域識別情報が示す領域のいずれかをリンク元またはリンク先として指定するリンク指定手段と、ユーザーからの入力に応じて、表示装置に表示されている画像識別情報が示す画像及び領域識別情報が示す領域内の画像を有する文書を生成する文書生成手段とを備え、前記文書生成手段は、表示装置に表示されている画像識別情報が示す画像及び領域識別情報が示す領域の中に、リンク元として予め指定された画像又は領域及びリンク先として予め指定された画像又は領域が存在する場合、リンク元として予め指定された画像又は領域内の画像が、リンク先として予め指定された画像又は領域内の画像にリンクするように、前記文書を生成する。
【0016】
請求項4に記載の発明は、請求項1乃至3のいずれか1項に記載の発明に関して、前記画像は、描画物が描画された被筆記装置の被筆記面をカメラで撮影することにより取得された画像である。
【0017】
請求項5に記載の発明は、請求項4に記載の発明に関して、ユーザーからの入力に応じて、前記カメラに被筆記装置の被筆記面を撮影させて前記画像を取得する撮影手段を備える。
【0018】
請求項6に記載の発明は、請求項5に記載の発明に関して、当該情報処理装置の一部として、前記カメラを備える。
【0019】
請求項7に記載の発明は、請求項1乃至3のいずれか1項に記載の発明に関して、前記画像は、描画物が描画された被筆記装置の被筆記面をスキャナで走査することにより取得された画像である。
【0020】
請求項8に記載の発明は、請求項7に記載の発明に関して、ユーザーからの入力に応じて、前記スキャナに被筆記装置の被筆記面を走査させて前記画像を取得する走査手段を備える。
【0021】
請求項9に記載の発明は、請求項8に記載の発明に関して、当該情報処理装置の一部として、前記スキャナを備える。
【0022】
請求項10に記載の発明は、請求項1乃至9のいずれか1項に記載の発明に関して、前記文書は、HTML文書又はXML文書である。
【0023】
請求項11に記載の発明は、請求項1乃至10のいずれか1項に記載の発明に関して、当該情報処理装置の一部として、前記表示装置を備える。
【0024】
請求項12に記載の発明は、請求項1乃至11のいずれか1項に記載の発明に関して、当該情報処理装置の一部として、前記被筆記装置を備える。
【0025】
請求項13に記載の発明は、請求項1乃至12のいずれか1項に記載の発明に関して、前記被筆記装置は、ホワイトボード又は黒板である。
【0026】
請求項14に記載の発明は、請求項1乃至13のいずれか1項に記載の発明に関して、前記領域特定手段は、前記画像からノイズを除去するノイズ除去手段と、ノイズが除去された画像を2値化する2値化手段と、2値化された画像を量子化する量子化手段とを有し、量子化された画像に基づいて前記領域を特定する。
【0027】
請求項15に記載の発明は、描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理方法において、前記画像において前記描画物が占める領域を特定する領域特定ステップと、前記領域を示す領域識別情報を表示装置に表示する識別情報表示ステップと、ユーザーからの入力に応じて、表示装置に表示されている領域識別情報が示す領域のいずれかをリンク元又はリンク先として指定するリンク指定ステップと、ユーザーからの入力に応じて、表示装置に表示されている領域識別情報が示す領域内の画像を有する文書を生成する文書生成ステップとを備え、前記文書生成ステップは、表示装置に表示されている領域識別情報が示す領域の中に、リンク元として予め指定された領域及びリンク先として予め指定された領域が存在する場合、リンク元として予め指定された領域内の画像が、リンク先として予め指定された領域内の画像にリンクするように、前記文書を生成する。
【0028】
請求項16に記載の発明は、描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理方法において、前記画像を示す画像識別情報を表示装置に表示する識別情報表示ステップと、ユーザーからの入力に応じて、表示装置に表示されている画像識別標識が示す画像のいずれかをリンク元又はリンク先として指定するリンク指定ステップと、ユーザーからの入力に応じて、表示装置に表示されている画像識別標識が示す画像を有する文書を生成する文書生成ステップとを備え、前記文書生成ステップは、表示装置に表示されている画像識別情報が示す画像の中に、リンク元として予め指定された画像及びリンク先として予め指定された画像が存在する場合、リンク元として予め指定された画像が、リンク先として予め指定された画像にリンクするように、前記文書を生成する。
【0029】
請求項17に記載の発明は、描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理方法において、前記画像において前記描画物が占める領域を特定する領域特定ステップと、前記画像を示す画像識別情報及び前記領域を示す領域識別情報を表示装置に表示する識別情報表示ステップと、ユーザーからの入力に応じて、表示装置に表示されている画像識別情報が示す画像又は領域識別情報が示す領域のいずれかをリンク元またはリンク先として指定するリンク指定ステップと、ユーザーからの入力に応じて、表示装置に表示されている画像識別情報が示す画像及び領域識別情報が示す領域内の画像を有する文書を生成する文書生成ステップとを備え、前記文書生成ステップは、表示装置に表示されている画像識別情報が示す画像及び領域識別情報が示す領域の中に、リンク元として予め指定された画像又は領域及びリンク先として予め指定された画像又は領域が存在する場合、リンク元として予め指定された画像又は領域内の画像が、リンク先として予め指定された画像又は領域内の画像にリンクするように、前記文書を生成する。
【0030】
請求項18に記載の発明は、情報処理方法をコンピュータに実行させる情報処理プログラムにおいて、請求項15乃至17のいずれか1項に記載の情報処理方法をコンピュータに実行させる。
【0031】
請求項1乃至3、15乃至17、又は18に記載の発明によれば、描画物が描画された被筆記装置の被筆記面の画像に関して、「リンク元として予め指定された画像又は領域内の画像」が「リンク先として予め指定された画像又は他の領域内の画像」にリンクするように文書を生成することによって、当該画像又は当該画像の描画物部分を有する文書であって、その文書が表示装置に表示されているとき、その文書を見ている者が、その画像又はその描画物部分と関係がある画像又は描画物部分に自動的にアクセスできるような形式の文書を生成することができる。
【0032】
請求項4に記載の発明によれば、カメラで撮影することにより比較的簡単に取得された画像を情報処理の対象とすることができる。
【0033】
請求項5に記載の発明によれば、カメラに撮影させることにより画像を自動的に取得することができる。
【0034】
請求項6に記載の発明によれば、本発明に係る情報処理装置とカメラとが一体化される。
【0035】
請求項7に記載の発明によれば、スキャナで走査することにより比較的簡単に取得された画像を情報処理の対象とすることができる。
【0036】
請求項8に記載の発明によれば、スキャナに走査させることにより画像を自動的に取得することができる。
【0037】
請求項9に記載の発明によれば、本発明に係る情報処理装置とスキャナとが一体化される。
【0038】
請求項10に記載の発明によれば、生成される文書を汎用のWebブラウザ上で閲覧することができる。
【0039】
請求項11に記載の発明によれば、本発明に係る情報処理装置と表示装置とが一体化される。
【0040】
請求項12に記載の発明によれば、本発明に係る情報処理装置と被筆記用具とが一体化される。
【0041】
請求項13に記載の発明によれば、ホワイトボードや黒板の被筆記面に描画された描画物を文書化することができる。
【0042】
【発明の実施の形態】
本発明の実施の形態について説明する。
【0043】
図1は、本発明の実施の形態の例であるコンピュータ101と、その周辺機器であるホワイトボード102、CCDカメラ103、ディスプレイ104、キーボード105、マウス106とを備えるシステムの例を表す。
【0044】
本システムのホワイトボード102の被筆記面には、例えばマーカーペンにより文字や図形などの描画物を描画することができる。本システムのCCDカメラ103は、ホワイトボード102の被筆記面を撮影することができるように設置されている。本システムのコンピュータ101は、詳細は後述するが、ホワイトボード102の被筆記面をCCDカメラ103で撮影することにより取得された画像についての情報処理を実行することができる。本システムのCCDカメラ103、ディスプレイ104、キーボード105、及びマウス106は、コンピュータ101に接続されている。
【0045】
図2は、本発明の実施の形態の例であるコンピュータ101を表す。本実施形態のコンピュータ101は、画像処理部201と、自動領域ラベル付け処理部202と、領域登録部203と、エディタ提供部204と、手動ラベル付け処理部205と、ハイパーテキスト編集部206と、描画編集部207と、ハイパーテキスト登録部208と、ハードディスク209と、通信部210と、ビデオインタフェース211と、I/Oインタフェース212とを備える。
【0046】
描画物が描画されたホワイトボード102の被筆記面をCCDカメラ103で撮影することにより取得された画像は、A/D変換可能なビデオインタフェース211を通じて、コンピュータ101に入力される。当該画像は、例えば、R成分・G成分・B成分の画素値がそれぞれ8ビットであるカラー画像である。
【0047】
この入力画像は画像処理部201に入力され、画像処理部201により画像処理される。画像処理部201による情報処理の詳細は後述する。
【0048】
この処理画像は自動領域ラベル付け処理部202に入力され、自動領域ラベル付け処理部202により、処理画像に基づいて入力画像において描画物が占める領域が特定されたり、入力画像や特定された領域にラベル付けがされたりする。自動領域ラベル付け処理部202による情報処理の詳細は後述する。
【0049】
領域に関するデータやそのラベルは、入力画像やそのラベルと共に一時的に領域登録部203に登録される。領域登録部203は、例えばRAM(Random AccessMemory)により実現される。
【0050】
領域登録部203に登録された入力画像とそのラベルや領域に関するデータとそのラベルは、ユーザーからの入力に応じて、エディタ提供部204内の手動領域ラベル付け処理部205により修正され得る。すなわち、領域登録部203に登録された入力画像とそのラベルや領域に関するデータとそのラベルを、ユーザーは手動により編集することができる。
【0051】
領域登録部203に登録された入力画像や領域に関するデータは、ユーザーからの入力に応じて、エディタ提供部204内のハイパーテキスト編集部206により構造化される。構造化とは、領域登録部203に登録された入力画像同士や、領域登録部203に登録されたデータに係る領域同士を、お互いにハイパーテキスト的に参照できるように関連付けることを指す。
【0052】
領域登録部203に登録された入力画像は、ユーザーからの入力に応じて、エディタ提供部204内の描画編集部207により新たな描画物が追加され得る。すなわち、領域登録部203に登録された入力画像に対して、ユーザーは手動により新たな描画物を追加することができる。
【0053】
エディタ提供部204内のハイパーテキスト編集部206により構造化された入力画像や領域に関するデータは、エディタ提供部204内のハイパーテキスト登録部208により、World Wide Webブラウザ108上から参照できるように、HTML(Hypertext Markup Language)形式の文書に変換され、ハードディスク209に記憶される。
【0054】
ハードディスク209に記憶した文書は、通信部210を通じてネットワーク107からアクセス可能であり、World Wide Webサーバ109を通して、World Wide Webブラウザ108から構造化された文書として参照できる。
【0055】
なお、エディタ提供部204に係るユーザーの入力は、キーボード105やマウス106から、I/Oインタフェース212を通じて、コンピュータ101に入力される。また、ユーザーが入力を行ううえで必要な情報等は、コンピュータ101から、I/Oインタフェース212を通じて、ディスプレイ104に出力され、ディスプレイ104に表示される。
【0056】
(1)領域の特定等に関する情報処理
本実施形態の画像処理部201および自動領域ラベル付け処理部202(図2参照)等による情報処理について説明する。
【0057】
図3は、本実施形態の画像処理部201を表す。画像処理部201は、ノイズ除去処理部301と、2値化処理部302と、量子化処理部303とを備える。入力画像は、ノイズ除去処理部301によりノイズが除去され、2値化処理部302により2値化され、量子化処理部303により量子化され、処理画像に変換される。
【0058】
図4Aは、入力画像401の例を表す。図4Aの入力画像401には、円形の描画物411と、三角形の描画物412と、四角形の描画物413と、反射光に係る画像部分414と、描画物以外のオブジェクトに係る画像部分415と、背景に係る画像部分416が存在する。
【0059】
ノイズ除去処理部301は、入力画像401からノイズを除去する。
【0060】
図4Bは、ノイズが除去された画像402を表す。図4Bのように、ノイズ除去処理部301は、反射光に係る画像部分414と、描画物以外のオブジェクトに係る画像部分415をノイズとして除去する処理を行い、円形の描画物411と、三角形の描画物412と、四角形の描画物413が残るようにする。
【0061】
2値化処理部302は、ノイズが除去された画像402を2値化する。
【0062】
図4Cは、2値化された画像403を表す。図4Cのように、2値化処理部302は、円形の描画物411と、三角形の描画物412と、四角形の描画物413をそれぞれ2値化する処理を行う。
【0063】
量子化処理部303は、2値化された画像403を量子化する。
【0064】
図4Dは、量子化された画像404を表す。図4Dのように、量子化処理部303は、2値化された円形の描画物431と、2値化された三角形の描画物432と、2値化された四角形の描画物433をそれぞれ量子化する処理を行う。量子化処理部303は、2値化された画像403を所定のブロックサイズで量子化することにより、2値化された画像403を所定のマス目によって処理できるような画像(量子化された画像404)に変換する。
【0065】
量子化された画像404(処理画像)は、画像処理部201から出力され、自動領域ラベル付け処理部202へと入力される。
【0066】
自動領域ラベル付け処理部202は、量子化された画像404(処理画像)に基づいて入力画像401において描画物が占める領域を特定する。
【0067】
図4Eのように、自動領域ラベル付け処理部202は、量子化された画像404から、量子化された円形の描画物441と、量子化された三角形の描画物442と、量子化された四角形の描画物443をそれぞれ、矩形の領域A451と、領域B452と、領域C453として検出する処理を行う。量子化された画像404から検出された矩形の領域A451と、領域B452と、領域C453はそれぞれ、入力画像401において円形の描画物411と、三角形の描画物412と、四角形の描画物413が占める領域に相当する。すなわち、入力画像401において描画物が占める領域が、量子化された画像404に基づいて特定されたことになる。
【0068】
入力画像401において各描画物411、412、413が占める領域を登録しておくため、入力画像401において各描画物411、412、413が占める領域に関するデータ、例えば、入力画像401において各描画物411、412、413が占める領域の位置に関するデータ(量子化された画像404から検出された各領域451、452、453の左上角と右下角の座標等)が、入力画像401と共に領域登録部203に登録される。
【0069】
以下、本実施形態における画像および領域に関するデータ(以下「領域データ」と呼ぶ)の取り扱いについて説明する。
【0070】
本実施形態では、「点」「線」「領域データ」「画像」を、Basic形式の構造体で取り扱う。図5A、図5B、図5C、図5Dはそれぞれ、「点」「線」「領域データ」「画像」に関する構造体を表す。
【0071】
図5Aの点構造体について説明する。POINTAPIは、点を保持するための構造体である。「As Long」付きの変数は、整数型の変数である。xは、点のx座標を保持するための変数である。yは、点のy座標を保持するための変数である。
【0072】
図5Bの線構造体について説明する。myLinesは、線を保持するための構造体である。「()」付きの変数は、配列要素を有する変数である。mpoints()は、配列要素として点を保持するための変数である。
【0073】
図5Cの領域データ構造体について説明する。myRegionは、領域データを保持するための構造体である。「As String」付きの変数は、文字列型の変数である。regIDは、領域のIDを保持するための変数である。Xは、領域のX座標を保持するための変数である。Yは、領域のY座標を保持するための変数である。Wは、領域のX方向の長さを保持するための変数である。Hは、領域のY方向の長さを保持するための変数である。qtm()は、配列要素として作業用の点を保持するための変数である。qtm_nは、qtm()のインデックス変数である。minCoordは、領域の左上角を保持するための変数である。maxCoordは、領域の右下角を保持するための変数である。descriptionは、ユーザーにより編集された領域のラベルを保持するための変数である。Nextは、当該領域からリンクする領域を保持するための変数である。Prevは、当該領域へとリンクする領域を保持するための変数である。
【0074】
図5Dの画像構造体について説明する。myImageは領域データを保持するための構造体である。imgIDは、画像のIDを保持するための変数である。imgは、画像そのものを保持するための変数である。Xは、画像のX座標を保持するための変数である。Yは、画像のY座標を保持するための変数である。Wは、画像のX方向の長さを保持するための変数である。Hは、画像のY方向の長さを保持するための変数である。descriptionは、ユーザーにより編集された画像のラベルを保持するための変数である。Nextは、当該画像からリンクする画像を保持するための変数である。Prevは、当該画像へとリンクする画像を保持するための変数である。mRegion()は、配列要素として領域を保持するための変数である。mRegion_nは、mRegion()のインデックス変数である。line()は、配列要素として線を保持するための変数である。line_nは、line()のインデックス変数である。mImg()は、配列要素として画像を保持するための変数である。nimgは、mImg()のインデックス変数である。
【0075】
なお、以下の文中において、mImg()に配列された2番目の画像におけるmRegion()に配列された3番目の領域におけるqtm_nを、「mImg(2).mRegion(3).qtm_n」のように表現することにする。さらに、場合によっては「mRegion(3).qtm_n」のように、接頭部分を省略して表現することにする。
【0076】
ビデオインタフェース211(図2参照)を通じてコンピュータ101に入力された入力画像401は、順次mImg()に配列されていく。入力画像401は、例えば、ビットマップデータとしてmImg(0).imgに格納される。
【0077】
以下、本実施形態の画像処理部201および自動領域ラベル付け処理部202等による情報処理について、フローチャートと共に説明する。
【0078】
図6は、本実施形態のノイズ除去処理部301および2値化処理部302による情報処理に係るフローチャートを表す。まずS601では、入力画像401として、サイズW×Hのビットマップ画像Imgを取得する。次にS602では、作業用のビットマップ画像WImgを作成する。次にS603、S604では、xおよびyにそれぞれ0を代入する。次にS605では、Imgの位置(x,y)のピクセルのRGB値を取得し、次にS606では、RGB値の平均値を求めpixに代入する。次にS607では、入力画像401の周辺部分をノイズとして除去するための判定を行う。これにより、図4における画像部分415のような画像部分がノイズとして除去される。S607において周辺部分であると判定された(x,y)に関しては、S610においてそのpixに値255(白)が代入される。S607において周辺部分でないと判定された(x,y)に関しては、S608の判定へと進む。次にS608では、グレーのピクセル、すなわち、輝度が大きくRGB値間の差が小さいピクセルをノイズとして除去するための判定を行う。これにより、図4における画像部分414のような反射光に係る画像部分がノイズとして除去される。S608においてグレーであると判定された(x,y)に関しては、S610においてそのpixに値255(白)が代入される。S608において周辺部分でないと判定された(x,y)に関しては、S609の判定へと進む。次にS609では、RCB値間の差が十分あるピクセルには、描画物に係る画像部分として2値化する際に黒を割り当てるための判定を行う。S609においてRGB値間の差が十分であると判定された(x,y)に関しては、S611においてそのpixに値0(黒)が代入される。S609においてRGB値間の差が十分ないと判定された(x,y)に関しては、S612の判定へと進み、そのpixの値が十分に白に近いと判定された(x,y)に関しては、S610においてそのpixに値255(白)が代入され、そのpixの値が十分に白に近くないと判定された(x,y)に関しては、S611においてそのpixに値0(黒)が代入される。次にS613では、このようにして得られたpixの値を、作業用画像WImgの位置WImg(x,y)=pixとして代入する。次にS614〜S617に示すように、S604〜S613の処理をxおよびyがそれぞれWおよびHを超えるまで繰り返す。こうして、入力画像401からノイズが除去され、ノイズが除去された画像402が2値化され、作業用画像WImgとして2値化された画像403が得られる。
【0079】
図7は、本実施形態の量子化処理部303による情報処理に係るフローチャートを表す。まずS701では、2値化された画像403として、サイズW×Hの作業用画像WIngを取得する。次にS702では、サイズ(W/r)×(H/r)の作業用配列quantumを作成する。rは解像度であり、例えば、r=8のとき、WIngのサイズが640×480であれば、quantumのサイズは80×60となる。次にS703、S704では、作業用変数x、y、sx、およびsyにそれぞれ0を代入する。次にS705〜S717では、作業用画像WImgをr×rのタイルに分割したときの各タイルについての平均ピクセル値を取得し、その値が閾値より小さければそのタイルのピクセル値を0(黒)、その値が閾値以上であればそのタイルのピクセル値を255(白)と判定し、その値を順次quantum(sx,sy)に代入していく。次にS718〜S722に示すように、S704〜S717の処理をxおよびyがそれぞれWおよびHを超えるまで繰り返す。こうして、2値化された画像403が量子化され、作業用配列quantumとして量子化された画像404が得られる。
【0080】
図8は、本実施形態の自動領域ラベル付け処理部202による情報処理の一部に係るフローチャートを表す。まずS801では、作業用配列qtm()とそのインデックス変数qtm_nを初期化する。次にS802、S803では、作業用変数xおよびyにそれぞれ0を代入する。次にS804では、図7において求めたquantum(x,y)の値をpixに代入する。次にS805において、pixの値が255(白)であるか否かを判定する。pix=255である場合は、S806においてxをインクリメントし、S805の処理を実行する。pix=255でない場合は、S807において、pixの値が0(黒)であるか否かを判定する。pix=0である場合は、S808において、x、y、及びpixをvisit()関数の引数とする。visit()関数は再帰呼び出しを行う関数であり、quantum配列のある位置(x,y)のpix=0に接するようなpix=0を検出する。S809では、visit()関数による再帰呼び出し処理(図9参照)へと移行する。
【0081】
図9は、visit()関数による再帰呼び出し処理に係るフローチャートを表す。S809(図8参照)に続いて、S901では、引数として得られた(x,y)位置のquantum(x,y)の値をpixとして代入する。ここでのpixは、図8のpixとは別の関数内の変数である。次にS902では、図8において生成したqtm_nをインクリメントして、配列サイズを1つ大きくしてリアロケーションする。次にS903では、引数として得られたxおよびyをそれぞれqtmの要素に代入する。次にS904では、quantum(x,y)に2を代入する。これは、quantum(x,y)の位置にはすでにvisit()関数が訪れていることを示すマークとして用いる。次にS905では、(x,y)がquantum配列の上下左右端に到達しているか否かを判定する。上下左右端に到達している場合は、S906へと進み、再帰処理を終了する。上下左右端に到達していない場合は、S907へと進み、pixの値が255(白)であるか否かを判定する。pix=255である場合は、S906へと進み、再帰処理を終了する。pix=255でない場合は、S908へと進む。S909〜S919では、quantum(x,y)の上下左右の周囲の値を探索し、その探索位置(px,py)におけるピクセル値dpixが(x,y)におけるピクセル値pixと等しい場合は、S920において、px、py、及びdpixをvisit()関数の引数とし、S921において、visit()関数による再帰呼び出し処理へと移行する。上下左右のすべての探索位置におけるピクセル値が(x,y)におけるピクセル値と異なる場合は、S906へと進み、再帰処理を終了する。
【0082】
再帰処理が終了すると、図8のS809へと再度移行する。再帰処理に続いて、S810では、図8においてqtm()すなわちquantum(x,y)の周辺に連続した黒領域が存在して、qtm()のインデックス変数qtm_nが1以上になったとき場合には、S814以降における領域データの登録処理へと進み、それ以外の場合には、S811〜S813の処理へと進む。S814以降における領域データの登録処理では、今回検出されたqtm()配列が、すでに登録されている領域データの位置と異なる場合には、新たに領域データとして登録し、すでに登録されている領域データの位置と同じ場合(位置が重なる場合)には、登録しないようにする。S816では、すでに登録されている(mRegion().qtm().x,mRegion().qtm().y)と、今回検出された(qtm().x,qtm().y)とを比較して、すでに登録されている場合には、S825へと進む。まだ登録されていない場合には、S817においてmRegion()配列のインデックス変数mRegion_nをインクリメントして、S818において新たにmRegion(mRegion_n)をリアロケーションする。mRegion(mRegion_n).regIDには、例えば、インデックス番号の前に「R」を追加した文字列(例えば「R25」)を代入する。S819〜S823では、qtm()配列において検出された領域の位置情報を、順次(mRegion().qtm().x,mRegion().qtm().y)に代入する。S825では、S816〜S824の処理を、検出したqtm()について繰り返す。S827では、S815〜S826の処理を、すでに登録されているすべての領域データについて繰り返す。S815〜S826の処理が、すでに登録されているすべての領域データについて終了した場合(k>=mRegion_nの場合)には、S811〜S813の処理へと進む。S811〜S813に示すように、S803〜S828の処理は、すべてのquantum()について繰り返される。
【0083】
図10は、本実施形態の自動領域ラベル付け処理部202による情報処理の一部に係るフローチャートを表す。このフローチャートは、図8において検出された各領域の位置情報に基づいて、各領域の左上角と右下角の座標を導出する情報処理の流れを表す。S1001〜S1015の処理では、図8において検出されたmRegion()配列の位置情報(mRegion(i).qtm(j).x,mRegion(i).qtm(j).y)のうち、x座標およびy座標それぞれの最小値および最大値を求めている。これによって、図8において検出された各領域の左上角と右下角の座標が、(x座標の最小値,y座標の最小値)と(x座標の最大値,y座標の最大値)として導出される。
【0084】
図8において検出されたmRegion()配列、すなわち、入力画像401に係る領域データは、入力画像401と共に領域登録部203に登録される。
【0085】
(2)文書の生成等に関する情報処理
本実施形態のハイパーテキスト編集部206およびハイパーテキスト登録部208(図2参照)等による情報処理について説明する。
【0086】
図11は、本実施形態のコンピュータ101に対してユーザーが入力を行うためのグラフィカルユーザーインタフェース(GUI)を表す。このGUIは、エディタ提供部204により、ディスプレイ104にビットマップ画像として表示される。ユーザーは、このGUIがエディタ提供部204によりディスプレイ104に表示されている際に、キーボード105やマウス106などの操作装置を操作して入力を行う。
【0087】
以下、本実施形態に係るGUIについて説明する。
【0088】
このGUIは、領域登録部203に登録された入力画像を示す画像識別情報1101および領域登録部203に登録された領域データに係る領域を示す領域識別情報1102を表示するためのウィンドウ領域1103と、様々な機能を起動するためのボタン(画像取得1104、移動1105、リサイズ1106、ラベル編集1107、領域作成1108、ハイパーテキスト1109、描画編集1110、保存1111)と、ウィンドウ領域1103に表示される画像識別情報1101と領域識別情報1102の表示スケールを変更するズーム変更スライダー1112、1113を備える。また、ユーザーがマウス106を物理的に動かすと、その相対的な位置変化に追従してマウスカーソル1114の表示位置が移動する。マウスカーソル1114の表示位置は、例えば、座標(x,y)として検出される。
【0089】
ウィンドウ領域1103には、エディタ提供部204内の識別情報表示部により、領域登録部203に登録された入力画像を示す画像識別情報1101が表示される。図11では、ある入力画像Aを示す画像識別情報1101(A)と、ある入力画像Bを示す1101(B)と、ある入力画像Cを示す1101(C)が表示されている。なお、画像識別情報1101は、必ずしも、図11のように入力画像そのもの(又はこれを一定の縮小率で縮小したもの)である必要はなく、例えば、入力画像を表す何らかの記号(画像が取得された順番など)でもよい。
【0090】
ウィンドウ領域1103には、エディタ提供部204内の識別情報表示部により、領域登録部203に登録された領域データに係る領域を示す領域識別情報1102が表示される。図11では、ある入力画像Aに係る領域A1、A2、A3を示す領域識別情報1102(A1)、1102(A2)、1102(A3)と、ある入力画像Bに係る領域B1、B2を示す領域識別情報1102(B1)、1102(B2)と、ある入力画像Cに係る領域C1、C2、C3を示す領域識別情報1102(C1)、1102(C2)、1102(C3)が表示されている。なお、領域識別情報1102は、必ずしも、図11のように入力画像の一部としての領域内の画像そのもの(又はこれを一定の縮小率で縮小したもの)である必要はなく、例えば、入力画像とは別個に表示した領域内の画像そのもの(又はこれを一定の縮小率で縮小したもの)でもよいし、領域を表す何らかの記号でもよい。
【0091】
ユーザーがボタンをクリックすると、すなわち、ユーザーがマウス106を動かしてマウスカーソル1114をボタン内に移動して、マウス106のマウスボタンを押して離すと、そのボタンに係る機能が起動される。
【0092】
画像取得ボタン1104について説明する。画像取得ボタン1104をクリックすると、エディタ提供部204内の撮影部からCCDカメラ103へと命令が出され、CCDカメラ103がホワイトボード102の被筆記面を撮影し、ホワイトボード102の被筆記面をCCDカメラ103で撮影することにより得られた画像が、ビデオインタフェース211を通じて、コンピュータ101に入力される。
【0093】
これを上述の構造体を用いて説明する。nimg=nimg+1としてインデックス変数をインクリメントして、さらにmImg(nimg)を新たにリアロケーションして、そこに取得した画像を代入する。画像の初期位置は、例えばmImg(nimg).x=0,mImg(nimg).y=0として、ウィンドウ領域1103の左上端に表示される。mImg(nimg).imgIDには、例えば、インデックスnimgの前に「I」を追加した文字列(例えば「I25」)を代入する。mImg(nimg).WとmImg(nimg).Hには、取得した画像のサイズをそれぞれ初期値として代入する。
【0094】
移動ボタン1105について説明する。移動ボタン1105をクリックすると、GUIは移動モードに切り替わる。移動モードにおいては、ウィンドウ領域1103に表示されている画像識別情報1101や領域識別情報1102の表示位置を移動することができる。図12は、画像識別情報1101(D)や領域識別情報1102(E1)の表示位置を移動する様子を表す。画像識別情報1101や領域識別情報1102の表示位置は、マウス106によるいわゆるドラッグ&リリースによって移動する。
【0095】
これを上述の構造体を用いて説明する。画像識別情報1101を移動する場合には、(mImg(nimg).x,mImg(nimg).y)の値に、マウスカーソル1114の座標を代入して位置を更新する。領域識別情報1102を移動する場合には、(mImg(nimg).x,mImg(nimg).y)とマウスカーソル1114の座標との相対的な位置関係を計算し、その値を(mImg(nimg).mRegion(mRegion_n).x,mImg(nimg).mRegion(mRegion_n).y)に代入して位置を更新する。
【0096】
リサイズボタン1106について説明する。リサイズボタン1106をクリックすると、GUIはリサイズモードに切り替わる。リサイズモードにおいては、ウィンドウ領域1103に表示されている画像識別情報1101や領域識別情報1102のサイズを変更することにより、画像識別情報1101が示す入力画像や領域識別情報1102が示す領域のサイズを変更することができる。図13は、画像識別情報1101(F)や領域識別情報1102(G1)のサイズを変更する様子を表す。リサイズモードに切り替わると、画像識別情報1101や領域識別情報1102の右下端には、リサイズ操作のためのリサイズ表示物1115がそれぞれ表示される。画像識別情報1101や領域識別情報1102のサイズは、マウス106によるいわゆるドラッグ&リリースによって変更する。
【0097】
これを上述の構造体を用いて説明する。画像識別情報1101のサイズを変更する場合には、(mImg(nimg).w,mImg(nimg).h)の値を更新する。領域識別情報1102のサイズを変更する場合には、mImg(nimg).mRegion(mRegion_n).w,mImg(nimg).mRegion(mRegion_n).h)の値を更新する。
【0098】
ラベル編集ボタン1107について説明する。ラベル編集ボタン1107をクリックすると、GUIはラベル編集モードに切り替わる。ラベル編集モードにおいては、本実施形態の手動領域ラベル付け処理部205により、ウィンドウ領域1103に表示されている画像識別情報1101が示す入力画像のラベルや領域識別情報1102が示す領域のラベルを編集することができる。これにより、入力画像や領域に対してメモ等を付与することができる。図14は、画像識別情報1101(H)、1101(I)に係るラベルや領域識別情報1102(H1)、1102(H2)、1102(I1)に係るラベルを編集する様子を表す。ラベル編集モードに切り替わると、画像識別情報1101の左上端には、当該画像識別情報1101に係るラベルを編集するためのラベル表示物1116が、領域識別情報1102の左上端には、当該領域識別情報1102に係るラベルを編集するためのラベル表示物1117がそれぞれ表示される。画像識別情報1101に係るラベルや領域識別情報1102に係るラベルは、当該画像識別情報1101に係るラベル表示物1116や当該領域識別情報1102に係るラベル表示物1117をマウス106によりダブルクリックして、これらラベルを編集可能な状態にした後、キーボード105により所望のテキストを入力して編集する。あるラベルを編集可能な状態は、そのラベル以外の部分をクリックすることにより終了する。
【0099】
これを上述の構造体を用いて説明する。画像識別情報1101が示す入力画像のラベルを編集する場合には、mImg(nimg).descriptionに文字列を代入する。領域識別情報1102が示す領域のラベルを編集する場合には、mImg(nimg).mRegion(mRegion_n).descriptionに文字列を代入する。
【0100】
領域作成ボタン1108について説明する。領域作成ボタン1108をクリックすると、GUIは領域作成モードに切り替わる。領域作成モードにおいては、ウィンドウ領域1103に表示されている入力画像の一部として新たな領域を作成することができる。図15は、画像識別情報1101(J)の一部として新たな領域識別情報1102(J1)を追加することにより、入力画像の一部として新たな領域を作成する様子を表す。新たな領域識別情報1102は、マウス106によるいわゆるドラッグ&リリースによって追加する。
【0101】
これを上述の構造体を用いて説明する。画像識別情報1101の一部として新たな領域識別情報1102を追加する場合には、mImg(nimg).mRegion_n=mImg(nimg).mRegion_n+1としてインデックス変数をインクリメントして、さらにmImg(nimg).mRegion(mRegion_n)を新たにリアロケーションして、(mImg(nimg).mRegion(mRegion_n).x,mImg(nimg).mRegion(mRegion_n).y)には座標を代入し、(mImg(nimg).mRegion(mRegion_n).w,mImg(nimg).mRegion(mRegion_n).h)にはサイズを代入する。
【0102】
ハイパーテキストボタン1109について説明する。ハイパーテキストボタン1109をクリックすると、GUIはハイパーテキスト編集モードに切り替わる。ハイパーテキスト編集モードにおいては、ユーザーからの入力に応じて、本実施形態のハイパーテキスト編集部206により、ウィンドウ領域1103に表示されている画像識別情報1101が示す入力画像や領域識別情報1102が示す領域に係る領域データを構造化することができる。すなわち、入力画像同士や領域同士を、お互いハイパーテキスト的に参照できるように関連付けること(つまり「リンク」させること)ができる。これにより、ユーザーは、ウィンドウ領域1103に表示されている画像識別情報1101が示す入力画像同士や領域識別情報1102が示す領域同士を、ウィンドウ領域1103を見ながら簡単にリンクさせることができる。図16Aは、入力画像同士、異なる入力画像に係る領域同士、同じ入力画像に係る領域同士をそれぞれリンクさせる様子を表す。具体的に言うと、画像識別情報1101(K)が示す入力画像から画像識別情報1101(L)が示す入力画像へと画像リンク1118(KL)が、領域識別情報1102(K1)が示す領域から領域識別情報1102(M2)が示す領域)へと領域リンク1119(K1M2)が、領域識別情報1102(M2)が示す領域から領域識別情報1102(M3)が示す領域)へと領域リンク1119(M2M3)が、それぞれ生成されている。また、領域リンク1119(K2L1)と領域リンク1119(L1M1)のように、連結したようなリンクの生成も可能である。リンクが生成される入力画像や領域は、マウス106によるいわゆるドラッグ&リリースによって指定される。具体的に言うと、ドラッグに係る画像識別情報1101が示す入力画像や領域識別情報1102が示す領域が、ハイパーテキスト編集部206のリンク指定部により、リンク元として指定され、リリースに係る画像識別情報1101が示す入力画像や領域識別情報1102が示す領域が、ハイパーテキスト編集部206のリンク指定部により、リンク先として指定される。これにより、リンク元として指定された入力画像や領域から、リンク先として指定された入力画像や領域へと、画像リンク1118や領域リンク1119が生成されたことになる。なお、図16Bのように、画像リンク1118を表す表示物1120や領域リンク1119を表す表示物1121が、ウィンドウ領域1103に表示されるようにしてもよい。
【0103】
これを上述の構造体を用いて説明する。
【0104】
まず、入力画像mImg(0)から入力画像mImg(1)へと画像リンクを生成する場合について説明する。(mImg(0).x,mImg(0).y)〜(mImg(0).x+mImg(0).w,mImg(0).y+mImg(0).h)内にマウスカーソル1114を移動して、クリックする。そのままドラッグした状態で、(mImg(1).x,mImg(1).y)〜(mImg(1).x+mImg(1).w,mImg(1).y+mImg(1).h)内にマウスカーソル1114を移動して、リリースする。このとき、mImg(0).Next=”I1”、mImg(1).Prev=”I0”として、相手のmImg().imgIDを、それぞれNextとPrevに代入する。前者は「mImg(0)は、mImg(1)を第2画像とする第1画像であること」を意味し、後者は「mImg(1)は、mImg(0)を第1画像とする第2画像であること」を意味する。これにより、mImg(0).Nextを参照すれば、mImg(0)がmImg(1)にリンクされていることがわかる。
【0105】
ここで、入力画像mImg(0)に係る画像識別情報から入力画像mImg(1)に係る画像識別情報への画像リンクを表す表示物を表示する場合について説明する。(mImg(0).x,mImg(0).y)〜(mImg(0).x+mImg(0).w,mImg(0).y+mImg(0).h)の重心座標G0=(mImg(0).x+mImg(0).w/2,mImg(0).y+mImg(0).h/2)と、(mImg(1).x,mImg(1).y)〜(mImg(1).x+mImg(1).w,mImg(1).y+mImg(1).h)の重心座標G1=(mImg(1).x+mImg(1).w/2,mImg(1).y+mImg(1).h/2)を、それぞれ計算する。次に、G0とG1との間に所定条件(例えば、線分の色をRGBの値が(255,0,0)(それぞれ8ビット)となるような色とする条件)の線分を表示する。さらに、G0とG1との中間地点に矢印を表示してもよい。なお、表示した線分のうち、入力画像mImg(0)に係る画像識別情報や入力画像mImg(1)に係る画像識別情報に重なる部分については、ウィンドウ領域1103上では見えないようにしてもよい。これは、(mImg(0).x,mImg(0).y)〜(mImg(0).x+mImg(0).w,mImg(0).y+mImg(0).h)と(mImg(1).x+mImg(1).w/2,mImg(1).y+mImg(1).h/2)の背景色を、例えば、RGBの値が(255,255,255)(それぞれ8ビット)となるような色とすることで実現される。
【0106】
次に、入力画像mImg(0)に係る領域mImg(0).mRegion(0)から入力画像mImg(1)に係る領域mImg(1).mRegion(2)へと領域リンクを生成する場合について説明する。(mImg(0).mRegion(0).x,mImg(0).mRegion(0).y)〜(mImg(0).mRegion(0).x+mImg(0).mRegion(0).w,mImg(0).mRegion(0).y+mImg(0).mRegion(0).h)内にマウスカーソル1114を移動して、クリックする。そのままドラッグした状態で、(mImg(1).mRegion(2).x,mImg(1).mRegion(2).y)〜(mImg(1).mRegion(2).x+mImg(1).mRegion(2).w,mImg(1).mRegion(2).y+mImg(1).mRegion(2).h)内にマウスカーソル1114を移動して、リリースする。このとき、mImg(0).mRegion(0).Next=”I1R2”、mImg(1).mRegion(2).Prev=”I0R0”として、相手のmImg().mRegion().regIDの前に相手のmImg().imgIDを追加したものを、それぞれNextとPrevに代入する。前者は「mImg(0).mRegion(0)は、mImg(1).mRegion(2)を第2領域とする第1領域であること」を意味し、後者は「mImg(1).mRegion(2)は、mImg(0).mRegion(0)を第1領域とする第2領域であること」を意味する。これにより、mImg(0).mRegion(0).Nextを参照すれば、mImg(0).mRegion(0)がmImg(1).mRegion(2)にリンクされていることがわかる。
【0107】
ここで、入力画像mImg(0)に係る領域mImg(0).mRegion(0)に係る領域識別情報から入力画像mImg(1)に係る領域mImg(1).mRegion(2)に係る領域識別情報への領域リンクを表す表示物を表示する場合について説明する。(mImg(0).mRegion(0).x,mImg(0).mRegion(0).y)〜(mImg(0).mRegion(0).x+mImg(0).mRegion(0).w,mImg(0).mRegion(0).y+mImg(0).mRegion(0).h)の重心座標MG0=(mImg(0).mRegion(0).x+mImg(0).mRegion(0).w/2,mImg(0).mRegion(0).y+mImg(0).mRegion(0).h/2)と、(mImg(1).mRegion(2).x,mImg(1).mRegion(2).y)〜(mImg(1).mRegion(2).x+mImg(1).mRegion(2).w,mImg(1).mRegion(2).y+mImg(1).mRegion(2).h)の重心座標MG1=(mImg(1).mRegion(2).x+mImg(1).mRegion(2).w/2,mImg(1).mRegion(2).y+mImg(1).mRegion(2).h/2)を、それぞれ計算する。次に、MG0とMG1との間に所定条件(例えば、線分の色をRGBの値が(255,0,0)(それぞれ8ビット)となるような色とする条件)の線分を表示する。さらに、G0とG1との中間地点に矢印を表示してもよい。
【0108】
描画編集ボタン1110について説明する。描画編集ボタン1110をクリックすると、GUIは描画編集モードに切り替わる。描画編集モードにおいては、ユーザーからの入力に応じて、本実施形態の描画編集部207により、入力画像に対して新たな描画物を追加することができる。図17は、画像識別情報1101(N)上に「宿題」という文字1122をユーザーが描画することで、画像識別情報1101(N)に係る入力画像に対して文字1122を追加する様子を表す。なお、描画編集モードにおいては、図17における図形1123のように、ウィンドウ領域1103上に文字や図形をユーザーが描画できるようにしてもよい。
【0109】
これを上述の構造体を用いて説明する。入力画像mImg(0)に対して新たな描画物を追加する場合について説明する。(mImg(0).x,mImg(0).y)〜(mImg(0).x+mImg(0).w,mImg(0).y+mImg(0).h)内にマウスカーソル1114を移動して、クリックする。このとき、mImg(0).line_n=mImg(0).line_n+1として、描画用配列の構造体インデックス変数をインクリメントして、mImg(0).line(line_n)配列をリアロケーションする。次に、マウスカーソル1114の移動にしたがって、mImg(0).line(line_n).n=mImg(0).line(line_n).n+1として、個々の線分配列の構造体インデックス変数をインクリメントする。さらに、そのときのマウスカーソル1114の座標を(mImg(0).line(line_n).mpoints(mImg(0).line(line_n).n).x,mImg(0).line(line_n).mpoints(mImg(0).line(line_n).n).y)に代入する。この処理を、マウス106のリリースまで繰り返す。このように記憶した座標点列をウィンドウ領域1103上に線分として接続して表示することにより、画像識別情報1101上に任意の文字や図形をユーザーが描画できることとなる。
【0110】
ズーム変更スライダー1112、1113について説明する。図18Aや図18Bのように、ズーム変更スライダー1112はスクロールバー、ズーム変更スライダー1113はスクロールボックスであり、前記スクロールボックスが前記スクロールバー上を上下に移動する。マウスカーソル1114をスクロールボックス1113上に移動し、スクロールボックス1113をクリックし、ドラッグ状態のままマウスカーソル1114をスクロールバー1112上で上下に移動させると、それに伴いスクロールボックス1113も上下に移動する。図18Aのように、スクロールボックス1113がスクロールバー1112の上端1124に位置しているときには、ウィンドウ領域1103上の画像識別情報1101と領域識別情報1102の表示スケールは最大値をとり、図18Bのように、スクロールボックス1113がスクロールバー1112の下端1125に位置しているときには、ウィンドウ領域1103上の画像識別情報1101と領域識別情報1102の表示スケールは最小値をとる。これにより、ユーザーは、ある画像識別情報1101を拡大して表示させたり、すべての画像識別情報1101を表示させたりすることができる。
【0111】
これを上述の構造体を用いて説明する。図19Aのような倍精度浮動小数点型(Double)の変数scaleを予め定義しておく。スクロールボックス1113の移動に伴って、それに対応する値をscaleに代入する。例えば、表示スケールが最大値の場合はscale=1.0、表示スケールが最小値の場合はscale=0.1とし、表示スケールに応じてscaleの値はその間を変化するようにする。mImg(0)について考えると、図19Bのように、表示位置と表示サイズに対してそれぞれscaleを掛けた状態でmImg(0)をウィンドウ領域1103に表示することで、mImg(0)はscaleの値に比例した大きさで表示される。このような処理を、mImg()配列全体、mImg()上のmRegion全体、line()全体に対して実行する。
【0112】
保存ボタン1111について説明する。保存ボタン1111をクリックすると、ウィンドウ領域1103に表示されている画像識別情報1101が示す入力画像や、ウィンドウ領域1103に表示されている領域識別情報1102が示す領域に係る領域データは、ハイパーテキスト登録部208に送出され、ハイパーテキスト登録部208により、Webブラウザ108上から参照可能なHTML形式の文書に変換され、クリッカブルマップの形式でハードディスク209に保存される。クリッカブルマップとは、Webブラウザ上に表示されるHTML文書上のイメージの一部から、他のイメージの一部等へのリンクを行う機構である。クリッカブルマップについては、「W3C,HTML 4.01 Specification, [on−line] http://www.w3.org/TR/1999/REC−html401−19991224/」などで規定されており、公知の技術を用いることができる。
【0113】
図20は、HTML形式の文書への変換の例に係るフローチャートを表す。1つの入力画像のために1つのHTML文書を生成して、文書に入力画像を包含させ、入力画像の一部として文書に包含される領域内の画像(以下「領域内画像」と呼ぶ)をクリッカブルマップとして、文書に係るファイルを保存する(図22A参照。詳しくは後述)。これにより、入力画像や領域内画像を、汎用のWebブラウザ108上で閲覧することができるようになる。以下、順を追って説明する。まずS2001では、iに0を代入する。次にS2002では、HTMLのヘッダーを生成する。ヘッダーとは、例えば図21Aのように、当該文書がHTML文書であることを識別するための情報を含んだものである。次にS2003では、<IMG SRG=” ”>タグを用いて、各入力画像がイメージとしてWebブラウザ108上に表示されるようなHTMLタグを生成する。次にS2004では、クリッカブルマップを定義する<Map NAME=...>タグを生成する。次にS2005では、jに0を代入する。次にS2006では、各領域データを参照して各領域の左上角と右下角の座標を取得して、解像度r分サイズを大きくして、元の入力画像のスケールに合うようにX1、Y1、X2、Y2をそれぞれ計算する。次にS2007では、各領域データを参照して各領域のリンク先となる領域に係る入力画像名を取得して、次にS2008では、当該入力画像を包含する文書に係るファイル名を生成する。ファイル名の生成ルールとしては、例えば”I25.html”のように、「mImg(i).imgID」で定義された文字列に拡張子「.html」を付加したものを、当該入力画像を包含する文書に係るファイル名とする。次にS2009では、<AREA SHAPE...>タグを用いて、各領域内画像をクリッカブルマップとするようなHTMLタグを生成する。S2005〜S2011に示すように、S2006〜S2009の処理を、全領域データについて実行する。次にS2012では、各入力画像を参照して各入力画像のリンク先となる入力画像名を取得して、次にS2013では、当該入力画像を包含する文書に係るファイル名を生成する。ファイル名の生成ルールは、S2007、S2008と同様である。次にS2014では、<A HREF=...>タグを用いて、S2013で生成したファイル名に対するリンクを生成する。次にS2015では、こうして生成されたHTMLタグを、HTML形式の文書に係るファイルとして、ハードディスク209に保存する。S2001〜S2017に示すように、S2002〜S2015の処理を、全入力画像203について実行する。
【0114】
図22Aは、ハイパーテキスト登録部208によりハードディスク209に保存されたHTML形式の文書1126を、Webブラウザ108上で閲覧する様子を表す。Webブラウザ108としては、Microsoft社のInternet Explorer(商標)や、Netscape社のNetscapeNavigator(商標)などを使用する。図16Aのようにリンクが生成された場合、Webブラウザ108の初期画面としては、例えば、図22Aのように、リンク構造のリンク元となる画像識別情報1101(K)が示す入力画像1127(K)が表示される。領域識別情報1102(K1)が示す領域に係る領域内画像1128(K1)等は、図22Aのように、入力画像1127(K)の一部として表示される。入力画像1127のラベルや領域内画像1128に係る領域のラベルは、図22Aのラベル1130(K2)のように、テキストとして表示される。領域内画像1128(K2)をクリックすると、図16Aから明らかなように、領域識別情報1102(K2)が示す領域内画像1128(K2)は領域識別情報1102(Li)が示す領域内画像1128(L1)に、クリッカブルマップ<AREA SHAPE...>によりリンクされているので、Webブラウザ108には、自動的に、画像識別情報1101(L)が示す入力画像1127(L)が表示される。また、図16Aのように、画像識別情報1101(K)が示す入力画像1127(K)が画像識別情報1101(L)が示す入力画像1127(L)にリンクされている場合、図22Aのように、Webブラウザ108に入力画像1127(K)が表示されると、Webブラウザ108には「次に」のようなリンクボタン1131が表示される。このリンクボタン1131をクリックすると、<A HREF=” ”>タグが解釈され、Webブラウザ108には、自動的に、画像識別情報1101(L)が示す入力画像1127(L)が表示される。HTML、HTML文書をネットワーク上で交換するためのHTTP(Hypertext Transfer Protocol)、Webブラウザ108の所作については、当業者にとって周知な事項であるため、詳細な内容説明を省略する。なお、HTTPとは、HTMLによって記述されたテキストや画像、音声などのマルチメディアファイルなどを、表示形式を含めて送受信をするための通信規約(プロトコル)であり、例えば、「http://www.w3.org/Protocols/」で規定されている。
【0115】
HTML形式の文書への変換の例として、図20のフローチャートのように、1つの入力画像のために1つのHTML文書を生成して、入力画像を文書に包含させ、入力画像の一部として領域内画像を文書に包含させる変換について説明した(図22A参照)。以下、HTML形式の文書への変換の別の例として、1つの入力画像のために1つのHTML文書を生成して、入力画像から切り出された領域内画像を文書に包含させる変換について説明する(図22B参照。詳しくは後述)。
【0116】
入力画像から切り出された領域内画像を文書に包含させるためには、カスケーディングスタイルシート(CSS)という記述言語を用いることができる。CSSについては、当業者にとって公知の技術であり、Web上でも「http://www.w3.org/TR/REC−CSS2/」等で仕様が参照できるため、詳細な内容説明を省略する。なお、CSSとは、Web文書の論理構造を記述するHTMLからスタイル指定を分離するための記述言語であり、Webブラウザ上で扱うテキストや画像といったオブジェクトの視覚的属性やレイアウト属性を、HTML言語とは別の言語で記述しておくというものである。
【0117】
以下、具体的に説明する。図21BのようなCSSによる記述を、領域ごとにHTML文書内に加える。「R1」や「R2」という部分には、領域のIDであるmRegion.()regIDを表示すればよい。position:absoluteとは、Webブラウザ上の絶対位置に対して表示させるという意味である。left:100pxとは、Webブラウザに表示させるための左端からの距離が、100ピクセルであることを意味している。top:50pxとは、Webブラウザに表示させるための上端からの距離が、100ピクセルであることを意味している。なお、複数の領域を取り扱う場合、例えば、1番目の領域に係る「top」の値を「50px」とし、それ以降の各領域に係る「top」の値を、1つ前の順番の領域に係る「top」の値に、1つ前の順番の領域のY方向の幅である「mRegion().h」を足したものとすれば、各領域内画像を領域順に縦に並べて、Webブラウザ上に表示させることができる。clip:rect()は、ある画像オブジェクトの左上隅と右下隅の座標を指定することで、その矩形で囲まれた部分のみをWebブラウザ上に表示するための記述である。記述の指定方法は、clip:rect(top,right,bottom,left)のようになっており、それぞれ「左上隅の座標(left,top)」「右下隅の座標(right,bottom)」のように指定する。各領域内画像をWebブラウザ上に表示させるべく各領域を指定するためには、左上隅の座標として(mRegion().x,mRegion().y)を、右下隅の座標として(mRegion().x+mRegion().w,mRegion().y+mRegion().h)を代入すればよい。
【0118】
各領域をCSSにより指定した後、実施にWebブラウザで表示するためのHTML言語の部分を記述する。HTML言語の仕様については、当業者にとって公知の技術であるため、内容説明を省略する。まず、領域のIDであるmRegion().regIDを付記した部分の文字列を、図21Cのように、DIV指定のIDのところに代入する。例えば、IDが「R1」の場合は、<DIV ID=”R1”>のように記述する。<IMG SRC=” ”>タグを用いて、各入力画像をイメージとしてWebブラウザ出力するようなHTMLタグを生成する。例えば、入力画像が「image1.jpeg」という名前のファイルである場合は、<IMG SRC=”image1.jpg”>のように記述する。このような記述を、各領域について行う。
【0119】
リンクを生成する場合は、図20に関する説明のなかで記載したように、<AHREF=...>タグを用いる。この場合には、図21Dのような形の記述方法になる。このようにして生成され保存されたHTML形式の文書1126を、Webブラウザ108上で閲覧する様子を、図22Bに表す。なお、図22Bのような場合においても、図22Aのような場合と同様に、「次に」のようなリンクボタン1131を表示することができる。ちなみに、各領域内画像1128の表示方法は、図22Bのような縦並びに限定されるものではなく、例えば、横並びにしてもよいし、表形式で表示させてもよい。
【0120】
このように、各領域内画像1128を有する文書1126としては、図22Aのように、入力画像1127の一部として各領域内画像1128を有する文書1126を生成してもよいし、図22Bのように、入力画像1127から切り出された各領域内画像1128を有する文書1126を生成してもよい。また、入力画像1127と、その入力画像から切り出された各領域内画像1128とを同時に有する文書1126を生成してもよい。また、図22A(23B)から図22A(図22A)へと切り替え可能なように文書1126を生成してもよい。
【0121】
(3)本発明の実施の形態のその他の例等
本発明の実施の形態の例として、コンピュータ101について説明したが、本発明の実施の形態のその他の例としては、ホワイトボード102、CCDカメラ103、ディスプレイ104、キーボード105、マウス106のうちの全部または少なくとも1つと、コンピュータ101とを備える装置(以下「複合機2301」と呼ぶ)が考えられる。複合機2301の例としては、CCDカメラ103にコンピュータ101を内蔵させた「デジタルカメラ」、コンピュータ101とディスプレイ104とキーボード105とマウス106とを備える「パーソナルコンピュータ」、ホワイトボード102にコンピュータ101とCCDカメラ103とを内蔵させた「電子ホワイトボード」などが考えられる。
【0122】
図23は、本発明の実施の形態の例である複合機2301を表す。
【0123】
図23Aの複合機2301は、被筆記装置2302に対してコンピュータ101とCCDカメラ103とを装着させた態様の装置である。
【0124】
図23Bの複合機2301も、被筆記装置2302に対してコンピュータ101とCCDカメラ103とを装着させた態様の装置であるが、被筆記装置2302をプラスチックやガラスなどの透明素材とすることで、CCDカメラ103による撮影を被筆記面の裏側から行うことができる。
【0125】
図23Cの複合機2301も、被筆記装置2302に対してコンピュータ101とCCDカメラ103とを装着させた態様の装置であるが、被筆記装置2302その他を小型化することにより、複合機2301は携帯型の装置となっている。
【0126】
図23Dの複合機2301は、CCDカメラ103に対してコンピュータ101を装着させた態様の装置である。図23A、B、Cの複合機2301とは異なり、被筆記装置2302とは別体となっている。
【0127】
本発明の実施の形態の周辺機器または一部として、ホワイトボード102を使用したが、描画物を描画できる被筆記装置であれば、ホワイトボード102以外の被筆記装置(例えば、タッチパネル付きのLCDであって、タッチパネルへのタッチ情報を表示するLCD)を使用してもよい。
【0128】
本発明の実施の形態の周辺機器または一部として、CCDカメラ103を使用したが、描画物が描画された被筆記装置の被筆記面を撮影して、描画物が描画された被筆記装置の被筆記面の画像を取得できるカメラであれば、CCDカメラ103以外のカメラを使用してもよい。さらには、描画物が描画された被筆記装置の被筆記面を走査して、描画物が描画された被筆記装置の被筆記面の画像を取得できるスキャナを、カメラの代わりに使用してもよい。図24は、図1のシステムにおけるCCDカメラ103をスキャナ110に代えたシステム、すなわち、本発明の実施の形態の例であるコンピュータ101と、その周辺機器であるホワイトボード102、スキャナ110、ディスプレイ104、キーボード105、マウス106とを備えるシステムの例を表す。本システムのスキャナ110は、ホワイトボード102の被筆記面を走査できるように設置されている。この場合、画像取得ボタン1104をクリックすると、エディタ提供部204内の走査部からスキャナ110へと命令が出され、スキャナ110がホワイトボード102の被筆記面を走査し、ホワイトボード102の被筆記面をスキャナ110で走査することにより得られた画像が、ビデオインタフェース211を通じて、コンピュータ101に入力される。
【0129】
本発明の実施の形態に係る文書として、HTML形式の文書を取り扱ったが、画像又は画像の部分を包含できる文書であって、包含される画像又は画像の部分を他の画像又は画像の部分にリンクさせることができる文書であれば、他の形式の文書であってもよい。例えば、XML(eXtensible Markup
Language)形式の文書であってもよい。
【0130】
なお、図1や図24のコンピュータ101や図23の複合機2301は、本発明に係る情報処理装置の実施の形態の例であり、図1や図24のコンピュータ101や図23の複合機2301によって実現される情報処理方法は、本発明に係る情報処理方法の実施の形態の例である。また、本発明に係る情報処理方法は、例えば、当該情報処理方法を実行させるためのプログラムをコンピュータにインストールして、当該プログラムを当該コンピュータに実行させることによっても実現可能である。
【0131】
図25は、本発明の実施の形態の例であるプログラム2501をコンピュータ2502に提供する方法を説明するための図である。
【0132】
図25Aのように、プログラム2501は、コンピュータ2502に内蔵されているハードディスク2503に予めインストールされた状態で、コンピュータ2502に提供することできる。
【0133】
図25Bのように、プログラム2501は、プログラム2501を一時的または永続的に格納する記録媒体2504をコンピュータ2502に挿入することにより、コンピュータ2502に提供することできる。
【0134】
図25Cは、記録媒体2504の例を表す。記録媒体2504としては、フロッピー(登録商標)ディスク2505、CD−ROM(Compact Disc Read Only Memory)2506、MO(Magnet Optical)ディスク2507、磁気ディスク2508、DVD(Digital Versatile Disc)2509、半導体メモリ2510などが利用できる。
【0135】
図25Dのように、プログラム2501は、プログラム2501をダウンロードサイト2511から、イントラネットのようなLAN(Local AreaNetwork)やインターネットのようなWAN(Wide Area Network)などのネットワーク2512を介して、有線または無線でコンピュータ2502に転送し、コンピュータ2502に内蔵されているハードディスク2503にダウンロードすることにより、コンピュータ2502に提供することできる。
【0136】
【発明の効果】
本発明によれば、描画物が描画された被筆記装置の被筆記面の画像に関して、「リンク元として予め指定された画像又は領域内の画像」が「リンク先として予め指定された画像又は他の領域内の画像」にリンクするように文書を生成することによって、当該画像又は当該画像の描画物部分を有する文書であって、その文書が表示装置に表示されているとき、その文書を見ている者が、その画像又はその描画物部分と関係がある画像又は描画物部分に自動的にアクセスできるような形式の文書を生成することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の例であるコンピュータを備えるシステムの例を表す。
【図2】本発明の実施の形態の例であるコンピュータを表す。
【図3】領域の特定等に関する情報処理を説明するための図である。
【図4】領域の特定等に関する情報処理を説明するための図である。
【図5】構造体を表す。
【図6】ノイズ除去処理部および2値化処理部による情報処理に係るフローチャートを表す。
【図7】量子化処理部による情報処理に係るフローチャートを表す。
【図8】自動領域ラベル付け処理部による情報処理の一部に係るフローチャートを表す。
【図9】自動領域ラベル付け処理部による情報処理の一部に係るフローチャートを表す。
【図10】自動領域ラベル付け処理部による情報処理の一部に係るフローチャートを表す。
【図11】GUIを表す。
【図12】移動ボタンについて説明するための図である。
【図13】リサイズボタンについて説明するための図である。
【図14】ラベル編集ボタンについて説明するための図である。
【図15】領域作成ボタンについて説明するための図である。
【図16】ハイパーテキストボタンについて説明するための図である。
【図17】描画編集ボタンについて説明するための図である。
【図18】ズーム変更スライダーについて説明するための図である。
【図19】ズーム変更スライダーについて説明するための図である。
【図20】保存ボタンについて説明するための図である。
【図21】保存ボタンについて説明するための図である。
【図22】保存ボタンについて説明するための図である。
【図23】本発明の実施の形態の例である複合機を表す。
【図24】本発明の実施の形態の例であるコンピュータを備えるシステムの例を表す。
【図25】本発明の実施の形態の例であるプログラムをコンピュータに提供する方法を説明するための図である。
【符号の説明】
101 コンピュータ
102 ホワイトボード
103 CCDカメラ
104 ディスプレイ
105 キーボード
106 マウス
107 ネットワーク
108 Webブラウザ
109 Webサーバ
110 スキャナ
201 画像処理部
202 自動領域ラベル付け処理部
203 領域登録部
204 エディタ提供部
205 手動領域ラベル付け処理部
206 ハイパーテキスト編集部
207 描画編集部
208 ハイパーテキスト登録部
209 ハードディスク
210 通信部
211 ビデオインタフェース
212 I/Oインタフェース
301 ノイズ除去処理部
302 2値化処理部
303 量子化処理部
401 入力画像
402 ノイズが除去された画像
403 2値化された画像
404 量子化された画像
411 円形の描画物
412 三角形の描画物
413 四角形の描画物
414 反射光に係る画像部分
415 描画物以外のオブジェクトに係る画像部分
416 背景に係る画像部分
431 2値化された円形の描画物
432 2値化された三角形の描画物
433 2値化された四角形の描画物
441 量子化された円形の描画物
442 量子化された三角形の描画物
443 量子化された四角形の描画物
451 領域A
452 領域B
453 領域C
1101 画像識別情報
1102 領域識別情報
1103 ウィンドウ領域
1104 画像取得ボタン
1105 移動ボタン
1106 リサイズボタン
1107 ラベル編集ボタン
1108 領域作成ボタン
1109 ハイパーテキストボタン
1110 描画編集ボタン
1111 保存ボタン
1112 ズーム変更スライダー
1113 ズーム変更スライダー
1114 マウスカーソル
1115 リサイズ表示物
1116 画像識別情報に係るラベル表示物
1117 領域識別情報に係るラベル表示物
1118 画像リンク
1119 領域リンク
1120 画像リンクを表す表示物
1121 領域リンクを表す表示物
1122 文字
1123 図形
1124 上端
1125 下端
1126 文書
1127 入力画像
1128 領域内画像
1129 入力画像のラベル
1130 領域のラベル
1131 リンクボタン
2301 複合機
2302 被筆記装置
2501 プログラム
2502 コンピュータ
2503 ハードディスク
2504 記録媒体
2505 フロッピー(登録商標)ディスク
2506 CD−ROM
2507 MOディスク
2508 磁気ディスク
2509 DVD
2510 半導体メモリ
2511 ダウンロードサイト
2512 ネットワーク

Claims (18)

  1. 描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理装置において、
    前記画像において前記描画物が占める領域を特定する領域特定手段と、
    前記領域を示す領域識別情報を表示装置に表示する識別情報表示手段と、
    ユーザーからの入力に応じて、表示装置に表示されている領域識別情報が示す領域のいずれかをリンク元又はリンク先として指定するリンク指定手段と、
    ユーザーからの入力に応じて、表示装置に表示されている領域識別情報が示す領域内の画像を有する文書を生成する文書生成手段とを備え、
    前記文書生成手段は、表示装置に表示されている領域識別情報が示す領域の中に、リンク元として予め指定された領域及びリンク先として予め指定された領域が存在する場合、リンク元として予め指定された領域内の画像が、リンク先として予め指定された領域内の画像にリンクするように、前記文書を生成することを特徴とする情報処理装置。
  2. 描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理装置において、
    前記画像を示す画像識別情報を表示装置に表示する識別情報表示手段と、
    ユーザーからの入力に応じて、表示装置に表示されている画像識別標識が示す画像のいずれかをリンク元又はリンク先として指定するリンク指定手段と、
    ユーザーからの入力に応じて、表示装置に表示されている画像識別標識が示す画像を有する文書を生成する文書生成手段とを備え、
    前記文書生成手段は、表示装置に表示されている画像識別情報が示す画像の中に、リンク元として予め指定された画像及びリンク先として予め指定された画像が存在する場合、リンク元として予め指定された画像が、リンク先として予め指定された画像にリンクするように、前記文書を生成することを特徴とする情報処理装置。
  3. 描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理装置において、
    前記画像において前記描画物が占める領域を特定する領域特定手段と、
    前記画像を示す画像識別情報及び前記領域を示す領域識別情報を表示装置に表示する識別情報表示手段と、
    ユーザーからの入力に応じて、表示装置に表示されている画像識別情報が示す画像又は領域識別情報が示す領域のいずれかをリンク元またはリンク先として指定するリンク指定手段と、
    ユーザーからの入力に応じて、表示装置に表示されている画像識別情報が示す画像及び領域識別情報が示す領域内の画像を有する文書を生成する文書生成手段とを備え、
    前記文書生成手段は、表示装置に表示されている画像識別情報が示す画像及び領域識別情報が示す領域の中に、リンク元として予め指定された画像又は領域及びリンク先として予め指定された画像又は領域が存在する場合、リンク元として予め指定された画像又は領域内の画像が、リンク先として予め指定された画像又は領域内の画像にリンクするように、前記文書を生成することを特徴とする情報処理装置。
  4. 前記画像は、描画物が描画された被筆記装置の被筆記面をカメラで撮影することにより取得された画像であることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. ユーザーからの入力に応じて、前記カメラに被筆記装置の被筆記面を撮影させて前記画像を取得する撮影手段を備えることを特徴とする請求項4に記載の情報処理装置。
  6. 当該情報処理装置の一部として、前記カメラを備えることを特徴とする請求項5に記載の情報処理装置。
  7. 前記画像は、描画物が描画された被筆記装置の被筆記面をスキャナで走査することにより取得された画像であることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  8. ユーザーからの入力に応じて、前記スキャナに被筆記装置の被筆記面を走査させて前記画像を取得する走査手段を備えることを特徴とする請求項7に記載の情報処理装置。
  9. 当該情報処理装置の一部として、前記スキャナを備えることを特徴とする請求項8に記載の情報処理装置。
  10. 前記文書は、HTML文書又はXML文書であることを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
  11. 当該情報処理装置の一部として、前記表示装置を備えることを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
  12. 当該情報処理装置の一部として、前記被筆記装置を備えることを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
  13. 前記被筆記装置は、ホワイトボード又は黒板であることを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
  14. 前記領域特定手段は、前記画像からノイズを除去するノイズ除去手段と、ノイズが除去された画像を2値化する2値化手段と、2値化された画像を量子化する量子化手段とを有し、量子化された画像に基づいて前記領域を特定することを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。
  15. 描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理方法において、
    前記画像において前記描画物が占める領域を特定する領域特定ステップと、
    前記領域を示す領域識別情報を表示装置に表示する識別情報表示ステップと、ユーザーからの入力に応じて、表示装置に表示されている領域識別情報が示す領域のいずれかをリンク元又はリンク先として指定するリンク指定ステップと、ユーザーからの入力に応じて、表示装置に表示されている領域識別情報が示す領域内の画像を有する文書を生成する文書生成ステップとを備え、
    前記文書生成ステップは、表示装置に表示されている領域識別情報が示す領域の中に、リンク元として予め指定された領域及びリンク先として予め指定された領域が存在する場合、リンク元として予め指定された領域内の画像が、リンク先として予め指定された領域内の画像にリンクするように、前記文書を生成することを特徴とする情報処理方法。
  16. 描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理方法において、
    前記画像を示す画像識別情報を表示装置に表示する識別情報表示ステップと、ユーザーからの入力に応じて、表示装置に表示されている画像識別標識が示す画像のいずれかをリンク元又はリンク先として指定するリンク指定ステップと、ユーザーからの入力に応じて、表示装置に表示されている画像識別標識が示す画像を有する文書を生成する文書生成ステップとを備え、
    前記文書生成ステップは、表示装置に表示されている画像識別情報が示す画像の中に、リンク元として予め指定された画像及びリンク先として予め指定された画像が存在する場合、リンク元として予め指定された画像が、リンク先として予め指定された画像にリンクするように、前記文書を生成することを特徴とする情報処理方法。
  17. 描画物が描画された被筆記装置の被筆記面の画像についての情報処理を実行する情報処理方法において、
    前記画像において前記描画物が占める領域を特定する領域特定ステップと、
    前記画像を示す画像識別情報及び前記領域を示す領域識別情報を表示装置に表示する識別情報表示ステップと、
    ユーザーからの入力に応じて、表示装置に表示されている画像識別情報が示す画像又は領域識別情報が示す領域のいずれかをリンク元またはリンク先として指定するリンク指定ステップと、
    ユーザーからの入力に応じて、表示装置に表示されている画像識別情報が示す画像及び領域識別情報が示す領域内の画像を有する文書を生成する文書生成ステップとを備え、
    前記文書生成ステップは、表示装置に表示されている画像識別情報が示す画像及び領域識別情報が示す領域の中に、リンク元として予め指定された画像又は領域及びリンク先として予め指定された画像又は領域が存在する場合、リンク元として予め指定された画像又は領域内の画像が、リンク先として予め指定された画像又は領域内の画像にリンクするように、前記文書を生成することを特徴とする情報処理方法。
  18. 請求項15乃至17のいずれか1項に記載の情報処理方法をコンピュータに実行させることを特徴とする情報処理プログラム。
JP2002160645A 2002-05-31 2002-05-31 情報処理装置、情報処理方法、及び情報処理プログラム Pending JP2004001315A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002160645A JP2004001315A (ja) 2002-05-31 2002-05-31 情報処理装置、情報処理方法、及び情報処理プログラム
US10/449,352 US20040021790A1 (en) 2002-05-31 2003-05-30 Method of and system for processing image information on writing surface including hand-written information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002160645A JP2004001315A (ja) 2002-05-31 2002-05-31 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2004001315A true JP2004001315A (ja) 2004-01-08

Family

ID=30429986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002160645A Pending JP2004001315A (ja) 2002-05-31 2002-05-31 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (2)

Country Link
US (1) US20040021790A1 (ja)
JP (1) JP2004001315A (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7397504B2 (en) * 2003-06-24 2008-07-08 Microsoft Corp. Whiteboard view camera
US7084889B2 (en) * 2003-10-23 2006-08-01 Silicon Integrated Systems Corp. Digital picture scaling
JP2006260522A (ja) * 2005-02-21 2006-09-28 Ricoh Co Ltd 情報処理装置、情報管理装置、情報管理システム、情報処理方法、情報管理方法、情報処理プログラム、情報管理プログラム及び記録媒体
JP4916145B2 (ja) * 2005-08-08 2012-04-11 キヤノン株式会社 情報処理装置及び情報処理方法並びにプログラム
US7697054B2 (en) * 2007-03-29 2010-04-13 Hewlett-Packard Development Company, L.P. Image Manipulator for a camera
JP2009245418A (ja) * 2008-03-13 2009-10-22 Ricoh Co Ltd 画像読取蓄積システム、画像読取蓄積方法、プログラム及び記憶媒体
US9223769B2 (en) 2011-09-21 2015-12-29 Roman Tsibulevskiy Data processing systems, devices, and methods for content analysis
WO2015047297A1 (en) 2013-09-27 2015-04-02 Hewlett-Packard Development Company, L.P. Device for identifying digital content
WO2015057804A1 (en) * 2013-10-16 2015-04-23 3M Innovative Properties Company Organizing digital notes on a user interface
US9292186B2 (en) * 2014-01-31 2016-03-22 3M Innovative Properties Company Note capture and recognition with manual assist
US9846951B2 (en) * 2016-03-31 2017-12-19 Konica Minolta Laboratory U.S.A., Inc. Determining a consistent color for an image
US20180232192A1 (en) * 2017-02-14 2018-08-16 Samson Timoner System and Method for Visual Enhancement, Annotation and Broadcast of Physical Writing Surfaces
CN207624194U (zh) * 2017-09-20 2018-07-17 广州视源电子科技股份有限公司 一种书写装置
JP7318289B2 (ja) * 2019-04-16 2023-08-01 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
JP2021117766A (ja) * 2020-01-27 2021-08-10 富士通株式会社 表示制御プログラム、表示制御方法、及び表示制御装置
US11785060B2 (en) * 2021-07-29 2023-10-10 Zoom Video Communications, Inc. Content-aware device selection for modifying content elements in digital collaboration spaces

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69533074T2 (de) * 1994-09-09 2004-09-16 Xerox Corp. Verfahren zum Interpretieren handgeschriebener schematischer Benutzerschittstellenbefehle
US5963966A (en) * 1995-11-08 1999-10-05 Cybernet Systems Corporation Automated capture of technical documents for electronic review and distribution
US5790114A (en) * 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
US6138129A (en) * 1997-12-16 2000-10-24 World One Telecom, Ltd. Method and apparatus for providing automated searching and linking of electronic documents
US6570612B1 (en) * 1998-09-21 2003-05-27 Bank One, Na, As Administrative Agent System and method for color normalization of board images
US6351777B1 (en) * 1999-04-23 2002-02-26 The United States Of America As Represented By The Secretary Of The Navy Computer software for converting a general purpose computer network into an interactive communications system
US7032030B1 (en) * 1999-03-11 2006-04-18 John David Codignotto Message publishing system and method
US6904182B1 (en) * 2000-04-19 2005-06-07 Microsoft Corporation Whiteboard imaging system

Also Published As

Publication number Publication date
US20040021790A1 (en) 2004-02-05

Similar Documents

Publication Publication Date Title
JP2004001315A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP3941292B2 (ja) ページ情報表示方法及び装置並びにページ情報表示用のプログラム又はデータを記憶した記憶媒体
US8194075B2 (en) Method and system for generating and displaying an interactive dynamic list view of multiply connected objects
JP4909576B2 (ja) 文書編集装置、画像形成装置およびプログラム
CN1749958B (zh) 使用形状的公用图表
JP4533273B2 (ja) 画像処理装置及び画像処理方法、プログラム
JP3969176B2 (ja) ブラウザシステム及びその制御方法
US7853873B2 (en) Data processing apparatus, data processing method, and computer program for generating electronic data from a paper document
JPH06508461A (ja) 画像を自動併合するための装置及び方法
JP2011008752A (ja) ドキュメント操作システム、ドキュメント操作方法およびそのためのプログラム
CN102799571B (zh) Word文件生成图片的方法及系统
JP2003531428A (ja) ユーザインターフェースおよびデジタルドキュメントの処理および見る方法
JP2009176287A (ja) 文書表示方法、文書表示システムおよびそのコンピュータプログラム
US20160335740A1 (en) Zoomable web-based wall with natural user interface
JP2013089199A (ja) 電子コミック編集装置、方法及びプログラム
CN116484812A (zh) 一种离线页面签批及阅读流转的方法和系统
JP2010049158A (ja) 画像処理装置
JP2019109596A (ja) 情報処理装置及び情報処理システム
JP2016200860A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN117043783A (zh) 文本-图像-布局变换器模型(tilt)
CN1848109A (zh) 用于编辑光学字符识别结果的方法和系统
US20190361986A9 (en) Method for displaying dynamic media with text bubble emulation
JP2011086050A (ja) 情報処理端末及びコンピュータプログラム
JPH0816824A (ja) 3次元計算機支援設計装置及び方法
JP4911585B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081218

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090108

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090327