JP2010146026A - Display control device - Google Patents

Display control device Download PDF

Info

Publication number
JP2010146026A
JP2010146026A JP2010028988A JP2010028988A JP2010146026A JP 2010146026 A JP2010146026 A JP 2010146026A JP 2010028988 A JP2010028988 A JP 2010028988A JP 2010028988 A JP2010028988 A JP 2010028988A JP 2010146026 A JP2010146026 A JP 2010146026A
Authority
JP
Japan
Prior art keywords
color
line
image
character
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010028988A
Other languages
Japanese (ja)
Inventor
Susumu Fujioka
進 藤岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2010028988A priority Critical patent/JP2010146026A/en
Publication of JP2010146026A publication Critical patent/JP2010146026A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To prevent the trouble that it is difficult to view drawing data of characters, drawn lines, etc., displayed on a color display device. <P>SOLUTION: The display control device for displaying drawing data of characters, drawn lines, etc., on the color display device includes: a size switching means for switching a size of drawing data to display the drawing data; and a background image decision means for inspecting a spatial frequency distribution of a background image in a region for display of drawing data to determine whether the background image has many high spatial frequency components. When the background image decision means determines that the background image has many high spatial frequency components, the size of drawing data is switched by the size switching means to display the drawing data. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置に関する。   The present invention relates to a display control device that displays drawing data such as characters and drawing lines on a color display device.

電子黒板システムに代表される情報入出力システムにおいては、従来から、カラーパレットを表示装置に表示して、筆記色および背景色を選択できるにようになっている。この場合、例えば描画する線種として3種類の線種を線種選択メニューに登録することができるようなシステムにおいては、その筆記色はユーザが線の色の設定操作を行わない限り、第1の線は背景色に対する補色(色相環の反対側の色であり、混ぜるとグレーになる色)、第2の線は赤色、第3の線は青色である。なお、第1の線は背景色に対する補色を自動的に設定するが、背景色が緑色の場合には、その補色である赤紫色を線の色にすると、この色の組合せがビジネスの場に合わず不快感を与える可能性があることを考慮して、線の色を白色としている。   In an information input / output system represented by an electronic blackboard system, conventionally, a color palette is displayed on a display device, and a writing color and a background color can be selected. In this case, for example, in a system in which three types of line types can be registered as line types to be drawn in the line type selection menu, the writing color is the first unless the user performs a line color setting operation. Is a color complementary to the background color (the color on the opposite side of the hue circle and becomes gray when mixed), the second line is red, and the third line is blue. The first line automatically sets a complementary color for the background color. However, if the background color is green, if the complementary color is reddish purple, the color combination is used in business situations. In consideration of the possibility of discomfort that does not match, the line color is white.

ところで、近年、プレゼンテーション等を行う場合に、プロジェクターや大画面ディスプレイを備えた情報入出力システム等を使用する機会が多くなってきている。このような表示画面が大画面である場合には、文字や線等のグラフィックは、多くの人にとって見易いことが望まれる。   By the way, in recent years, when a presentation or the like is performed, an opportunity to use an information input / output system or the like equipped with a projector and a large screen display has increased. When such a display screen is a large screen, it is desired that graphics such as characters and lines are easy to see for many people.

ところが、情報入出力システム等で用いるプレゼンテーション用資料を作成するPC等の文書作成装置においては、強調したい文字や線等のグラフィックの色はユーザが判断して設定するようにしているが、このグラフィックの設定色とその表示画面の背景色との組合せによっては、強調したい部分がそれ以外の部分に対して必ずしも強調して見えない場合があった。   However, in a document creation apparatus such as a PC that creates presentation materials used in an information input / output system or the like, the user decides and sets the color of graphics such as characters and lines to be emphasized. Depending on the combination of the set color and the background color of the display screen, the portion to be emphasized may not necessarily be highlighted with respect to the other portions.

特に、プロジェクターのように大画面に投影して表示するタイプでは、投影光量が十分でない場合にはこの現象が顕著になる。このように投影して表示するタイプでこの現象が顕著になるのは、例えば、背景が青色で通常の文字色が白色の場合、強調したい文字を赤色にすると、文書作成装置に接続されたディスプレイの表示では強調して見ることができても、これをプロジェクターを介して大画面に投影して表示した場合には、投影光量が十分でない場合には表示される各色の明度が低下し、赤色と青色との色の違いが小さく見える。すなわち、強調する意図で赤色に設定した文字が、プロジェクターを介して投影表示されると逆に見づらくなってしまうという不具合が生じるからである。   In particular, in a type that projects and displays on a large screen like a projector, this phenomenon becomes significant when the amount of projection light is insufficient. This phenomenon becomes prominent in the type of projecting and displaying in this way. For example, when the background is blue and the normal character color is white, if the character to be emphasized is red, the display connected to the document creation device Even if you can see it with emphasis, if you project it on a large screen through a projector and display it on a large screen, the brightness of each color will be reduced if the amount of projected light is not enough. The color difference between blue and blue looks small. That is, when the character set in red for the purpose of emphasis is projected and displayed via the projector, it is difficult to see the character.

そこで、このような不具合を解消すべく、特許文献1に記載されているカラー表示装置および電子黒板システムにおいては、文字(フォント)の色および筆記描画色と、それらの背景色とが類似している場合には、文字(フォント)の色および筆記描画色を変化させる方法が開示されている。   Therefore, in order to eliminate such problems, in the color display device and the electronic blackboard system described in Patent Document 1, the color of characters (fonts) and the writing drawing color are similar to their background colors. A method of changing the color of the character (font) and the writing drawing color.

しかしながら、特許文献1において開示された技術によれば、文字(フォント)の色および筆記描画色が1色である場合には、背景色に対する補色を設定することで対応できるが、文字(フォント)の色および筆記描画色が複数の場合には対応することができないという問題がある。   However, according to the technology disclosed in Patent Document 1, when the character (font) color and the writing drawing color are one color, it can be dealt with by setting a complementary color for the background color. There is a problem that it is not possible to cope with a plurality of colors and writing drawing colors.

また、カーソルを表示画面に表示させる際に、その色が背景色やそのカーソルの周りに表示されている文字や筆記描画線の色と類似している場合には、カーソルが目立たずにカーソルを視認しづらいといった問題もある。   Also, when the cursor is displayed on the display screen, if the color is similar to the background color, the characters displayed around the cursor, or the color of the writing line, the cursor is not noticeable. There is also a problem that it is difficult to see.

さらに、特許文献1に記載されているカラー表示装置および電子黒板システムにおける色の選択は、表示装置(大画面ディスプレイ)が設置される背後や周囲、あるいはプロジェクターで投影される領域の周囲の色とは無関係に行われていたため、表示される色と表示装置が設置される背後や周囲、あるいはプロジェクターで投影される領域の周囲の色との組合せによっては、その色合いがよくない場合がある。   Furthermore, the color selection in the color display device and the electronic blackboard system described in Patent Document 1 is based on the colors around and behind the area where the display device (large screen display) is installed, or the area projected by the projector. Therefore, depending on the combination of the displayed color and the back and surroundings where the display device is installed or the surrounding color of the area projected by the projector, the color tone may not be good.

さらにまた、文字(フォント)や筆記描画線の背景が単色ではなく、複数色から成る絵柄や静止画像、さらに動画像である場合があるが、このような場合には、特許文献1に記載されているカラー表示装置および電子黒板システムでは、背景色の出現頻度の平均に基づいて評価したカラー評価値に対応した筆記描画色を選定する方法を示している。しかしながら、様々な色が混ざり合った静止画像や、各色の出現頻度が時間とともに変化する動画像が背景の場合には、目立つ文字(フォント)の色および筆記描画色を選定することが困難な場合がある。   Furthermore, the background of characters (fonts) and writing lines may not be a single color, but may be a pattern or a still image composed of a plurality of colors, and a moving image. In the color display device and the electronic blackboard system, the writing drawing color corresponding to the color evaluation value evaluated based on the average appearance frequency of the background color is shown. However, when it is difficult to select the color of the conspicuous character (font) and the writing drawing color when the background is a still image in which various colors are mixed or a moving image in which the appearance frequency of each color changes with time There is.

加えてに、文字(フォント)や筆記描画線が細いと、これらの文字や筆記描画線が非常に見づらいといった問題もある。   In addition, if the characters (fonts) and writing lines are thin, there is a problem that these characters and writing lines are very difficult to see.

本発明の目的は、カラー表示装置に表示された文字や描画線等の描画データが見づらいといった不具合を防止することである。   An object of the present invention is to prevent a problem that drawing data such as characters and drawing lines displayed on a color display device is difficult to see.

上述した課題を解決し、目的を達成するために、本発明は、文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置において、前記描画データのサイズを切り替えて表示するサイズ切替手段と、前記描画データを表示する領域の背景画像の空間周波数分布を調べ、その背景画像に高い空間周波数成分が多いか否かを判断する背景画像判断手段と、を備え、前記背景画像判断手段により高い空間周波数成分が多い画像であると判断した場合、前記サイズ切替手段により前記描画データのサイズを切り替えて表示することを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention provides a display control device for displaying drawing data such as characters and drawing lines on a color display device, and switching the size of the drawing data for switching. And background image determination means for examining a spatial frequency distribution of a background image in a region for displaying the drawing data and determining whether or not the background image has a high spatial frequency component. When the image is determined to be an image with many higher spatial frequency components, the size of the drawing data is switched and displayed by the size switching means.

また、本発明は、文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置において、前記描画データのサイズを切り替えて表示するサイズ切替手段を備え、前記描画データを表示する領域の背景画像が静止画像あるいは動画像の場合、前記サイズ切替手段により前記描画データのサイズを切り替えて表示することを特徴とする。   Further, the present invention provides a display control device for displaying drawing data such as characters and drawing lines on a color display device, comprising size switching means for switching the size of the drawing data and displaying the drawing data. When the background image is a still image or a moving image, the size switching means switches the size of the drawing data for display.

本発明によれば、カラー表示装置に表示された文字や描画線等の描画データが見づらくなるのを防止することができるという効果を奏する。   According to the present invention, it is possible to prevent the drawing data such as characters and drawing lines displayed on the color display device from being difficult to see.

請求項1に記載の発明によれば、カラー表示装置に表示される文字や描画線等の描画データの背景が単色ではなく複数色から成る絵柄や静止画像または動画像であり、かつ、高い空間周波数成分が多い場合には、描画データのサイズを大きなサイズに切り替えて表示することで、描画データが見づらくなるのを防止することができる。   According to the first aspect of the present invention, the background of the drawing data such as characters and drawing lines displayed on the color display device is not a single color but a pattern, a still image or a moving image composed of a plurality of colors, and a high space. When there are many frequency components, it is possible to prevent the drawing data from becoming difficult to see by switching the drawing data size to a larger size and displaying it.

また、請求項2に記載の発明によれば、カラー表示装置に表示される文字や描画線等の描画データに縁が付加されるため、描画データが見づらくなるのを防止することができる。   According to the second aspect of the present invention, since borders are added to drawing data such as characters and drawing lines displayed on the color display device, it is possible to prevent the drawing data from becoming difficult to see.

また、請求項3に記載の発明によれば、カラー表示装置に表示される文字や描画線等の描画データの背景が静止画像または動画像である場合には、描画データのサイズを大きなサイズに切り替えて表示することで、描画データが見づらくなるのを防止することができる。   According to the third aspect of the present invention, when the background of drawing data such as characters and drawing lines displayed on the color display device is a still image or a moving image, the size of the drawing data is increased. By switching and displaying, it is possible to prevent the drawing data from becoming difficult to see.

また、請求項4に記載の発明によれば、カラー表示装置に表示される文字や描画線等の描画データに縁が付加されるため、描画データが見づらくなるのを防止することができる。   According to the fourth aspect of the present invention, since borders are added to drawing data such as characters and drawing lines displayed on the color display device, it is possible to prevent the drawing data from becoming difficult to see.

図1は、本発明の第一の実施の形態の情報入出力システムを概略的に示すシステム構成図である。FIG. 1 is a system configuration diagram schematically showing an information input / output system according to a first embodiment of this invention. 図2は、制御装置に内蔵される各部の電気的接続を示すブロック図である。FIG. 2 is a block diagram showing the electrical connection of each part built in the control device. 図3は、表示コントローラに内蔵される各部の電気的接続を示すブロック図である。FIG. 3 is a block diagram showing the electrical connection of each part built in the display controller. 図4は、情報入出力装置の各電子カメラの配置状態を示す説明図である。FIG. 4 is an explanatory diagram showing an arrangement state of each electronic camera of the information input / output device. 図5は、電子カメラの広角レンズおよびCMOSイメージセンサ付近を示す拡大図である。FIG. 5 is an enlarged view showing the vicinity of the wide-angle lens and the CMOS image sensor of the electronic camera. 図6は、エッジ部の像上の数点の画素位置を示す説明図である。FIG. 6 is an explanatory diagram showing several pixel positions on the image of the edge portion. 図7は、筆記部材の画像および基準線の回転の例を示す説明図である。FIG. 7 is an explanatory diagram illustrating an example of the image of the writing member and the rotation of the reference line. 図8は、接触点の結像位置と広角レンズの光軸の結像位置との距離の算出手法を示す説明図である。FIG. 8 is an explanatory diagram showing a method for calculating the distance between the imaging position of the contact point and the imaging position of the optical axis of the wide-angle lens. 図9は、「描画線」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。FIG. 9 is a plan view showing an example of a pull-down menu when the “drawing line” icon is selected. 図10は、「線の設定」ウィンドウの表示例を示す平面図である。FIG. 10 is a plan view showing a display example of the “line setting” window. 図11は、背景色の変更に伴い描画線の表示色を変更する際の制御装置の動作を示すフローチャートである。FIG. 11 is a flowchart showing the operation of the control device when the display color of the drawing line is changed in accordance with the change of the background color. 図12は、視覚的に強調させる「強調」の線がある場合の「描画線」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。FIG. 12 is a plan view showing an example of a pull-down menu when the “drawing line” icon is selected when there is an “emphasized” line to be visually emphasized. 図13は、視覚的に強調させる「強調」の線がある場合の「線の設定」ウィンドウの表示例を示す平面図である。FIG. 13 is a plan view showing a display example of a “line setting” window when there is an “emphasized” line to be visually emphasized. 図14は、線色の組合せを1つの背景色に対して複数用意した場合に「描画線」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。FIG. 14 is a plan view showing an example of a pull-down menu when the “drawing line” icon is selected when a plurality of combinations of line colors are prepared for one background color. 図15は、線色の組合せを1つの背景色に対して複数用意した場合における背景色の変更に伴い描画線の表示色を変更する際の制御装置の動作を示すフローチャートである。FIG. 15 is a flowchart showing the operation of the control device when the display color of the drawing line is changed in accordance with the change of the background color when a plurality of combinations of line colors are prepared for one background color. 図16は、背景色及び描画線の表示色の変更に伴いカーソルの表示色を変更する際の制御装置の動作を示すフローチャートである。FIG. 16 is a flowchart showing the operation of the control device when changing the display color of the cursor in accordance with the change of the background color and the display color of the drawing line. 図17は、環境色の設定に伴い背景色及び描画線の表示色を設定する際の制御装置の動作を示すフローチャートである。FIG. 17 is a flowchart illustrating the operation of the control device when setting the background color and the display color of the drawing line in accordance with the setting of the environment color. 図18は、背景色と描画線の色の組合せを選択するための「色設定」ウィンドウの表示例を示す平面図である。FIG. 18 is a plan view showing a display example of a “color setting” window for selecting a combination of background color and drawing line color. 図19は、環境色の設定に伴い背景色と描画線の色との組合せを選択する際の制御装置の動作を示すフローチャートである。FIG. 19 is a flowchart showing the operation of the control device when a combination of the background color and the drawing line color is selected in accordance with the setting of the environment color. 図20は、本発明の第二の実施の形態の情報入出力システムにおいて「文字」アイコンが選択された場合のプルダウンメニューの一例を示す平面図である。FIG. 20 is a plan view showing an example of a pull-down menu when the “character” icon is selected in the information input / output system according to the second embodiment of this invention. 図21は、「文字の設定」ウィンドウの表示例を示す平面図である。FIG. 21 is a plan view showing a display example of the “character setting” window. 図22は、背景色の変更に伴い文字の表示色を変更する際の制御装置の動作を示すフローチャートである。FIG. 22 is a flowchart showing the operation of the control device when the display color of characters is changed in accordance with the change of the background color. 図23は、視覚的に強調させる「強調」の文字色がある場合の「文字の設定」ウィンドウの表示例を示す平面図である。FIG. 23 is a plan view showing a display example of a “character setting” window when there is a character color of “emphasis” to be visually emphasized. 図24は、視覚的に強調させる「強調」の文字の表示色を変更する際の制御装置の動作を示すフローチャートである。FIG. 24 is a flowchart showing the operation of the control device when the display color of the “emphasized” character to be visually emphasized is changed. 図25は、背景色と文字の色の組合せを選択するための「文字の設定」ウィンドウの表示例を示す平面図である。FIG. 25 is a plan view showing a display example of a “character setting” window for selecting a combination of a background color and a character color. 図26は、「表示色の組合せ」ウィンドウの表示例を示す平面図である。FIG. 26 is a plan view showing a display example of the “display color combination” window. 図27は、文字色の組合せを1つの背景色に対して複数用意した場合における背景色の変更に伴い文字の表示色を変更する際の制御装置の動作を示すフローチャートである。FIG. 27 is a flowchart showing the operation of the control device when the display color of a character is changed in accordance with the change of the background color when a plurality of combinations of character colors are prepared for one background color. 図28は、背景色及び文字の表示色の変更に伴いカーソルの表示色を変更する際の制御装置の動作を示すフローチャートである。FIG. 28 is a flowchart showing the operation of the control device when the display color of the cursor is changed in accordance with the change of the background color and the character display color. 図29は、環境色の設定に伴い背景色及び文字の表示色を設定する際の制御装置の動作を示すフローチャートである。FIG. 29 is a flowchart showing the operation of the control device when setting the background color and the display color of characters in accordance with the setting of the environment color. 図30は、背景色と文字の色の組合せを選択するための「表示色の組合せ」ウィンドウの表示例を示す平面図である。FIG. 30 is a plan view showing a display example of a “display color combination” window for selecting a combination of a background color and a character color. 図31は、環境色の設定に伴い背景色と文字の色との組合せを選択する際の制御装置の動作を示すフローチャートである。FIG. 31 is a flowchart showing the operation of the control device when selecting a combination of the background color and the character color in accordance with the setting of the environment color. 図32は、本発明の第二の実施の形態の情報入出力システムにおいて制御装置の空間周波数チェック部の動作を示すフローチャートである。FIG. 32 is a flowchart illustrating the operation of the spatial frequency check unit of the control device in the information input / output system according to the second embodiment of this invention. 図33は、画像の特徴色に基づく描画線の色や文字の色を設定する際の制御装置の動作を示すフローチャートである。FIG. 33 is a flowchart showing the operation of the control device when setting the color of the drawing line and the color of the character based on the feature color of the image. 図34は、描画線や文字の太さを太くする際の制御装置の動作を示すフローチャートである。FIG. 34 is a flowchart illustrating the operation of the control device when the thickness of the drawing line or character is increased. 図35は、描画線や文字に縁を付加して表示する際の制御装置の動作を示すフローチャートである。FIG. 35 is a flowchart showing the operation of the control device when displaying a drawing line or character with an edge added.

本発明の第一の実施の形態を図1ないし図19に基づいて説明する。なお、本実施の形態は、情報入出力システムとして、カラー表示装置として大画面のPDP(Plasma Display Panel)を使用し、そのディスプレイ面の右上部と左上部にそれぞれ電子カメラを取り付けて、各電子カメラから入力された画像情報に基づいてディスプレイ面に接触する物体の接触位置座標を求める電子黒板システムを適用した例である。   A first embodiment of the present invention will be described with reference to FIGS. In the present embodiment, a large screen PDP (Plasma Display Panel) is used as a color display device as an information input / output system, and electronic cameras are attached to the upper right and upper left of the display surface, respectively. This is an example in which an electronic blackboard system that obtains contact position coordinates of an object that contacts a display surface based on image information input from a camera is applied.

本実施の形態の情報入出力システム100のシステム構成図を図1に示す。この情報入出力システム100は、情報入出力装置1と表示制御装置(以下、制御装置という)2とから構成されており、情報入出力装置1は2個の電子カメラ10,11とカラー表示装置12、さらに2個のスピーカー13,14を具備している。   FIG. 1 shows a system configuration diagram of the information input / output system 100 of the present embodiment. The information input / output system 100 includes an information input / output device 1 and a display control device (hereinafter referred to as a control device) 2. The information input / output device 1 includes two electronic cameras 10, 11 and a color display device. 12 and two speakers 13 and 14 are provided.

電子カメラ10および電子カメラ11は、カラー表示装置12に高画素タイプのXGA(1024×768画素)で表示された場合にも、メニュー選択や筆記動作等が支障なく実行される程度に高画素で画像信号の出力フレームレートが大きく、また光電変換された信号を画素単位に独立して出力することができる2次元撮像素子を具備している。この2次元撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)センサがある。これらの電子カメラは、撮像素子にて光電変換された電気信号をA/D(Analog/Digital)変換して、デジタル画像データを出力する。また、各電子カメラの光軸はカラー表示装置12の平面と平行となるように取り付けられている。なお、これらの電子カメラのレンズは画角が90度以上の広角レンズであり、カラー表示装置12全体の領域について接触する所定の座標入力物体を撮像できるようになっている。   When the electronic camera 10 and the electronic camera 11 are displayed on the color display device 12 with a high pixel type XGA (1024 × 768 pixels), the pixels are high enough to allow menu selection and writing operations to be performed without any problem. The output frame rate of the image signal is large, and a two-dimensional imaging device capable of independently outputting a photoelectrically converted signal for each pixel is provided. As this two-dimensional image sensor, there is, for example, a CMOS (Complementary Metal Oxide Semiconductor) sensor. These electronic cameras A / D (Analog / Digital) convert the electrical signal photoelectrically converted by the image sensor and output digital image data. Further, the optical axis of each electronic camera is attached so as to be parallel to the plane of the color display device 12. The lenses of these electronic cameras are wide-angle lenses having an angle of view of 90 degrees or more, and can capture a predetermined coordinate input object that touches the entire area of the color display device 12.

また、前述したように、カラー表示装置12は大画面のPDP(Plasma Display Panel)である。さらに、スピーカー13とスピーカー14は情報入出力装置1に内蔵されており、制御装置2から入力されるオーディオ信号を音として出力する。   As described above, the color display device 12 is a large screen PDP (Plasma Display Panel). Further, the speaker 13 and the speaker 14 are built in the information input / output device 1 and output an audio signal input from the control device 2 as sound.

次に、制御装置2に内蔵される各部の電気的接続を図2に示す。図中、CPU(Central Processing Unit)20、メインメモリ21、クロック22、バスコントローラ23、ROM(Read Only Memory)24、PCI(Peripheral Component Interconnect)ブリッジ25、キャッシュメモリ26、ハードディスク27、HD(Hard Disk)コントローラ28、画像処理回路(1)29、画像処理回路(2)30、表示コントローラ31、MPEG(Moving Picture Experts Group)デコーダ32、LAN(Local Area Network)コントローラ43、LANI/F(Interface)44、FD(Floppy(登録商標)Disk)コントローラ33、FDドライブ34、DVD−RAM(Digital Video Disc Random Access Memory)コントローラ35、DVD−RAMドライブ36、キーボードコントローラ37、マウスI/F38、RTC(Real Time Clock)39、CPUバス40、PCIバス41、Xバス(内部バス)42は、制御装置2に実装されている。   Next, the electrical connection of each part built in the control apparatus 2 is shown in FIG. In the figure, a CPU (Central Processing Unit) 20, a main memory 21, a clock 22, a bus controller 23, a ROM (Read Only Memory) 24, a PCI (Peripheral Component Interconnect) bridge 25, a cache memory 26, a hard disk 27, an HD (Hard Disk). ) Controller 28, image processing circuit (1) 29, image processing circuit (2) 30, display controller 31, MPEG (Moving Picture Experts Group) decoder 32, LAN (Local Area Network) controller 43, LAN I / F (Interface) 44 FD (Floppy (registered trademark) Disk) controller 33, FD drive 34, DVD-RAM (Digital Video Disc Random Access Memory) controller 35, DVD-RAM drive 36, keyboard controller 37, mouse I / F 38, RTC (Real Time) Clock) 39, CPU bus 40, PCI bus 1, X bus (internal bus) 42 is mounted on the control unit 2.

ROM24には、電源オン時のシステム立ち上げや各種デバイスの制御を行うためのプログラムが予め書き込まれており、CPU20は、ROM24に記憶された制御処理プログラム、ハードディスク27からメインメモリ21に読み出されたOS(Operating System)や各種のアプリケーションプログラムを実行、処理する。メインメモリ21は、DRAM(Dynamic Random Access Memory)より構成されており、CPU20のワークエリア等で使用される。クロック22は、水晶発振子と分周回路から構成されており、CPU20やバスコントローラ23の動作タイミングを制御するためのクロックを生成している。バスコントローラ23は、CPUバス40とXバス42でのデータ転送を制御する。   A program for starting up the system at power-on and controlling various devices is written in the ROM 24 in advance, and the CPU 20 reads the control processing program stored in the ROM 24 from the hard disk 27 to the main memory 21. Executes and processes the operating system (OS) and various application programs. The main memory 21 is composed of a DRAM (Dynamic Random Access Memory) and is used in a work area of the CPU 20 or the like. The clock 22 is composed of a crystal oscillator and a frequency dividing circuit, and generates a clock for controlling the operation timing of the CPU 20 and the bus controller 23. The bus controller 23 controls data transfer through the CPU bus 40 and the X bus 42.

PCIブリッジ25は、キャッシュメモリ26を使用して、PCIバス41とCPU20との間のデータ転送を行う。キャッシュメモリ26は、DRAMより構成されており、PCIブリッジ25により使用される。   The PCI bridge 25 uses the cache memory 26 to perform data transfer between the PCI bus 41 and the CPU 20. The cache memory 26 is composed of a DRAM and is used by the PCI bridge 25.

ハードディスク27は、システムソフトウェア、各種のアプリケーションプログラム、多数のユーザデータ等を記憶する。HDコントローラ28は、ハードディスク27とのインタフェースとして例えばIDE(Integrated Device Electronics)インタフェースを持ち、ハードディスク27と高速データ転送を行う。   The hard disk 27 stores system software, various application programs, a lot of user data, and the like. The HD controller 28 has, for example, an IDE (Integrated Device Electronics) interface as an interface with the hard disk 27, and performs high-speed data transfer with the hard disk 27.

画像処理回路(1)29は、情報入出力装置1の電子カメラ10から出力されたデジタル画像データをRS−422等のデジタルI/F(図示を省略)を介して入力し、その画像データから物体の抽出処理や物体の形状の認識処理等を行う。また、画像処理回路(1)29は、電子カメラ10に与えるクロックや画像転送パルスをRS−422等のデジタルI/F(図示を省略)を介して出力する。画像処理回路(2)30は画像処理回路(1)29と同じハードウェアであり、情報入出力装置1の電子カメラ11から出力されたデジタル画像データを入力し、画像処理回路(1)29と同様な動作を実行する。なお、画像処理回路(1)29と画像処理回路(2)30からそれぞれ電子カメラ10と電子カメラ11へ与えるクロックや画像転送パルスは同期するようになっている。   The image processing circuit (1) 29 inputs digital image data output from the electronic camera 10 of the information input / output device 1 via a digital I / F (not shown) such as RS-422, and from the image data. Object extraction processing, object shape recognition processing, and the like are performed. Further, the image processing circuit (1) 29 outputs a clock and an image transfer pulse given to the electronic camera 10 via a digital I / F (not shown) such as RS-422. The image processing circuit (2) 30 is the same hardware as the image processing circuit (1) 29. The image processing circuit (2) 30 inputs digital image data output from the electronic camera 11 of the information input / output device 1, and the image processing circuit (1) 29 A similar operation is performed. Note that clocks and image transfer pulses supplied from the image processing circuit (1) 29 and the image processing circuit (2) 30 to the electronic camera 10 and the electronic camera 11, respectively, are synchronized.

表示コントローラ31は、文字データやグラフィックデータ等をD/A(Digital/Analog)変換するとともに、これらのデータを情報入出力装置1のカラー表示装置12に表示するための制御を行う。この表示コントローラ31の内部構成および動作については、後で詳しく説明する。   The display controller 31 performs D / A (Digital / Analog) conversion of character data, graphic data, and the like, and performs control for displaying these data on the color display device 12 of the information input / output device 1. The internal configuration and operation of the display controller 31 will be described in detail later.

MPEGデコーダ32は、DVD−RAM(DVD−RAMドライブ36によりデータが読み取られる)やハードディスク27に記憶されたMPEGファイルをデコードして、デコードされたYUV(Y:U:V=4:2:2)ビデオデータを表示コントローラ31へ出力し、またデコードされたオーディオデータはD/A変換してスピーカー13とスピーカー14へ出力する。ここで、Yは輝度成分、UとVは色差(クロマ)成分であり、U=B(青)−Y、V=R(赤)−Yである。   The MPEG decoder 32 decodes the MPEG file stored in the DVD-RAM (data is read by the DVD-RAM drive 36) or the hard disk 27, and the decoded YUV (Y: U: V = 4: 2: 2). The video data is output to the display controller 31, and the decoded audio data is D / A converted and output to the speakers 13 and 14. Here, Y is a luminance component, U and V are color difference (chroma) components, and U = B (blue) -Y and V = R (red) -Y.

LANコントローラ43は、例えばIEEE(Institute of Electrical and Electronics Engineers)802.3規格に準拠した通信プロトコルを実行して、LANI/F44を介してイーサネット(登録商標)に接続された他の機器との通信を制御する。   The LAN controller 43 executes a communication protocol compliant with, for example, the IEEE (Institute of Electrical and Electronics Engineers) 802.3 standard, and communicates with other devices connected to the Ethernet (registered trademark) via the LAN I / F 44. To control.

FDコントローラ33は、FDドライブ34とデータ転送を行う。DVD−RAMコントローラ35は、DVD−RAMドライブ36とのインタフェースとして例えばSCSI−2(Small Computer System Interface-2)インタフェースを持ち、DVD−RAMドライブ36とデータ転送を行う。   The FD controller 33 performs data transfer with the FD drive 34. The DVD-RAM controller 35 has, for example, a SCSI-2 (Small Computer System Interface-2) interface as an interface with the DVD-RAM drive 36, and performs data transfer with the DVD-RAM drive 36.

キーボードコントローラ37は、キーボード3から入力されたシリアルデータからパラレルデータへの変換を行う。マウスI/F38は、マウス用のポートを持ち、マウスドライバ(制御プログラム)によって制御される。なお、情報入出力装置1が制御装置2の入力装置であるため、保守用の作業時を除き、キーボード3およびマウス4は接続する必要はない。   The keyboard controller 37 performs conversion from serial data input from the keyboard 3 to parallel data. The mouse I / F 38 has a mouse port and is controlled by a mouse driver (control program). Since the information input / output device 1 is an input device of the control device 2, it is not necessary to connect the keyboard 3 and the mouse 4 except during maintenance work.

RTC39は、日付時計であり、図示していないバッテリーによりバックアップされている。   The RTC 39 is a date clock and is backed up by a battery (not shown).

次に、表示コントローラ31の内部構成および動作について詳細に説明する。表示コントローラ31に内蔵される各部の電気的接続を図3に示す。表示コントローラ31は、グラフィックコントローラ60、グラフィック用ビデオメモリ61、グラフィックデータ変換部62、表示データ生成部63、DAC(Digitalto Analog Converter)64、ビデオデコーダ65、動画/静止画用ビデオメモリ66、ビデオデータ変換部67、ビデオデータ重畳部68、空間周波数チェック部69より構成される。   Next, the internal configuration and operation of the display controller 31 will be described in detail. FIG. 3 shows an electrical connection of each part built in the display controller 31. The display controller 31 includes a graphic controller 60, a graphic video memory 61, a graphic data conversion unit 62, a display data generation unit 63, a DAC (Digital to Analog Converter) 64, a video decoder 65, a video / still image video memory 66, and video data. A conversion unit 67, a video data superimposing unit 68, and a spatial frequency check unit 69 are included.

グラフィックコントローラ60は、CPU20からアクセスする描画用プレーン(ユーザプレーン)を複数枚管理しており、例えば背景用の描画データ(第1のプレーン)と文字や描画線等のグラフィックの描画データ(第2のプレーン)を別々のユーザプレーンで管理する。そして、CPU20から受け取った文字(フォント)データやグラフィックデータの描画コマンドに従って表示用の描画データを生成する。また、CPU20から指定領域の塗りつぶしコマンドを受けると、その指定された領域の全ての画素に対して指定された色の描画データを生成する。これらの描画データはR(赤)、G(緑)、B(青)、I(Intensity)のそれぞれ1ビットにより1画素が表現される。また、グラフィックコントローラ60は、描画データの重ね合わせ(ユーザプレーン間の重ね合わせ)、例えば背景と文字や線との重ね合わせ処理も行う。グラフィック用ビデオメモリ61はVRAM(Video Random Access Memory)であり、R、G、B、Iの各ビットプレーンを持っている。   The graphic controller 60 manages a plurality of drawing planes (user planes) accessed from the CPU 20, for example, background drawing data (first plane) and graphic drawing data (second drawing) such as characters and drawing lines. Are managed by separate user planes. Then, drawing data for display is generated in accordance with the character (font) data or graphic data drawing command received from the CPU 20. In addition, when a fill command for the designated area is received from the CPU 20, drawing data of a designated color is generated for all the pixels in the designated area. In these drawing data, one pixel is represented by one bit of each of R (red), G (green), B (blue), and I (Intensity). The graphic controller 60 also performs drawing data superimposition (superimposition between user planes), for example, superimposition processing of a background and characters and lines. The graphic video memory 61 is a VRAM (Video Random Access Memory), and has R, G, B, and I bit planes.

グラフィックデータ変換部62は、グラフィック用ビデオメモリ61から8画素ずつ、すなわち32ビットずつデータを読み出して、内蔵されたカラーパレットを使用して1画素あたり8ビットのデータに変換する。表示データ生成部63は、グラフィックデータ変換部62から1画素ずつ、すなわち8ビットずつデータを読み出して、内蔵されたカラールックアップテーブルを使用して1画素あたりR、G、Bそれぞれ6ビットの表示データを生成する。そして、動画や静止画のビデオデータと重ね合わせて表示する場合には、このデータをビデオデータ重畳部68へ出力し、そうでない場合はDAC64へ出力する。DAC64は、R、G、Bの各デジタルデータからアナログ映像信号に変換して情報入出力装置1のカラー表示装置12へ出力する。   The graphic data conversion unit 62 reads data from the graphic video memory 61 every 8 pixels, that is, 32 bits, and converts the data into 8 bits per pixel using a built-in color palette. The display data generation unit 63 reads data from the graphic data conversion unit 62 pixel by pixel, that is, by 8 bits, and displays 6 bits each for R, G, and B using a built-in color lookup table. Generate data. When the video data of a moving image or a still image is displayed in a superimposed manner, this data is output to the video data superimposing unit 68. Otherwise, it is output to the DAC 64. The DAC 64 converts each digital data of R, G, B into an analog video signal and outputs it to the color display device 12 of the information input / output device 1.

ビデオデコーダ65は、MPEGデコーダ32から入力されるYUVビデオデータ、あるいはCPU20にてソフトウェアにより伸長された静止画(例えば、JPEG伸長画像)のYUVビデオデータを1画素(16ビット)あたりR、G、Bそれぞれ8ビットのデータに変換する。なお、動画や静止画の空間周波数のチェック処理が実行される場合には、空間周波数チェック部69からYUVビデオデータが入力される。   The video decoder 65 receives YUV video data input from the MPEG decoder 32 or YUV video data of a still image (for example, JPEG decompressed image) decompressed by software by the CPU 20 per pixel (16 bits). Each B is converted into 8-bit data. It should be noted that YUV video data is input from the spatial frequency check unit 69 when the process of checking the spatial frequency of moving images or still images is executed.

動画/静止画用ビデオメモリ66はVRAMであり、R、G、Bの各ビットプレーンを持っている。ビデオデータ変換部67は、内蔵された変換テーブルを使用してR、G、B各8ビットのデータをそれぞれ6ビットのデータに変換する。ビデオデータ重畳部68は、ビデオデータ変換部67から入力されたR、G、Bの各データに対して表示データ生成部63から入力されたR、G、Bの各データを上書きするか、あるいはこれらのデータをビット毎のORをとって(描画データの透過表示)DAC64へ出力する。空間周波数チェック部69は、MPEGデコーダ32から入力されるYUVビデオデータあるいはCPU20にてソフトウェアにより伸長された静止画のYUVビデオデータの中のY信号から輝度成分の空間周波数の分布を調べたり、また輝度成分の平均値を求める処理を行う。   The moving image / still image video memory 66 is a VRAM and has R, G, and B bit planes. The video data conversion unit 67 converts each 8-bit data of R, G, and B into 6-bit data using a built-in conversion table. The video data superimposing unit 68 overwrites the R, G, B data input from the video data converting unit 67 with the R, G, B data input from the display data generating unit 63, or These data are ORed for each bit (transparent display of drawing data) and output to the DAC 64. The spatial frequency check unit 69 checks the distribution of the spatial frequency of the luminance component from the Y signal in the YUV video data input from the MPEG decoder 32 or the YUV video data of the still image expanded by software in the CPU 20, or Processing for obtaining the average value of the luminance components is performed.

以下に、表示コントローラ31中の動画または静止画の信号の流れを場合に分けて示す。   In the following, the flow of a moving image or still image signal in the display controller 31 is shown separately for each case.

<1.動画>
・空間周波数のチェックあり
MPEGデコーダ32→空間周波数チェック部69→ビデオデコーダ65→動画/静止画用ビデオメモリ66→ビデオデータ変換部67→ビデオデータ重畳部68→DAC64→カラー表示装置12
・空間周波数のチェックなし
MPEGデコーダ32→ビデオデコーダ65→動画/静止画用ビデオメモリ66→ビデオデータ変換部67→ビデオデータ重畳部68→DAC64→カラー表示装置12
以上が動画の場合の信号の流れである。
<1. Video>
-With spatial frequency check MPEG decoder 32-> spatial frequency check unit 69-> video decoder 65-> moving picture / still image video memory 66-> video data conversion unit 67-> video data superimposing unit 68-> DAC 64-> color display device 12
No spatial frequency check MPEG decoder 32 → video decoder 65 → video / still image video memory 66 → video data converter 67 → video data superimposing unit 68 → DAC 64 → color display device 12
The above is the signal flow in the case of a moving image.

<2.静止画>
・空間周波数のチェックあり
PCIバス41→空間周波数チェック部69→ビデオデコーダ65→動画/静止画用ビデオメモリ66→ビデオデータ変換部67→ビデオデータ重畳部68→DAC64→カラー表示装置12
・空間周波数のチェックなし
PCIバス41→ビデオデコーダ65→動画/静止画用ビデオメモリ66→ビデオデータ変換部67→ビデオデータ重畳部68→DAC64→カラー表示装置12
以上が静止画の場合の信号の流れである。
<2. Still image>
-With spatial frequency check PCI bus 41-> spatial frequency check unit 69-> video decoder 65-> moving picture / still image video memory 66-> video data conversion unit 67-> video data superimposing unit 68-> DAC 64-> color display device 12
No spatial frequency check PCI bus 41 → video decoder 65 → video / still image video memory 66 → video data converter 67 → video data superimposing unit 68 → DAC 64 → color display device 12
The above is the signal flow in the case of a still image.

続いて、筆記部材が情報入出力装置1のカラー表示装置12に接触したときの接触位置を幾何学的に求める方法を説明する。図4に示すように、情報入出力装置1の電子カメラ10は広角レンズ50、CMOSイメージセンサ51を具備し、電子カメラ11は広角レンズ52、CMOSイメージセンサ53を具備しており、それぞれの入射光の光軸が情報入出力装置1のカラー表示装置12の平面と平行であり、また、それぞれの電子カメラがカラー表示装置12全体の領域について接触する座標入力物体を撮像できるように配置されている。   Next, a method for geometrically obtaining the contact position when the writing member contacts the color display device 12 of the information input / output device 1 will be described. As shown in FIG. 4, the electronic camera 10 of the information input / output device 1 includes a wide-angle lens 50 and a CMOS image sensor 51, and the electronic camera 11 includes a wide-angle lens 52 and a CMOS image sensor 53. The optical axis of the light is parallel to the plane of the color display device 12 of the information input / output device 1, and each electronic camera is arranged so as to be able to image a coordinate input object that makes contact with the entire area of the color display device 12. Yes.

ここで、広角レンズ50と広角レンズ52との距離をL、カラー表示装置12の平面における指やペン等の筆記部材の接触点をA、点Aの位置座標を(x,y)、広角レンズ50と広角レンズ52とを結ぶ直線をX−Line、広角レンズ50における接触点Aの方向とX−Lineとのなす角度をβ1、広角レンズ52における接触点Aの方向とX−Lineとのなす角度をβ2とする。   Here, the distance between the wide-angle lens 50 and the wide-angle lens 52 is L, the contact point of a writing member such as a finger or a pen on the plane of the color display device 12 is A, the position coordinates of the point A are (x, y), and the wide-angle lens. X-Line is a straight line connecting 50 and the wide-angle lens 52, β1 is an angle between the direction of the contact point A in the wide-angle lens 50 and the X-Line, and the direction of the contact point A in the wide-angle lens 52 is X-Line. Let the angle be β2.

また、電子カメラ10の広角レンズ50およびCMOSイメージセンサ51付近の拡大図を図5に示す。図5において、fは広角レンズ50とCMOSイメージセンサ51との間の距離、hはCMOSイメージセンサ51における広角レンズ50の光軸の結像位置と接触点Aの結像位置との間の距離(カラー表示装置12の平面に平行な方向における距離)、αは広角レンズ50の光軸とX−Lineとのなす角度、θは接触点Aとその結像点とを結ぶ線と広角レンズ50の光軸とのなす角度である。これらを用いると、
θ=arctan(h/f) ・・・・(1)
β1=α−θ ・・・・(2)
の2式が成り立つ。ここで、角度αは組み付け仕様として予め判っているため、これら2式より角度β1を求めることができる。また、電子カメラ11についても同様にして角度β2を求めることができる。
An enlarged view of the vicinity of the wide-angle lens 50 and the CMOS image sensor 51 of the electronic camera 10 is shown in FIG. In FIG. 5, f is a distance between the wide-angle lens 50 and the CMOS image sensor 51, and h is a distance between the imaging position of the optical axis of the wide-angle lens 50 and the imaging position of the contact point A in the CMOS image sensor 51. (Distance in a direction parallel to the plane of the color display device 12), α is an angle formed by the optical axis of the wide-angle lens 50 and the X-Line, and θ is a line connecting the contact point A and its imaging point and the wide-angle lens 50. This is the angle formed by the optical axis. With these,
θ = arctan (h / f) (1)
β1 = α−θ (2)
The following two expressions hold. Here, since the angle α is known in advance as an assembly specification, the angle β1 can be obtained from these two equations. Similarly, the angle β2 can be obtained for the electronic camera 11 as well.

このようにして角度β1と角度β2が求まると、接触点Aの位置座標(x,y)は、三角測量の原理により
x=Ltanβ2/(tanβ1+tanβ2) ・・・・(3)
y=xtanβ1 ・・・・(4)
として算出される。
When the angle β1 and the angle β2 are obtained in this way, the position coordinates (x, y) of the contact point A can be calculated by the principle of triangulation: x = Ltanβ2 / (tanβ1 + tanβ2) (3)
y = xtanβ1 (4)
Is calculated as

次に、CMOSイメージセンサ51およびCMOSイメージセンサ53上に結像されるカラー表示装置12の平面に該当するエッジ部の像(直線)と各CMOSイメージセンサ51,53の画素配列との関係について説明する。CMOSイメージセンサ51およびCMOSイメージセンサ53は2次元の画素配列を持つが、縦方向と横方向とで画素数が異なる場合、画素数の小さい方向をX軸方向、画素数の大きい方向をY軸方向として、そのY軸方向がカラー表示装置12の平面にできるだけ平行となるように電子カメラ10と電子カメラ11が組み付けられる。縦方向と横方向の画素数が同じ場合は、いずれかの方向をY軸方向とする。   Next, the relationship between the image (straight line) of the edge portion corresponding to the plane of the color display device 12 imaged on the CMOS image sensor 51 and the CMOS image sensor 53 and the pixel arrangement of the CMOS image sensors 51 and 53 will be described. To do. The CMOS image sensor 51 and the CMOS image sensor 53 have a two-dimensional pixel arrangement, but when the number of pixels is different between the vertical direction and the horizontal direction, the direction with the smaller number of pixels is the X-axis direction, and the direction with the larger number of pixels is the Y-axis. As the direction, the electronic camera 10 and the electronic camera 11 are assembled so that the Y-axis direction is as parallel as possible to the plane of the color display device 12. If the number of pixels in the vertical and horizontal directions is the same, either direction is taken as the Y-axis direction.

ここで、各CMOSイメージセンサ51,53上に結像されるカラー表示装置12の平面に該当するエッジ部の像(直線)が画素配列のY軸方向と一致しない場合は、カラー表示装置12の平面に該当するエッジ部の像(直線)と画素配列のY軸方向との成す角度δを求める。この角度δは、エッジ部の像(直線)上の数点の画素位置を調べることで求めることができる。この説明のための図を図6に示す。図6のエッジ部の像(直線)の端点を基準画素位置として、この直線上の任意の点、A、B、CにおけるX軸方向の画素数xとY軸方向の画素数yを調べる。これらの各点において、
tanδ*=x/y ・・・・(5)
によりδ*が求まるため、これらの平均値を角度δとする。
Here, when the image (straight line) of the edge portion corresponding to the plane of the color display device 12 imaged on the CMOS image sensors 51 and 53 does not coincide with the Y-axis direction of the pixel array, the color display device 12 An angle δ formed by the image (straight line) of the edge portion corresponding to the plane and the Y-axis direction of the pixel array is obtained. This angle δ can be obtained by examining several pixel positions on the image (straight line) of the edge portion. A diagram for this explanation is shown in FIG. Using the end point of the image (straight line) of the edge portion in FIG. 6 as a reference pixel position, the number of pixels x in the X-axis direction and the number of pixels y in the Y-axis direction at arbitrary points A, B, and C on the straight line are examined. In each of these points,
tanδ * = x / y (5)
Δ * is obtained by the above, and the average value of these values is taken as the angle δ.

各CMOSイメージセンサ51,53で撮像した画像データからカラー表示装置12の平面と物体(筆記部材)との距離を求める場合、カラー表示装置12の平面に該当するエッジ部の像(直線)をその画像データの座標系のY軸とした方が便利である。そこで、画像データを用いてカラー表示装置12の平面と物体(筆記部材)との距離を求める場合、その画像データの座標値を上記で求めた角度δだけ回転させて処理する。図6に示すように、エッジ部の像(直線)が右に傾いている場合は左方向へ回転させ、逆に左に傾いている場合は右方向へ回転させる。この回転後の座標(x',y')は、回転前の座標を(x,y)として、
x'=x×cosδ−y×sinδ ・・・・(6)
y'=x×sinδ+y×cosδ ・・・・(7)
の2式により求められる。δが正の値の場合は右回り、負の値の場合は左回りに回転する。
When the distance between the plane of the color display device 12 and the object (writing member) is obtained from the image data captured by the CMOS image sensors 51 and 53, the image (straight line) of the edge corresponding to the plane of the color display device 12 is obtained. It is more convenient to use the Y axis of the image data coordinate system. Therefore, when the distance between the plane of the color display device 12 and the object (writing member) is obtained using image data, the coordinate value of the image data is rotated by the angle δ obtained above and processed. As shown in FIG. 6, when the image (straight line) of the edge portion is tilted to the right, the image is rotated to the left, and conversely, when it is tilted to the left, the image is rotated to the right. The coordinates (x ′, y ′) after the rotation are the coordinates before the rotation (x, y),
x ′ = x × cosδ−y × sinδ (6)
y ′ = x × sin δ + y × cos δ (7)
It is calculated | required by two Formulas. When δ is a positive value, it rotates clockwise, and when it is negative, it rotates counterclockwise.

次に、電子カメラ10と電子カメラ11により撮像された画像データから筆記部材とカラー表示装置12の平面との接触を判断する方法について説明する。情報入出力装置1の電子カメラ10は、CMOSイメージセンサ51の撮像領域の中で、カラー表示装置12の平面と垂直方向については画像信号を出力させる画素を制限する。すなわち、カラー表示装置12の平面から所定の距離までの範囲を撮像している画素のみについて画像信号を出力するように制御する。そして、この画像信号をA/D変換して、このデジタル画像データを制御装置2の画像処理回路(1)29へ出力する。画像処理回路(1)29は、この入力された1フレーム分の画像データから物体の輪郭線を抽出する処理を行う。このような物体の輪郭線の抽出は、例えば、微分により画素間の濃度勾配を求め、その方向と大きさから輪郭線を判定する方法等がある。この方法の1つが、特公平8−16931号公報において開示されている。   Next, a method for determining contact between the writing member and the plane of the color display device 12 from image data captured by the electronic camera 10 and the electronic camera 11 will be described. The electronic camera 10 of the information input / output device 1 limits the pixels that output image signals in the imaging region of the CMOS image sensor 51 in the direction perpendicular to the plane of the color display device 12. That is, control is performed so that an image signal is output only for pixels that are imaging a range from the plane of the color display device 12 to a predetermined distance. The image signal is A / D converted and the digital image data is output to the image processing circuit (1) 29 of the control device 2. The image processing circuit (1) 29 performs a process of extracting the contour line of the object from the inputted image data for one frame. Extraction of the contour line of such an object includes, for example, a method of determining a density gradient between pixels by differentiation and determining the contour line from the direction and size. One of these methods is disclosed in Japanese Patent Publication No. 8-16931.

このようにして輪郭線が抽出されると、その輪郭線の形状よりその物体が筆記部材であるか否かを判断する。この形状判断は、画像認識技術を用いて行う。この形状認識の方法としては、例えば、まず物体の重心を求め、この重心と輪郭線までの距離を重心の回り(360°)について順次求め、この角度と距離の関係から輪郭線の形状を特定する方法がある(特開平8−315152号公報参照)。   When the contour line is extracted in this way, it is determined whether or not the object is a writing member based on the shape of the contour line. This shape determination is performed using an image recognition technique. As the shape recognition method, for example, first, the center of gravity of the object is obtained, the distance between the center of gravity and the contour line is sequentially obtained around the center of gravity (360 °), and the shape of the contour line is specified from the relationship between the angle and the distance. There is a method (see JP-A-8-315152).

こうして得られた輪郭線の形状に関するデータは、筆記部材の形状としてROM24またはハードディスク27に予め記憶されたデータと比較することで、その形状の物体が筆記部材であるか否かを判断する。筆記動作時は、筆記部材の筆記面に対する傾きが一定でないため、物体の重心と輪郭線とを結ぶ基準線(0°の位置)をある角度の範囲内で回転させて予め記憶されたデータと比較する。この筆記部材の画像および基準線の回転の例を図7に示す。なお、筆記部材の形状に関するデータを複数種類用意しておき、形状の判断処理時にこれらを全て利用してもよい。   The data regarding the shape of the contour line thus obtained is compared with data stored in advance in the ROM 24 or the hard disk 27 as the shape of the writing member, thereby determining whether or not the object having the shape is a writing member. At the time of writing operation, since the inclination of the writing member with respect to the writing surface is not constant, the reference line (0 ° position) connecting the center of gravity of the object and the contour line is rotated within a certain angle range and stored in advance Compare. An example of this writing member image and reference line rotation is shown in FIG. A plurality of types of data relating to the shape of the writing member may be prepared, and all of these may be used during the shape determination process.

次に、上記の判断処理により筆記部材であると判断した場合は、その筆記部材が筆記面に接触したか否かを判断する。ここで、筆記面は図7に示したように撮像領域の1つの辺に相当している。そこで、筆記部材の像がこの筆記面に相当した辺に接触したか否かを判断すればよい。筆記部材が筆記面に接触したと判断した場合、この接触点の結像位置と広角レンズ50の光軸の結像位置との距離hを求める。図8の例では、広角レンズ50の光軸の結像位置をh0、接触点の結像位置をh1としてhは、
h=h0−h1
で求められる。なお、h0とh1は、CMOSイメージセンサ51の縦方向の基準となる辺からの画素数と画素間の距離(画素ピッチ)より求められる。
Next, when it is determined by the above determination processing that the member is a writing member, it is determined whether or not the writing member is in contact with the writing surface. Here, the writing surface corresponds to one side of the imaging region as shown in FIG. Therefore, it may be determined whether the image of the writing member is in contact with the side corresponding to the writing surface. When it is determined that the writing member is in contact with the writing surface, the distance h between the imaging position of the contact point and the imaging position of the optical axis of the wide-angle lens 50 is obtained. In the example of FIG. 8, h is the imaging position of the optical axis of the wide-angle lens 50 and h1 is the imaging position of the contact point.
h = h0-h1
Is required. Note that h0 and h1 are obtained from the number of pixels from the reference side in the vertical direction of the CMOS image sensor 51 and the distance between the pixels (pixel pitch).

このようにして距離hが求まると、式(1)と式(2)より既知の値を持つfとαを用いて角度β1が求まることになる。   When the distance h is obtained in this way, the angle β1 is obtained using f and α having known values from the equations (1) and (2).

画像処理回路(2)30においても上記と同様な処理を行うことにより、角度β2を求めることができる。   In the image processing circuit (2) 30, the angle β2 can be obtained by performing the same processing as described above.

これらのβ1、β2および既知の値を持つLを用いて式(3)と式(4)より筆記面における接触点の座標(x,y)を求めることができる。   Using these β1, β2 and L having a known value, the coordinates (x, y) of the contact point on the writing surface can be obtained from the equations (3) and (4).

次に、本実施の形態の情報入出力システム100において実行される処理の内、従来の情報入出力システムによって行われている処理と同様の処理についてはその説明を省略し、情報入出力システム100が備える特長的な機能を実現する処理について以下に説明する。ここでは、制御装置2のCPU20がプログラムに基づいて実行する特長的な機能について説明する。   Next, among the processes executed in the information input / output system 100 of the present embodiment, the description of the same processes as those performed by the conventional information input / output system is omitted, and the information input / output system 100 is omitted. The processing for realizing the characteristic functions provided by will be described below. Here, a characteristic function executed by the CPU 20 of the control device 2 based on a program will be described.

なお、本実施の形態においては、動画や静止画は使用しないため、表示コントローラ31中の信号の流れは、
PCIバス41→グラフィックコントローラ60→グラフィック用ビデオメモリ61→グラフィックデータ変換部62→表示データ生成部63→DAC64→カラー表示装置12
のみとなる。背景と描画データ、カーソルデータの重ね合わせ処理は、グラフィックコントローラ60にて実行される。
In this embodiment, since a moving image or a still image is not used, the signal flow in the display controller 31 is
PCI bus 41-> graphic controller 60-> graphic video memory 61-> graphic data conversion unit 62-> display data generation unit 63-> DAC 64-> color display device 12
It becomes only. The graphic controller 60 executes the overlay process of the background, the drawing data, and the cursor data.

図9の表示例に示すように、カラー表示装置12には、描画線(手書き線)の色を設定したり筆記領域(黒板)の背景色を設定するためのアイコンが表示されており、ユーザがこれにタッチするとプルダウンメニューが表示され、このメニュー操作により描画線や背景の色を適宜設定、変更できるようになっている。「描画線」(鉛筆マーク)アイコンが選択されると、2種類の線についての属性を表示する。「線1」の線は、色が黒、太さが1.5pt(ポイント)であり、「線2」の線は、色が赤、太さが2ptである。各線はその色で表示する。また、いずれの線も色の設定が背景色から自動的に決まる自動モードに設定されている。図9の表示例は、背景色が白である場合を示している。背景色と「線1」の線色、「線2」の線色の組合せデータテーブルは予め制御装置2のROM24に記憶されており、設定されている背景色に従って2つの線色が一義的に決まるようになっている。   As shown in the display example of FIG. 9, the color display device 12 displays icons for setting the color of a drawing line (handwritten line) and the background color of a writing area (blackboard). When this is touched, a pull-down menu is displayed, and this menu operation allows the drawing line and background color to be set and changed as appropriate. When the “drawing line” (pencil mark) icon is selected, attributes for two types of lines are displayed. The line “line 1” has a black color and a thickness of 1.5 pt (points), and the line “line 2” has a red color and a thickness of 2 pt. Each line is displayed in that color. Each line is set to an automatic mode in which the color setting is automatically determined from the background color. The display example of FIG. 9 shows a case where the background color is white. A combination data table of the background color, the line color of “Line 1”, and the line color of “Line 2” is stored in advance in the ROM 24 of the control device 2, and the two line colors are uniquely defined according to the set background color. It is decided.

図9に示したプルダウンメニューで「線の設定」が選択されると、「線の設定」を行うウィンドウを表示させる。この「線の設定」ウィンドウの表示例を図10に示す。図10は「線2」の線の属性を表示しており、「自動」のチェックボックスのチェックを解除すると、線の色の自動設定モードが解除される。また、線種は実線の他に点線や一点鎖線等を選択できるようになっている。線の色の自動設定モードが解除されている状態では、線の色は40色のカラーパレットの中から選択できる。また、「線1」を選択すると、「線1」の線の属性が表示される。   When “line setting” is selected from the pull-down menu shown in FIG. 9, a window for performing “line setting” is displayed. A display example of this “line setting” window is shown in FIG. FIG. 10 shows the attribute of the line “line 2”. When the “automatic” check box is unchecked, the line color automatic setting mode is cancelled. In addition to the solid line, the line type can be selected from a dotted line, an alternate long and short dash line, and the like. When the line color automatic setting mode is cancelled, the line color can be selected from a 40 color palette. When “Line 1” is selected, the line attribute of “Line 1” is displayed.

背景色の設定は、ユーザが「背景色」アイコンを選択して「背景色の設定」ウィンドウを開き、このウィンドウ中にあるカラーパレットを使用して色を設定(変更)することができる。このウィンドウの表示例は省略する。2つの線の色が共に自動設定モードになっているときに背景色が変更されると、ROM24に記憶された背景色と2つの線色の組合せデータテーブルを参照して、「線1」の線色および「線2」の線色をそれぞれ変更する。この変更は、線の属性情報(メインメモリ21またはハードディスク27に記憶)の変更とカラー表示装置12への表示データの変更である。例えば、背景色が白から緑に変更されると、「線1」は白、「線2」は桃色にそれぞれ変更される。なお、背景色の緑と「線2」の線色である桃色とは補色の関係にあり、「線2」の線は目立って見える。背景色が変更されると、CPU20は背景用ユーザプレーン番号と変更後の色情報(緑)を含めた塗りつぶしコマンドと「線1」の線描画用ユーザプレーン番号と変更後のその線の色情報(白)を含めた描画色変更コマンド、「線2」の線描画用ユーザプレーン番号と変更後のその線の色情報(桃色)を含めた描画色変更コマンドをグラフィックコントローラ60へ渡す。そして、それぞれの変更された色に従って、カラー表示装置12の表示画面が更新される。表示色第一設定手段を実現する上記の制御装置2の動作フローを図11に示す。   The user can select the “background color” icon to open the “background color setting” window and set (change) the color using the color palette in this window. A display example of this window is omitted. If the background color is changed when both line colors are in the automatic setting mode, the combination data table of the background color and the two line colors stored in the ROM 24 is referred to. The line color and the line color of “Line 2” are changed. This change is a change in line attribute information (stored in the main memory 21 or the hard disk 27) and a change in display data on the color display device 12. For example, when the background color is changed from white to green, “line 1” is changed to white and “line 2” is changed to pink. Note that the green background color and the pink color of “Line 2” have a complementary color relationship, and the “Line 2” line is conspicuous. When the background color is changed, the CPU 20 fills the background user plane number and the color information (green) after the change, the line drawing user plane number of “Line 1”, and the color information of the line after the change. The drawing color changing command including (white), the drawing color changing command including the line drawing user plane number of “Line 2” and the color information (pink) of the changed line are passed to the graphic controller 60. Then, the display screen of the color display device 12 is updated according to each changed color. FIG. 11 shows an operation flow of the control device 2 that realizes the first display color setting means.

なお、「線1」の線または「線2」の線のいずれか一方のみが自動設定モードになっている場合は、背景色と自動設定モードでない線の色に基づいて対象の線の色を変更するようにしてもよい。この場合、1つの背景色に対する2つの線色の組合せを複数用意しておき(ROM24にテーブルで記憶)、その中から適応的に選択する方法がある。この詳細な説明については省略する。   When only one of the “Line 1” line and the “Line 2” line is in the automatic setting mode, the color of the target line is set based on the background color and the color of the line not in the automatic setting mode. It may be changed. In this case, there is a method of preparing a plurality of combinations of two line colors for one background color (stored in a table in the ROM 24) and adaptively selecting them. This detailed description is omitted.

次に、「線1」と「線2」の2種類の線のほかに、さらに視覚的に強調させる「強調」の線がある場合について説明する。前述した「線1」と「線2」の2種類の線のみがある場合と同様に、「描画線」(鉛筆マーク)アイコンが選択されると、3種類の線についての属性が表示される。この表示例を図12に示す。「強調」の線は、色が赤、太さが2ptであり、「線1」の線は、色が黒、太さが1.5pt、「線2」の線は、色が青、太さが1.5ptである。また、いずれの線も色の設定が背景色から自動的に決まる自動モードに設定されている。今、背景色が白である場合を示している。背景色と「強調」の線色、「線1」と「線2」の線色の組合せデータテーブルは予め制御装置2のROM24に記憶されており、設定されている背景色に従って3つの線色が一義的に決まるようになっている。   Next, in addition to the two types of lines “line 1” and “line 2”, a case where there is a line of “emphasis” to be further visually emphasized will be described. Similar to the case where there are only two types of lines, “Line 1” and “Line 2”, when the “drawing line” (pencil mark) icon is selected, attributes for the three types of lines are displayed. . An example of this display is shown in FIG. The “enhanced” line has a red color and a thickness of 2 pt. The “line 1” line has a black color and a thickness of 1.5 pt. The “line 2” line has a blue color and a thick color. Is 1.5pt. Each line is set to an automatic mode in which the color setting is automatically determined from the background color. The case where the background color is white is shown. A combination data table of the background color and the line color of “emphasis” and the line color of “line 1” and “line 2” is stored in the ROM 24 of the control device 2 in advance, and the three line colors are set according to the set background color. Is uniquely determined.

図12に示したプルダウンメニューで「線の設定」が選択されると、「線の設定」を行うウィンドウを表示させる。この「線の設定」ウィンドウの表示例を図13に示す。図13は「強調」の線の属性を表示している。表示されている各メニューの機能は図10と同様である。   When “line setting” is selected from the pull-down menu shown in FIG. 12, a window for performing “line setting” is displayed. A display example of this “line setting” window is shown in FIG. FIG. 13 displays the attribute of the “highlight” line. The functions of the displayed menus are the same as those in FIG.

3つの線の色が全て自動設定モードになっているときに背景色が変更されると、ROM24に記憶された背景色と3つの線色の組合せデータテーブルを参照して、3つの線色をそれぞれ変更する。例えば、背景色が白から緑に変更されると、「強調」の線は桃色、「線1」は白、「線2」は水色にそれぞれ変更される。なお、背景色の緑と「強調」の線色である桃色とは補色の関係にあり、「強調」の線は目立って見える。そして、それぞれ変更された色に従って、カラー表示装置12の表示画面が更新される。   If the background color is changed when all three line colors are in the automatic setting mode, the three line colors are selected by referring to the combination data table of the background color and the three line colors stored in the ROM 24. Change each one. For example, when the background color is changed from white to green, the “emphasis” line is changed to pink, “line 1” is changed to white, and “line 2” is changed to light blue. Note that the background color green and the “highlight” line color pink are in a complementary relationship, and the “highlight” line is conspicuous. Then, the display screen of the color display device 12 is updated according to the changed colors.

なお、「強調」、「線1」、「線2」の全ての線が自動設定モードになっていない場合は、背景色と自動設定モードでない線の色に基づいて対象の線の色を変更するようにしてもよい。この場合、1つの背景色に対する3つの線色の組合せを複数用意しておき(ROM24にテーブルで記憶)、その中から適応的に選択する方法がある。この詳細な説明については省略する。   If all lines of “emphasis”, “line 1”, and “line 2” are not in the automatic setting mode, the color of the target line is changed based on the background color and the line color that is not in the automatic setting mode. You may make it do. In this case, there is a method in which a plurality of combinations of three line colors with respect to one background color are prepared (stored in a table in the ROM 24) and adaptively selected from them. This detailed description is omitted.

続いて、描画線の色が全て自動設定モードになっているときに背景色が変更されるとその背景色に従って全ての線色が一義的に決まるのではなく、この全ての線色の組合せを1つの背景色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。ここでは、描画線の種類として、「強調」、「線1」、「線2」の3種類がある場合について説明する。   Subsequently, when the background color is changed when all the drawing line colors are in the automatic setting mode, not all line colors are uniquely determined according to the background color, but a combination of all the line colors is selected. A case will be described in which a plurality of background colors are prepared for the user to select from these. Here, a case will be described where there are three types of drawing lines: “emphasis”, “line 1”, and “line 2”.

ユーザにより「描画線」アイコンが選択されると、3種類の線についての属性を表示する。この表示例を図14に示す。ここでは、背景色が緑、「強調」の線が桃色、「線1」が白、「線2」が水色であるとする。   When the “drawing line” icon is selected by the user, attributes for three types of lines are displayed. An example of this display is shown in FIG. Here, it is assumed that the background color is green, the “emphasized” line is pink, “line 1” is white, and “line 2” is light blue.

図14に示したプルダウンメニューの一番下にある「次」が選択されると、3種類の中の1つ以上の線の色を変更する。例えば、「強調」の線だけを黄色に変更する。この3つの線色の組合せは、1つの背景色に対して複数組が視覚的に好ましい順序にROM24にテーブルで記憶されており、ユーザにより次の組合せが選択されると、このデータテーブルの次の組合せを参照して、線の属性(色)を変更する。前記のプルダウンメニューが表示された状態で「描画線」アイコンが選択されると、そのときに表示していた線の属性を有効なデータとして設定する。表示色選択手段を実現する上記の制御装置2の動作フローを図15に示す。   When “next” at the bottom of the pull-down menu shown in FIG. 14 is selected, the color of one or more lines among the three types is changed. For example, only the “emphasis” line is changed to yellow. These three combinations of line colors are stored in a table in the ROM 24 in a visually preferred order for one background color, and when the next combination is selected by the user, The line attribute (color) is changed with reference to the combination. When the “drawing line” icon is selected while the pull-down menu is displayed, the attribute of the line displayed at that time is set as valid data. FIG. 15 shows an operation flow of the control device 2 for realizing the display color selection means.

なお、1つの背景色に対するこの線色の組合せの優先順位は、本システムが使用される用途に応じて変わるように動作させることもできる。例えば、ビジネス用途で使用する場合、桃色はビジネスの場にそぐわないため、桃色を使用した線の組合せは優先順位を低く設定する。この使用用途の設定は、例えば装置の設置時に保守モードにて設定できるようにする。そして、この使用用途と各線色の組合せの優先順位はROM24に記憶しておく。   It should be noted that the priority of the combination of line colors with respect to one background color can be operated so as to change depending on the application in which the present system is used. For example, when used for business purposes, pink is not suitable for business, so the combination of lines using pink is set with a low priority. This usage setting can be set in the maintenance mode when the apparatus is installed, for example. And the priority order of the combination of the usage and each line color is stored in the ROM 24.

ところで、カラー表示装置12には、描画線の色を設定したり筆記領域の背景色を設定するためのアイコンに加えて「カーソル」の色を設定するためのアイコンが表示されており(図9参照)、ユーザがこれにタッチすると「カーソル色の設定」ウィンドウを開き、このウィンドウ中にあるカラーパレットを使用して色を設定(変更)することができる。このウィンドウの表示例は省略する。なお、ここでは、描画線が2種類の場合を例にとって説明する。   Incidentally, the color display device 12 displays an icon for setting the color of the “cursor” in addition to the icon for setting the color of the drawing line and the background color of the writing area (FIG. 9). If the user touches this, a “cursor color setting” window is opened, and a color palette in this window can be used to set (change) the color. A display example of this window is omitted. Here, a case where there are two types of drawing lines will be described as an example.

背景色と「カーソル」の色、「線1」の線色、「線2」の線色の組合せデータテーブルは予め制御装置2のROM24に記憶されており、設定されている背景色に従ってカーソルの色と2つの線色が一義的に決まるようになっている。例えば、背景色が白の場合、「カーソル」は緑、「線1」は黒、「線2」は赤であり、背景色が白から緑に変更されると、「カーソル」は水色、「線1」は白、「線2」は桃色にそれぞれ変更される。カーソル表示色設定手段を実現する上記の制御装置2の動作フローを図16に示す。   A combination data table of the background color and the color of “cursor”, the line color of “line 1”, and the line color of “line 2” is stored in the ROM 24 of the control device 2 in advance, and the cursor color is changed according to the set background color. Color and two line colors are uniquely determined. For example, when the background color is white, “cursor” is green, “line 1” is black, “line 2” is red, and when the background color is changed from white to green, “cursor” is light blue, “Line 1” is changed to white, and “Line 2” is changed to pink. FIG. 16 shows an operation flow of the control device 2 for realizing the cursor display color setting means.

次に、情報入出力システム100が設置される背後あるいは周囲の色(環境色)に近い色を設定し、この色に基づいて筆記領域の背景色および描画線の色を自動的に設定する場合について説明する。環境色は、保守モードにて設定される。   Next, when a color close to the background or surrounding color (environment color) where the information input / output system 100 is installed is set, and the background color of the writing area and the color of the drawing line are automatically set based on this color Will be described. The environmental color is set in the maintenance mode.

保守モードにて「環境色の設定」が選択されると、図10に示したのと同様なカラーパレットをカラー表示装置12に表示する。環境色と筆記領域の背景色および描画線の色の組合せデータテーブルは予め制御装置2のROM24に記憶されており、ユーザが表示されたカラーパレットの中から情報入出力システム100が設置される背後あるいは周囲の色に近い色を選択すると、その選択された環境色に従って筆記領域の背景色および描画線の色が一義的に決まるようになっている。例えば、描画線が「線1」と「線2」の2種類あり、環境色として薄茶色(ベージュ)が設定されている場合には、背景色を薄い黄色、「線1」を黒、「線2」を赤に設定する。また、環境色として桃色が設定されている場合には、背景色を薄い赤、「線1」を青、「線2」を黄色に設定する。環境色登録手段を実現する上記の制御装置2の動作フローを図17に示す。   When “environment color setting” is selected in the maintenance mode, a color palette similar to that shown in FIG. 10 is displayed on the color display device 12. A combination data table of the environment color, the background color of the writing area and the color of the drawing line is stored in advance in the ROM 24 of the control device 2, and the back of the information input / output system 100 installed from the color palette displayed by the user. Alternatively, when a color close to the surrounding color is selected, the background color of the writing area and the color of the drawing line are uniquely determined according to the selected environmental color. For example, if there are two types of drawing lines, “Line 1” and “Line 2”, and the environment color is set to light brown (beige), the background color is light yellow, “Line 1” is black, Set line 2 "to red. When pink is set as the environmental color, the background color is set to light red, “Line 1” is set to blue, and “Line 2” is set to yellow. FIG. 17 shows an operation flow of the control device 2 for realizing the environmental color registration means.

続いて、背景色と描画線の色の組合せを1つの環境色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。   Next, a case will be described in which a plurality of combinations of background colors and drawing line colors are prepared for one environmental color and the user is allowed to select from these.

保守モードにて「環境色の設定」が選択されると、カラーパレットをカラー表示装置12に表示し、ユーザがその中から情報入出力システム100が設置される背後あるいは周囲の色に近い色を選択すると、背景色と描画線の色の組合せを選択するための「色設定」ウィンドウを表示させる。この「色設定」ウィンドウの表示例を図18に示す。今、環境色として薄茶色が設定されており、背景色が薄い黄色、「線1」が黒、「線2」が赤に表示されている。図18に示すウィンドウ中の「次」ボタンが選択されると、背景色を薄茶色、「線1」を黒、「線2」を青に表示する。ここで、「設定」ボタンが選択されると、背景色および各線の色を現在表示されている色に確定する。組合せ選択手段を実現する上記の制御装置2の動作フローを図19に示す。   When “environment color setting” is selected in the maintenance mode, a color palette is displayed on the color display device 12, and the user can select a color close to the color behind or around where the information input / output system 100 is installed. When selected, a “color setting” window for selecting a combination of background color and drawing line color is displayed. A display example of this “color setting” window is shown in FIG. Now, light brown is set as the environmental color, the background color is light yellow, “Line 1” is black, and “Line 2” is red. When the “Next” button in the window shown in FIG. 18 is selected, the background color is displayed as light brown, “Line 1” is displayed in black, and “Line 2” is displayed in blue. Here, when the “setting” button is selected, the background color and the color of each line are fixed to the currently displayed color. FIG. 19 shows an operation flow of the control device 2 that realizes the combination selection means.

次に、本発明の第二の実施の形態を図20ないし図31に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。第一の実施の形態においては、情報入出力システム100が備える特長的な機能として描画線や背景の色を適宜設定、変更する機能について説明したが、本実施の形態においては、文字や背景の色を適宜設定、変更する機能について説明について説明するものである。   Next, a second embodiment of the present invention will be described with reference to FIGS. In addition, the same part as 1st Embodiment mentioned above is shown with the same code | symbol, and abbreviate | omits description. In the first embodiment, the function for appropriately setting and changing the color of the drawing line and the background has been described as a characteristic function provided in the information input / output system 100. However, in this embodiment, the character and background A description will be given of the function of appropriately setting and changing the color.

なお、本実施の形態においても、動画や静止画は使用しないため、表示コントローラ31中の信号の流れは、
PCIバス41→グラフィックコントローラ60→グラフィック用ビデオメモリ61→グラフィックデータ変換部62→表示データ生成部63→DAC64→カラー表示装置12
のみとなる。背景と描画データ、カーソルデータの重ね合わせ処理は、グラフィックコントローラ60にて実行される。
In this embodiment as well, since no moving image or still image is used, the signal flow in the display controller 31 is
PCI bus 41-> graphic controller 60-> graphic video memory 61-> graphic data conversion unit 62-> display data generation unit 63-> DAC 64-> color display device 12
It becomes only. The graphic controller 60 executes the overlay process of the background, the drawing data, and the cursor data.

図20の表示例に示すように、カラー表示装置12には、文字の色を設定したり背景色を設定するためのアイコンが表示されており、これらのアイコンを選択することにより、文字や背景の色を適宜設定、変更できるようになっている。   As shown in the display example of FIG. 20, the color display device 12 displays icons for setting the color of characters and setting the background color. By selecting these icons, characters and backgrounds are displayed. The color can be set and changed as appropriate.

ユーザにより「文字」アイコンが選択されると、「文字の設定」を行うウィンドウを表示させる。この「文字の設定」ウィンドウの表示例を図21に示す。図21中、「フォント」は「明朝」、「ゴシック」等のフォントの種類を、「大きさ」は文字の大きさを、「スタイル」は「太字」、「斜体」等の文字のスタイルを、それぞれ変更できる。文字の色は40色のカラーパレットの中から選択できる。このウィンドウ中の「色の変更」が選択されると、既に表示されている文字の色以外で背景色に対して目立つ色を40色のカラーパレットの中から自動的に選択する。なお、1つの背景色に対して、その上に表示する文字の色を、例えば目立つ色の順にROM24に予めデータテーブルとして記憶しておき、「色の変更」が選択されたときには、このデータテーブルを参照して目立つ色の順に文字の色を選択するとよい。例えば、背景色が白で現在の文字の色が黒のみの場合に「色の変更」が選択されると、それ以降にキーボード3から入力される文字の色を赤で表示する。既に表示されている文字の色を変更する場合は、色を変更したい文字列を指定してから「文字」アイコンを選択して「文字の設定」ウィンドウを開いて色の変更操作を行うことで指定した文字列の色を変更することができる。   When the “character” icon is selected by the user, a window for performing “character setting” is displayed. A display example of the “character setting” window is shown in FIG. In FIG. 21, “Font” is a font type such as “Mincho”, “Gothic”, “Size” is a character size, “Style” is a character style such as “Bold”, “Italic”, etc. Can be changed respectively. The text color can be selected from a 40-color palette. When “change color” in this window is selected, colors that are conspicuous with respect to the background color are automatically selected from the color palette of 40 colors other than the color of characters already displayed. For one background color, the color of the character displayed on the background color is stored in advance in the ROM 24 as a data table, for example, in the order of conspicuous colors, and this data table is displayed when “change color” is selected. The character color may be selected in the order of the conspicuous colors with reference to FIG. For example, when “color change” is selected when the background color is white and the current character color is only black, the character color input from the keyboard 3 thereafter is displayed in red. To change the color of text that is already displayed, select the text you want to change the color of, then select the “Text” icon to open the “Text Settings” window and change the color. The color of the specified character string can be changed.

また、図20に示した「背景色」アイコンが選択されると、「背景色の設定」を行うウィンドウを表示させる。このウィンドウには図21(「文字の設定」ウィンドウ)に示したのと同じ40色のカラーパレットを表示する。そして、このカラーパレットを使用して背景色を設定(変更)することができる。なお、このウィンドウの表示例は省略する。   When the “background color” icon shown in FIG. 20 is selected, a window for performing “background color setting” is displayed. In this window, the same 40-color palette as shown in FIG. 21 (“character setting” window) is displayed. The background color can be set (changed) using this color palette. A display example of this window is omitted.

次に、背景色を変更したときに、文字の表示色を変更する場合について説明する。背景色が白で文字の色が黒と赤である場合に背景色が緑に変更されると、黒の文字色は白に、赤の文字色は桃色にそれぞれ変更される。なお、背景色の緑と文字色である桃色とは補色の関係にあり、この色の文字は目立って見える。背景色が変更されると、CPU20は背景用ユーザプレーン番号と変更後の色情報(緑)を含めた塗りつぶしコマンド、および文字表示用ユーザプレーン番号と黒の文字色は白に、赤の文字色は桃色にそれぞれ変更する表示色変更コマンドをグラフィックコントローラ60へ渡す。そして、それぞれの変更された色に従って、カラー表示装置12の表示画面が更新される。なお、背景色とそれに対応した各文字色との組合せデータテーブルは予めROM24に記憶されており、設定されている背景色に従って2つ、あるいはそれ以上の文字色が一義的に決まるようになっている。表示色第一設定手段を実現する上記の制御装置2の動作フローを図22に示す。   Next, a case where the character display color is changed when the background color is changed will be described. If the background color is white and the text color is black and red, and the background color is changed to green, the black text color is changed to white and the red text color is changed to pink. Note that the background color green and the peach color, which is a character color, have a complementary relationship, and characters of this color are conspicuous. When the background color is changed, the CPU 20 performs a fill command including the background user plane number and the color information (green) after the change, and the character display user plane number and the black character color are white, and the red character color. Passes to the graphic controller 60 a display color change command for changing to pink. Then, the display screen of the color display device 12 is updated according to each changed color. The combination data table of the background color and the corresponding character color is stored in the ROM 24 in advance, and two or more character colors are uniquely determined according to the set background color. Yes. FIG. 22 shows an operation flow of the control device 2 that realizes the first display color setting means.

なお、上記は文字の色を変更する場合について説明したが、閉領域内(図形内)の塗りつぶし等のグラフィックについても、背景色に対して目立つ色を自動的に選択させることができる。この詳細な説明については省略する。   In the above description, the character color is changed. However, a conspicuous color with respect to the background color can be automatically selected for graphics such as filling in the closed region (in the figure). This detailed description is omitted.

次に、2つの文字色のほかに、さらに視覚的に強調させる「強調」の文字色がある場合について説明する。前述した2つの文字色がある場合と同様に、「文字」アイコンが選択されると、「文字の設定」ウィンドウを表示させる。この表示例を図23に示す。図23は図21に対して「強調色」のメニューが追加されている。ここで「強調色」が選択されると、それ以降にキーボード3から入力される文字の色を背景色に対して最も目立つ色で表示する。この最も目立つ色として、背景色に対する補色を選択するとよい。強調色に変更したい文字列が指定されている状態で「強調色」が選択されると、その指定された文字列を背景色に対して最も目立つ色で表示する。なお、「強調色」の選択操作が行われたときに強調色と同じ色の文字が既に存在している場合には、その既存の文字の色を他の色に変更する。背景色とそれに対応した強調色および各文字色との組合せデータテーブルは予めROM24に記憶されており、設定されている背景色に従ってこれらの文字色が一義的に決まるようになっている。例えば、背景色が緑で白と桃色の文字が表示されている状態で「強調色」が選択されると、既存の桃色の文字を水色に変更し、それ以降にキーボード3から入力される文字の色を桃色で表示する。上記の制御装置2の動作フローを図24に示す。   Next, a case where there is a character color of “emphasis” to be visually emphasized in addition to the two character colors will be described. As in the case of the two character colors described above, when the “character” icon is selected, the “character setting” window is displayed. An example of this display is shown in FIG. In FIG. 23, an “emphasized color” menu is added to FIG. When “highlight color” is selected here, the color of characters input from the keyboard 3 thereafter is displayed in the most prominent color with respect to the background color. As the most prominent color, a complementary color with respect to the background color may be selected. When “highlight color” is selected in a state where a character string to be changed to the highlight color is designated, the designated character string is displayed in a color that is most conspicuous with respect to the background color. If a character with the same color as the emphasized color already exists when the “emphasized color” selection operation is performed, the color of the existing character is changed to another color. A combination data table of the background color, the corresponding emphasis color, and each character color is stored in advance in the ROM 24, and these character colors are uniquely determined according to the set background color. For example, if “emphasis color” is selected while white and pink characters are displayed in green, the existing pink characters are changed to light blue, and characters that are input from the keyboard 3 thereafter. Is displayed in pink. The operation flow of the control device 2 is shown in FIG.

なお、上記は文字の色を変更する場合について説明したが、閉領域内(図形内)の塗りつぶし等のグラフィックについても、背景色に対して最も目立つ色を自動的に選択させることができる。この詳細な説明については省略する。   In the above description, the character color is changed. However, it is possible to automatically select the most conspicuous color with respect to the background color for graphics such as filling in the closed region (in the figure). This detailed description is omitted.

続いて、背景色が変更されるとその背景色に従って複数の文字色が一義的に決まるのではなく、この文字色の組合せを1つの背景色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。ここでは、文字色の種類として、「強調色」、「文字色1」、「文字色2」の3種類がある場合について説明する。   Subsequently, when the background color is changed, a plurality of character colors are not uniquely determined according to the background color, but a plurality of combinations of the character colors are prepared for one background color. A case where the user makes a selection will be described. Here, a case will be described in which there are three types of character colors: “emphasized color”, “character color 1”, and “character color 2”.

ユーザにより「文字」アイコンが選択されると、「文字の設定」ウィンドウを表示させる。この表示例を図25に示す。図25は図23の「強調色」のメニューが「色の組合せ」のメニューに変更されたものである。   When the “character” icon is selected by the user, a “character setting” window is displayed. An example of this display is shown in FIG. FIG. 25 is obtained by changing the “emphasis color” menu in FIG. 23 to a “color combination” menu.

ここで「色の組合せ」が選択されると、「表示色の組合せ」ウィンドウを表示させる。この表示例を図26に示す。図26で、表示文字色の数は可変に設定できるようになっており、現在は3が設定されている。この表示文字色の数に対応して3種類の色が実際に表示されている(「強調色」は桃色、「文字色1」は白、「文字色2」は水色)。ここで、1番目の色は強調色である。表示文字色の数に4以上が設定されると、「表示色の組合せ」ウィンドウ中の右の空白領域に「文字色3」、「文字色4」・・・・と文字色が追加して表示される。この「表示色の組合せ」ウィンドウ中の「次」メニューが選択されると、3種類の中の1つ以上の文字色を変更する。例えば、「強調色」だけを黄色に変更する。この3つの文字色の組合せは、1つの背景色に対して複数組が視覚的に好ましい順序にROM24にテーブルで記憶されており、ユーザにより次の組合せが選択されると、このデータテーブルの次の組合せを参照して、表示色を変更する。組合せ選択手段を実現する上記の制御装置2の動作フローを図27に示す。   When “color combination” is selected here, a “display color combination” window is displayed. This display example is shown in FIG. In FIG. 26, the number of display character colors can be variably set. Currently, 3 is set. Three types of colors are actually displayed corresponding to the number of displayed character colors ("emphasized color" is pink, "character color 1" is white, and "character color 2" is light blue). Here, the first color is a highlight color. When the number of display character colors is set to 4 or more, the character colors “Character color 3”, “Character color 4”,... Are added to the right blank area in the “Display color combination” window. Is displayed. When the “next” menu in this “display color combination” window is selected, one or more of the three character colors are changed. For example, only “highlight color” is changed to yellow. A plurality of combinations of these three character colors are stored in a table in the ROM 24 in a visually preferred order for one background color. When the next combination is selected by the user, the next combination of the data table is displayed. The display color is changed with reference to the combination. FIG. 27 shows an operation flow of the control device 2 that realizes the combination selection means.

なお、1つの背景色に対するこの文字色の組合せの優先順位は、本システムが使用される用途に応じて変わるように動作させることもできる。例えば、ビジネス用途で使用する場合、桃色はビジネスの場にそぐわないため、桃色を使用した色の組合せは優先順位を低く設定する。この使用用途の設定は、例えば装置の設置時に保守モードにて設定できるようにする。そして、この使用用途と各文字色の組合せの優先順位はROM24に記憶しておく。   It should be noted that the priority order of the combination of the character colors with respect to one background color can be operated so as to change depending on the application in which the present system is used. For example, when used for business purposes, pink is not suitable for business, so the combination of colors using pink is set with a low priority. This usage setting can be set in the maintenance mode when the apparatus is installed, for example. The priority order of the combination of usage and each character color is stored in the ROM 24.

ところで、カラー表示装置12には、文字の色を設定したり背景色を設定するためのアイコンに加えて「カーソル」の色を設定するためのアイコンが表示されており(図20参照)、ユーザがこれにタッチすると「カーソル色の設定」ウィンドウを開き、このウィンドウ中にあるカラーパレットを使用して色を設定(変更)することができる。このウィンドウの表示例は省略する。   By the way, the color display device 12 displays an icon for setting the color of the “cursor” in addition to icons for setting the color of characters and setting the background color (see FIG. 20). Touching this opens the “Set Cursor Color” window, where you can use the color palette in this window to set (change) the color. A display example of this window is omitted.

背景色とそれに対応した複数の文字色、および「カーソル」の色の組合せデータテーブルは予め制御装置2のROM24に記憶されており、設定されている背景色に従ってカーソルの色と複数の文字色が一義的に決まるようになっている。例えば、背景色が白の場合、「カーソル」は緑、第1の文字色は黒、第2の文字色は赤であり、背景色が白から緑に変更されると、「カーソル」は水色、第1の文字色は白、第2の文字色は桃色にそれぞれ変更する。カーソル表示色設定手段を実現する上記の制御装置2の動作フローを図28に示す。   A combination data table of the background color, a plurality of character colors corresponding to the background color, and the color of the “cursor” is stored in advance in the ROM 24 of the control device 2, and the cursor color and the plurality of character colors are determined according to the set background color. It is decided uniquely. For example, when the background color is white, the “cursor” is green, the first character color is black, the second character color is red, and when the background color is changed from white to green, the “cursor” is light blue The first character color is changed to white and the second character color is changed to pink. FIG. 28 shows an operation flow of the control device 2 for realizing the cursor display color setting means.

次に、情報入出力システム100が設置される背後あるいは周囲の色(環境色)に近い色を設定し、この色に基づいて背景色および文字の色を自動的に設定する場合について説明する。環境色は、保守モードにて設定される。   Next, a case will be described in which a color close to the background or surrounding color (environment color) where the information input / output system 100 is installed is set, and the background color and character color are automatically set based on this color. The environmental color is set in the maintenance mode.

保守モードにて「環境色の設定」が選択されると、図21に示したのと同様なカラーパレットをカラー表示装置12に表示する。環境色と背景色および複数の文字の色の組合せデータテーブルは予めROM24に記憶されており、ユーザが表示されたカラーパレットの中から情報入出力システム100が置かれる背後あるいは周囲の色に近い色を選択すると、その選択された環境色に従って背景色および複数の文字の色が一義的に決まるようになっている。例えば、環境色として薄茶色(ベージュ)が設定されている場合には、背景色を薄い黄色、第1の文字色を黒、第2の文字色を赤に設定する。また、環境色として桃色が設定されている場合には、背景色を薄い赤、第1の文字色を青、第2の文字色を黄色に設定する。環境色登録手段を実現する上記の制御装置2の動作フローを図29に示す。   When “environment color setting” is selected in the maintenance mode, a color palette similar to that shown in FIG. 21 is displayed on the color display device 12. A combination data table of environmental colors, background colors, and a plurality of character colors is stored in the ROM 24 in advance, and a color close to the background or surrounding color where the information input / output system 100 is placed from the color palette displayed by the user. When is selected, the background color and the colors of a plurality of characters are uniquely determined according to the selected environmental color. For example, when light brown (beige) is set as the environmental color, the background color is set to light yellow, the first character color is set to black, and the second character color is set to red. When the environment color is pink, the background color is set to light red, the first character color is set to blue, and the second character color is set to yellow. FIG. 29 shows an operation flow of the control device 2 for realizing the environmental color registration means.

続いて、背景色と文字の色の組合せを1つの環境色に対して複数用意しておき、これらの中からユーザに選択させる場合について説明する。   Next, a case will be described in which a plurality of combinations of background colors and character colors are prepared for one environmental color and the user is allowed to select from these.

保守モードにて「環境色の設定」が選択されると、カラーパレットをカラー表示装置12に表示し、ユーザがその中から情報入出力システム100が設置される背後あるいは周囲の色に近い色を選択すると、背景色と文字の色の組合せを選択するための「表示色の組合せ」ウィンドウを表示させる。この「表示色の組合せ」ウィンドウの表示例を図30に示す。今、環境色として薄茶色が設定されており、背景色が薄い黄色、第1の文字色が黒、第2の文字色が赤に表示されているときに、このウィンドウ中の「次」ボタンが選択されると、背景色を薄茶色、第1の文字色を黒、第2の文字色を青にする。ここで、「設定」ボタンが選択されると、背景色および各文字の色を現在「表示色の組合せ」ウィンドウに表示されている色に変更する。組合せ選択手段を実現する上記の制御装置2の動作フローを図31に示す。   When “environment color setting” is selected in the maintenance mode, a color palette is displayed on the color display device 12, and the user can select a color close to the color behind or around where the information input / output system 100 is installed. Upon selection, a “display color combination” window for selecting a combination of background color and character color is displayed. A display example of the “display color combination” window is shown in FIG. When the environment color is set to light brown, the background color is light yellow, the first character color is black, and the second character color is red, the “Next” button in this window Is selected, the background color is light brown, the first character color is black, and the second character color is blue. Here, when the “set” button is selected, the background color and the color of each character are changed to the colors currently displayed in the “display color combination” window. FIG. 31 shows an operation flow of the control device 2 that realizes the combination selection means.

次に、本発明の第三の実施の形態を図32ないし図35に基づいて説明する。なお、前述した第一の実施の形態および第二の実施の形態と同一部分は同一符号で示し説明も省略する。本実施の形態は、筆記領域の背景が単色である場合を示した前述した第一の実施の形態および第二の実施の形態と異なり、筆記領域の背景として静止画像や動画像が使用されている場合を示したものである。   Next, a third embodiment of the present invention will be described with reference to FIGS. In addition, the same part as 1st embodiment mentioned above and 2nd embodiment is shown with the same code | symbol, and description is also abbreviate | omitted. Unlike the first embodiment and the second embodiment described above in which the background of the writing area is a single color, the present embodiment uses a still image or a moving image as the background of the writing area. This is a case where

なお、本実施の形態においては、動画や静止画を使用するため、表示コントローラ31中のグラフィックデータの信号の流れは、
PCIバス41→グラフィックコントローラ60→グラフィック用ビデオメモリ61→グラフィックデータ変換部62→表示データ生成部63→ビデオデータ重畳部68→DAC64→カラー表示装置12
となる。
In this embodiment, since a moving image or a still image is used, the flow of the graphic data signal in the display controller 31 is as follows.
PCI bus 41-> graphic controller 60-> graphic video memory 61-> graphic data conversion unit 62-> display data generation unit 63-> video data superimposition unit 68-> DAC 64-> color display device 12
It becomes.

YUVビデオ信号は、情報の大部分が輝度(Y)に集中している。そこで、画像の輝度成分について空間周波数分布を調べることで、その画像の特徴を判断することができる。本実施の形態においては、静止画や動画のデータは空間周波数チェック部69を通り、ここで空間周波数分布が調べられる。空間周波数チェック部69は、MPEGデコーダ32から入力されるYUVビデオデータあるいはCPU20にてソフトウェアにより伸長された静止画のYUVビデオデータを8×8画素ずつのブロックに分割して、各ブロック毎に輝度成分(Y)について空間周波数分布を調べる。   In the YUV video signal, most of the information is concentrated on the luminance (Y). Therefore, the characteristics of the image can be determined by examining the spatial frequency distribution of the luminance component of the image. In the present embodiment, still image data and moving image data pass through the spatial frequency check unit 69, where the spatial frequency distribution is examined. The spatial frequency check unit 69 divides the YUV video data input from the MPEG decoder 32 or the YUV video data of the still image expanded by software by the CPU 20 into blocks each having 8 × 8 pixels, and the luminance for each block. The spatial frequency distribution is examined for the component (Y).

この方法として、例えば、2次元の離散コサイン変換(DCT:Discrete Cosine Transform)を用いる。2次元の離散コサイン変換は次式で示される。   As this method, for example, a two-dimensional discrete cosine transform (DCT) is used. The two-dimensional discrete cosine transform is expressed by the following equation.

Figure 2010146026
Figure 2010146026

式(8)で、Nはブロックの水平方向および垂直方向の画素数であり、ここではN=8である。f(i,j)は空間周波数チェック部69に入力された各画素の輝度値、F(u,v)は水平方向の空間周波数uと垂直方向の空間周波数vにおけるDCT係数である。この空間周波数u,vとDCT係数F(u,v)との関係から空間周波数分布を判断することができる。すなわち、大きな値のu,vに対してF(u,v)の値が大きければ高い空間周波数成分の多い画像であると判断できる。   In Expression (8), N is the number of pixels in the horizontal and vertical directions of the block, and here N = 8. f (i, j) is a luminance value of each pixel input to the spatial frequency check unit 69, and F (u, v) is a DCT coefficient at the spatial frequency u in the horizontal direction and the spatial frequency v in the vertical direction. The spatial frequency distribution can be determined from the relationship between the spatial frequency u, v and the DCT coefficient F (u, v). That is, if the value of F (u, v) is larger than the larger values of u and v, it can be determined that the image has many high spatial frequency components.

このようにして、各ブロック毎に高い空間周波数成分の多い画像であるか否かが判断され(背景画像判断手段)、高い空間周波数成分の多い画像と判断されたブロックの数が全てのブロックの数に対して所定の割合以上であった場合に、その画像全体が高い空間周波数成分の多い画像であるとみなす。そして、画像全体が高い空間周波数成分の多い画像であると判断した場合には、全ての画素の輝度成分(Y)の平均を求める。   In this way, it is determined whether or not each block has an image with many high spatial frequency components (background image determination means), and the number of blocks determined to be an image with many high spatial frequency components is the number of all blocks. When the ratio is greater than or equal to a predetermined ratio with respect to the number, the entire image is regarded as an image having a high spatial frequency component. If it is determined that the entire image is an image having a high spatial frequency component, the average of the luminance components (Y) of all the pixels is obtained.

そして、この平均値が所定の値よりも大きい場合には(輝度値判断手段)、空間周波数チェック部69は高い空間周波数成分が多く、また輝度の大きい画像である旨をCPU20へ通知する。CPU20はこの通知を受けると、描画線の色を黒に設定する(表示色第二設定手段)。なお、描画線が複数ある場合には、いずれの線も明度の低い(暗い)色に設定する。加えて、CPU20はこの通知を受けると、全ての文字の色を黒に設定する。なお、文字の色を全て黒にするのではなく、各文字色毎にその明度を低くした(暗くした)色に設定してもよい。   When this average value is larger than a predetermined value (luminance value determination means), the spatial frequency check unit 69 notifies the CPU 20 that the image has a high spatial frequency component and has a high luminance. Upon receiving this notification, the CPU 20 sets the color of the drawing line to black (display color second setting means). When there are a plurality of drawing lines, all the lines are set to a low (dark) color. In addition, upon receiving this notification, the CPU 20 sets the color of all characters to black. Note that the character color may not be all black, but may be set to a color in which the lightness is lowered (darkened) for each character color.

一方、画像全体が高い空間周波数成分の多い画像であると判断し、全ての画素の輝度成分(Y)の平均が所定の値よりも小さい場合には、空間周波数チェック部69は高い空間周波数成分が多く、また輝度の小さい画像である旨をCPU20へ通知する。CPU20はこの通知を受けると、描画線の色を白に設定する(表示色第二設定手段)。なお、描画線が複数ある場合には、いずれの線も明度の高い(明るい)色に設定する。加えて、CPU20はこの通知を受けると、全ての文字の色を白に設定する。なお、文字の色を全て白にするのではなく、各文字色毎にその明度を高くした(明るくした)色に設定してもよい。   On the other hand, when it is determined that the entire image is an image having a high spatial frequency component and the average of the luminance components (Y) of all the pixels is smaller than a predetermined value, the spatial frequency check unit 69 determines the high spatial frequency component. The CPU 20 is notified that the image has a large amount and a low luminance. Upon receiving this notification, the CPU 20 sets the color of the drawing line to white (display color second setting means). In addition, when there are a plurality of drawing lines, all the lines are set to a bright (bright) color. In addition, upon receiving this notification, the CPU 20 sets the color of all characters to white. Note that the character color may not be all white, but may be set to a color with increased (lightened) brightness for each character color.

その後、ユーザにより筆記入力があると、それに対応した描画線や文字を設定された色にて静止画または動画に重ねて表示する。   Thereafter, when the user inputs writing, the corresponding drawing lines and characters are displayed in a set color on the still image or moving image.

なお、動画の場合には、空間周波数チェック部69は所定の時間間隔で、例えば10秒間隔で空間周波数分布のチェックをするようにするとよい。   In the case of a moving image, the spatial frequency check unit 69 may check the spatial frequency distribution at predetermined time intervals, for example, at 10 second intervals.

上記の空間周波数チェック部69の動作フローを図32に示す。上記の動作フローでは、筆記領域の背景画像全体について判断処理する場合を示したが、背景画像を複数の領域に分割して、分割された各領域毎に空間周波数の分布をチェックしたり、輝度の判断処理をして、描画線の色や文字の色の設定をより適応的にすることもできる。この詳細な説明は省略する。   The operation flow of the spatial frequency check unit 69 is shown in FIG. In the above operation flow, the case where the entire background image of the writing area is determined is shown. However, the background image is divided into a plurality of areas, the spatial frequency distribution is checked for each divided area, the luminance is Thus, the drawing line color and the character color setting can be made more adaptive. This detailed description is omitted.

次に、高い空間周波数成分が少ない静止画や動画が筆記領域の背景画像である場合について説明する。この場合、描画線の色や文字の色を背景画像に対して目立つような色に設定する。   Next, a case where a still image or moving image with a small high spatial frequency component is the background image of the writing area will be described. In this case, the drawing line color and the character color are set to stand out from the background image.

空間周波数分布のチェックは、空間周波数チェック部69にて前述したような2次元の離散コサイン変換を用いた方法で行う。そして、画像全体が高い空間周波数成分の少ない画像であると判断した場合には、空間周波数チェック部69から出力されビデオデコーダ65を通って動画/静止画用ビデオメモリ66に入力されたR、G、Bデータより、この画像全体の中で最も多く使用されている色(画像の特徴色)を調べる。この方法として、例えば、1画素ずつその色をいくつかの代表的な色に色の類似度に基づいてグループ化し、最も多い代表色を特定してもよい。そして、描画線の色や文字の色を、この特定された代表色に対して目立つ色、例えば補色の関係にある色に設定する(表示色第三設定手段)。なお、描画線の色や文字の色が複数ある場合には、1つの背景色に対する複数の線色の組合せをROM24にテーブルで用意しておき、特定された代表色を背景色としてこのテーブルを参照し、描画線の色や文字の色を設定する。上記の制御装置2の動作フローを図33に示す。   The spatial frequency distribution is checked by a method using the two-dimensional discrete cosine transform as described above in the spatial frequency check unit 69. When it is determined that the entire image is an image with a high spatial frequency component and a small amount of spatial frequency components, R, G output from the spatial frequency check unit 69 and input to the video / still image video memory 66 through the video decoder 65. From the B data, the most frequently used color (characteristic color of the image) in the entire image is examined. As this method, for example, the colors may be grouped into several representative colors for each pixel based on the degree of color similarity, and the most representative colors may be specified. Then, the color of the drawing line or the color of the character is set to a color that is conspicuous with respect to the specified representative color, for example, a color that has a complementary color relationship (display color third setting means). When there are a plurality of drawing line colors and character colors, a combination of a plurality of line colors for one background color is prepared in a table in the ROM 24, and this table is used with the specified representative color as the background color. Refer to and set the drawing line color and text color. The operation flow of the control device 2 is shown in FIG.

続いて、高い空間周波数成分が多い静止画や動画が筆記領域の背景画像である場合に、描画線や文字が目立つように、描画線や文字の太さを太くする動作について説明する。   Next, an operation of increasing the thickness of the drawing line or character so that the drawing line or character is conspicuous when a still image or moving image having a high spatial frequency component is the background image of the writing area will be described.

空間周波数分布のチェックは、空間周波数チェック部69にて前述したような2次元の離散コサイン変換を用いた方法で行う。そして、画像全体が高い空間周波数成分の多い画像であると判断した場合には、この情報をCPU20へ通知する。CPU20はこの通知を受けると、現在の描画線や文字の太さをチェックして、所定の太さよりも細い場合には、その描画線や文字を所定の太さに設定する(サイズ切替手段)。なお、複数の太さの描画線や文字がある場合、各描画線や文字の太さに応じて太さを変更してもよい。例えば、「線1」が1.5pt、「線2」が2ptであった場合、それぞれ3pt、4ptに変更する。上記の制御装置2の動作フローを図34に示す。   The spatial frequency distribution is checked by a method using the two-dimensional discrete cosine transform as described above in the spatial frequency check unit 69. When it is determined that the entire image is an image having a high spatial frequency component, the CPU 20 is notified of this information. Upon receiving this notification, the CPU 20 checks the thickness of the current drawing line or character, and if it is thinner than the predetermined thickness, sets the drawing line or character to the predetermined thickness (size switching means). . In addition, when there are a plurality of thicknesses of drawing lines and characters, the thickness may be changed according to the thickness of each drawing line or character. For example, when “Line 1” is 1.5 pt and “Line 2” is 2 pt, the length is changed to 3 pt and 4 pt, respectively. The operation flow of the control device 2 is shown in FIG.

次に、高い空間周波数成分が多い静止画や動画が筆記領域の背景画像である場合に、描画線や文字が目立つように、描画線や文字に縁を付加して表示する動作について説明する。   Next, description will be made of an operation of adding a border to a drawing line or character so that the drawing line or character is conspicuous when a still image or moving image having a high spatial frequency component is a background image of a writing area.

空間周波数分布のチェックは、空間周波数チェック部69にて前述したような2次元の離散コサイン変換を用いた方法で行う。そして、画像全体が高い空間周波数成分の多い画像であると判断した場合には、この情報をCPU20へ通知する。CPU20はこの通知を受けると、描画線の色に対応した色を含めた縁を付加する描画コマンドや文字の色に対応した色を含めた縁を付加する描画コマンドをグラフィックコントローラ60へ渡す。グラフィックコントローラ60はこの描画コマンドを受けると、現在の描画線よりも太く又は現在の文字よりも大きい、描画コマンドで指定された色の描画線や文字を生成し、この新しく生成した描画線や文字の上に既存の描画線や文字を重ねる。このようにして、新しく生成した描画線や文字の中で既存の描画線や文字が重なっていない部分が線の縁となる。そして、この縁の付いた描画線や文字を静止画あるいは動画に重ね合わせてカラー表示装置12に表示する。なお、描画線や文字の色と、それに付加する縁の色は、ROM24に対応付けて記憶しておき、CPU20はこの情報を参照して付加する縁の色を特定する。上記の制御装置2の動作フローを図35に示す。   The spatial frequency distribution is checked by a method using the two-dimensional discrete cosine transform as described above in the spatial frequency check unit 69. When it is determined that the entire image is an image having a high spatial frequency component, the CPU 20 is notified of this information. Upon receiving this notification, the CPU 20 passes to the graphic controller 60 a drawing command for adding an edge including a color corresponding to the color of the drawing line and a drawing command for adding an edge including a color corresponding to the color of the character. Upon receiving this drawing command, the graphic controller 60 generates a drawing line or character of a color specified by the drawing command that is thicker than the current drawing line or larger than the current character, and this newly generated drawing line or character. Overlay existing drawing lines and text on top. In this way, the part of the newly generated drawing line or character where the existing drawing line or character does not overlap is the edge of the line. The drawn drawing lines and characters with the edges are superimposed on a still image or a moving image and displayed on the color display device 12. The drawing line or character color and the edge color added thereto are stored in association with the ROM 24, and the CPU 20 refers to this information to identify the edge color to be added. The operation flow of the control device 2 is shown in FIG.

なお、静止画や動画が筆記領域の背景画像である場合には、描画線や文字が目立つように、上述した方法で線の太さを太くしたり、また/または線に縁を付加して表示するようにしても良い。この動作は、背景画像が静止画や動画であれば実行し、画像の空間周波数のチェックは行う必要がない。   If the still image or video is the background image of the writing area, increase the thickness of the line and / or add an edge to the line so that the drawing lines and characters stand out. It may be displayed. This operation is executed if the background image is a still image or a moving image, and there is no need to check the spatial frequency of the image.

なお、各実施の形態においては、カラー表示装置12を含む情報入出力装置1と表示制御装置2とから構成されている情報入出力システム100である電子黒板システムを適用したが、これに限るものはなく、カラー表示装置12と表示制御装置2とで構成されるものであっても良い。   In each embodiment, the electronic blackboard system which is the information input / output system 100 including the information input / output device 1 including the color display device 12 and the display control device 2 is applied. However, the present invention is not limited to this. It may be configured by the color display device 12 and the display control device 2.

1 情報入出力装置
2 表示制御装置
12 カラー表示装置
100 情報入出力システム
1 Information Input / Output Device 2 Display Control Device 12 Color Display Device 100 Information Input / Output System

特開平11−327789号公報Japanese Patent Laid-Open No. 11-327789

Claims (4)

文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置において、
前記描画データのサイズを切り替えて表示するサイズ切替手段と、
前記描画データを表示する領域の背景画像の空間周波数分布を調べ、その背景画像に高い空間周波数成分が多いか否かを判断する背景画像判断手段と、を備え、
前記背景画像判断手段により高い空間周波数成分が多い画像であると判断した場合、前記サイズ切替手段により前記描画データのサイズを切り替えて表示することを特徴とする表示制御装置。
In a display control device that displays drawing data such as characters and drawing lines on a color display device,
Size switching means for switching and displaying the size of the drawing data;
A background image determination unit that examines a spatial frequency distribution of a background image of an area in which the drawing data is displayed, and determines whether the background image has many high spatial frequency components;
When the background image determining unit determines that the image has many high spatial frequency components, the size switching unit displays the drawing data by switching the size of the drawing data.
前記描画データを表示する領域の背景画像は高い空間周波数成分が多い画像であると前記背景画像判断手段により判断した場合、前記描画データに縁を付加して表示することを特徴とする請求項1記載の表示制御装置。   2. The background image is displayed by adding an edge to the drawing data when the background image determining means determines that the background image of the area for displaying the drawing data is an image having a high spatial frequency component. The display control apparatus described. 文字や描画線等の描画データをカラー表示装置に表示させる表示制御装置において、
前記描画データのサイズを切り替えて表示するサイズ切替手段を備え、
前記描画データを表示する領域の背景画像が静止画像あるいは動画像の場合、前記サイズ切替手段により前記描画データのサイズを切り替えて表示することを特徴とする表示制御装置。
In a display control device that displays drawing data such as characters and drawing lines on a color display device,
Comprising size switching means for switching and displaying the size of the drawing data;
When the background image of the area where the drawing data is displayed is a still image or a moving image, the size switching means displays the drawing data by switching the size of the drawing data.
前記描画データを表示する領域の背景画像が静止画像あるいは動画像の場合、前記描画データに縁を付加して表示することを特徴とする請求項3記載の表示制御装置。   4. The display control apparatus according to claim 3, wherein when the background image of the area where the drawing data is displayed is a still image or a moving image, an edge is added to the drawing data.
JP2010028988A 2010-02-12 2010-02-12 Display control device Pending JP2010146026A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010028988A JP2010146026A (en) 2010-02-12 2010-02-12 Display control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010028988A JP2010146026A (en) 2010-02-12 2010-02-12 Display control device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001075296A Division JP4480289B2 (en) 2001-03-16 2001-03-16 Display control device

Publications (1)

Publication Number Publication Date
JP2010146026A true JP2010146026A (en) 2010-07-01

Family

ID=42566457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010028988A Pending JP2010146026A (en) 2010-02-12 2010-02-12 Display control device

Country Status (1)

Country Link
JP (1) JP2010146026A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230190A (en) * 2011-04-25 2012-11-22 Rohm Co Ltd Image processing circuit, semiconductor device and image processing device
JP2016218896A (en) * 2015-05-25 2016-12-22 京セラ株式会社 Electronic device and image processing method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816147A (en) * 1994-06-27 1996-01-19 Kokusai Electric Co Ltd Information display device
JPH10247078A (en) * 1997-03-05 1998-09-14 Sony Corp Liquid crystal display device
JPH1116091A (en) * 1997-06-24 1999-01-22 Nissan Motor Co Ltd Display device for vehicle
JPH11327789A (en) * 1998-03-12 1999-11-30 Ricoh Co Ltd Color display and electronic blackboard system
JP2000047787A (en) * 1998-07-27 2000-02-18 Brother Ind Ltd Display device and storage medium
JP2000098994A (en) * 1998-09-18 2000-04-07 Toyota Central Res & Dev Lab Inc Display screen designing device and display screen changing device
JP2000177293A (en) * 1998-12-18 2000-06-27 Nec Corp Liquid crystal display type electronic blackboard device
JP2001209364A (en) * 2000-01-24 2001-08-03 Matsushita Electric Ind Co Ltd Display device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816147A (en) * 1994-06-27 1996-01-19 Kokusai Electric Co Ltd Information display device
JPH10247078A (en) * 1997-03-05 1998-09-14 Sony Corp Liquid crystal display device
JPH1116091A (en) * 1997-06-24 1999-01-22 Nissan Motor Co Ltd Display device for vehicle
JPH11327789A (en) * 1998-03-12 1999-11-30 Ricoh Co Ltd Color display and electronic blackboard system
JP2000047787A (en) * 1998-07-27 2000-02-18 Brother Ind Ltd Display device and storage medium
JP2000098994A (en) * 1998-09-18 2000-04-07 Toyota Central Res & Dev Lab Inc Display screen designing device and display screen changing device
JP2000177293A (en) * 1998-12-18 2000-06-27 Nec Corp Liquid crystal display type electronic blackboard device
JP2001209364A (en) * 2000-01-24 2001-08-03 Matsushita Electric Ind Co Ltd Display device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230190A (en) * 2011-04-25 2012-11-22 Rohm Co Ltd Image processing circuit, semiconductor device and image processing device
JP2016218896A (en) * 2015-05-25 2016-12-22 京セラ株式会社 Electronic device and image processing method

Similar Documents

Publication Publication Date Title
JP4480289B2 (en) Display control device
US20190391778A1 (en) Apparatus, system, and method for controlling display, and recording medium
CN111526350A (en) Adaptive video processing
EP2045774A1 (en) Homography estimation from multithreshold edges of a feature
US8274567B2 (en) Image processing method, apparatus and system
WO2020034743A1 (en) Three-dimensional model processing method and apparatus, electronic device, and readable storage medium
CN108647351B (en) Text image processing method and device, storage medium and terminal
JP6799017B2 (en) Terminal devices, systems, programs and methods
JP2009100084A (en) Information processing apparatus, indication system, and control program
WO2018155267A1 (en) Image display device, image display method, and program
JP5907196B2 (en) Image processing apparatus, image processing method, image processing system, and program
CN108665510B (en) Rendering method and device of continuous shooting image, storage medium and terminal
JP6241320B2 (en) Image processing apparatus, image processing method, image processing system, and program
WO2017217011A1 (en) Image processing device, and superimposed image generation method
JP2010072813A (en) Image processing device and image processing program
JPH08123658A (en) Method and device for registering icon pattern or icon, and method and device for displaying icon
JP2010146026A (en) Display control device
JP6930091B2 (en) Image processing equipment, image processing methods, image processing systems and programs
US11176720B2 (en) Computer program, image processing method, and image processing apparatus
JP2010278680A (en) Specific color detection circuit
JP3887151B2 (en) Color display control device, display color setting method thereof, storage medium, color display device, and writing color setting method thereof
JP2006215146A (en) Image display device and image display method
WO2021059987A1 (en) Image processing apparatus, image processing method, and program
JP4042704B2 (en) Image display device
US11495010B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121001

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121225