JP2023007696A - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP2023007696A JP2023007696A JP2021110701A JP2021110701A JP2023007696A JP 2023007696 A JP2023007696 A JP 2023007696A JP 2021110701 A JP2021110701 A JP 2021110701A JP 2021110701 A JP2021110701 A JP 2021110701A JP 2023007696 A JP2023007696 A JP 2023007696A
- Authority
- JP
- Japan
- Prior art keywords
- area
- drawing area
- projection range
- object image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03542—Light pens for emitting or receiving light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
Abstract
Description
本発明は、画像処理方法および画像処理装置に関する。
従来、ユーザーからの描画入力に基づいて描画画像を表示する機器において、描画されたオブジェクトが配置される描画領域を拡張可能なものが知られている。例えば、下記特許文献1に記載の描画処理装置は、描画入力画面への描画入力がなされると、描画入力に基づく描画情報を画面表示するとともに、描画情報の座標を仮想的な描画スペース上の二次元座標に変換して格納する。描画入力画面をスクロールして描画入力すると、描画情報を含むように描画スペースの座標が拡張される。また、全描画情報表示処理部により、全ての描画情報を含む全描画情報表示画面が表示される。
上述した従来技術では、一度拡張した仮想描画スペースの大きさを変更することができない。よって、例えば描画情報の一部を消去した場合でも全描画情報表示画面の大きさは変わらず、残った描画情報が小さく表示されてしまう可能性があるなど、操作性に改善の余地がある。
本発明の一態様にかかる画像処理方法は、ユーザーにより描画された一又は複数のオブジェクト画像が配置される領域である描画領域の少なくとも一部を含む第1画面を表示面に表示することと、前記第1画面に含まれるオブジェクト画像の少なくとも一部の部分を消去する操作が行われた場合に、前記少なくとも一部の部分が配置されていた領域を前記描画領域から除外することと、所定の操作を受け付けた場合に、前記描画領域の全体を前記表示面の大きさに縮小した縮小画面を前記表示面に表示することと、を含む。
本発明の一態様にかかる画像処理装置は、表示装置と、少なくとも1つの処理部と、を含み、前記処理部は、前記表示装置を用いて、ユーザーにより描画された一又は複数のオブジェクト画像が配置された領域である描画領域の少なくとも一部を含む第1画面を表示面に表示することと、前記第1画面に含まれるオブジェクト画像の少なくとも一部の部分を消去する操作が行われた場合に、前記少なくとも一部の部分が配置されていた領域を前記描画領域から除外することと、所定の操作を受け付けた場合に、前記描画領域の全体を前記表示面の大きさに縮小した縮小画面を前記表示面に表示することと、を実行する。
以下、添付図面を参照しながら本発明にかかる好適な実施形態を説明する。なお、図面において各部の寸法または縮尺は実際と適宜に異なり、理解を容易にするために模式的に示している部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。
A.プロジェクターシステム1の概要
図1は、実施形態にかかるプロジェクター10を含むプロジェクターシステム1を示す図である。プロジェクターシステム1は、プロジェクター10と、指示体20と、を含む。
図1は、実施形態にかかるプロジェクター10を含むプロジェクターシステム1を示す図である。プロジェクターシステム1は、プロジェクター10と、指示体20と、を含む。
プロジェクター10は、壁Wのうち、投射範囲Rの上端Re1よりも上方の部分に設置される。プロジェクター10は、壁Wに設置されずに、例えば、机、テーブルまたは床の上に配置されてもよいし、天井から吊るされてもよい。本実施形態では、投射範囲Rは、例えば壁Wの一部分である。投射範囲Rは、壁Wの一部の他、スクリーン、扉、ホワイトボード等であってもよい。投射範囲Rは、表示面の一例である。プロジェクター10は、投射範囲Rに画像を投射することによって投射範囲Rに画像を表示する。プロジェクター10は、画像処理装置の一例である。
指示体20は、例えば、ペン型の指示具である。指示体20の形状は、ペンの形状に限らず、例えば、円柱、角柱、円錐または角錐でもよい。ユーザーは、例えば、指示体20の軸部20bを持ち、先端20aを投射範囲Rに接触させながら指示体20を投射範囲R上で移動させる。
プロジェクター10は、カメラ15で投射範囲Rを撮像することによって撮像画像を示す撮像データを生成する。プロジェクター10は、撮像画像を解析することによって指示体20の位置を特定する。後述するように、本実施形態では、赤外光撮像画像上で指示体20の第1光源23から発光する赤外光が検出された位置が、指示体20の先端20aが投射範囲Rに接触する接触位置とみなされる。
プロジェクター10は、ユーザーからの描画入力を受け付ける描画モードで動作可能である。詳細は後述するが、描画モードでは、ユーザーは、指示体20を筆記具のように用いて描画を行う。プロジェクター10は、指示体20が投射範囲Rに接触している間の指示体20の移動軌跡を検出し、移動軌跡に沿った線を投射範囲Rに表示する。本実施形態では、指示体20が投射範囲Rに接触してから、投射範囲Rから離れるまでの接触位置の軌跡を1つのオブジェクト画像Oとして取り扱う。図1では、ユーザーが描画した複数のオブジェクト画像Oを含む描画受付画面30が投射範囲Rに表示されている。また、描画モードでは、投射範囲Rに描画メニューアイコン40が表示される。ユーザーは、描画メニューアイコン40を選択することによって、描画モードにおける各種操作を切り替えることができる。描画メニューアイコン40の詳細については、後述する。
B.指示体20の構成
図2は、指示体20の構成の一例を示す図である。指示体20は、第1通信部22と、第1光源23と、スイッチ24と、指示体記憶部25と、指示体制御部26と、を含む。
図2は、指示体20の構成の一例を示す図である。指示体20は、第1通信部22と、第1光源23と、スイッチ24と、指示体記憶部25と、指示体制御部26と、を含む。
第1通信部22は、通信回路とアンテナ等を有し、プロジェクター10とBluetoothで無線通信する。Bluetoothは登録商標である。Bluetoothは、近距離無線方式の一例である。近距離無線方式は、Bluetoothに限らず、例えば、Wi-Fiでもよい。Wi-Fiは登録商標である。第1通信部22とプロジェクター10との無線通信の通信方式は、近距離無線方式に限らず他の通信方式でもよい。また、第1通信部22が有線通信を行う場合は、通信回路と、通信用配線が接続されるコネクタ等を有する。
第1光源23は、赤外光を出射するLED(Light Emitting Diode)である。第1光源23は、LEDに限らず、例えば、赤外光を出射するLD(Laser Diode)でもよい。第1光源23は、指示体20の接触位置をプロジェクター10に認識させるために、赤外光を出射する。
スイッチ24は、指示体20の先端20aに圧力が加わるとオンし、先端20aに加えられた圧力が解消されるとオフする。スイッチ24は、先端20aが投射範囲Rに接触しているか否かを検出するセンサーとして機能する。スイッチ24のオンオフに連動して、第1光源23がオンオフする。すなわち、指示体20の先端20aに圧力が加わると、スイッチ24がオンとなり、第1光源23が発光する。また、先端20aに加えられた圧力が解消されると、スイッチ24がオフとなり、第1光源23は発光を停止する。
指示体記憶部25は、例えば、フラッシュメモリー等の不揮発性の半導体メモリーである。指示体記憶部25は、指示体制御部26で実行する制御プログラムを記憶する。
指示体制御部26は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、指示体制御部26は、単数または複数のCPU(Central Processing Unit)によって構成される。指示体制御部26の機能の一部または全部は、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等の回路によって構成されてもよい。指示体制御部26は、各種の処理を並列的または逐次的に実行する。
指示体制御部26は、指示体記憶部25に記憶されている制御プログラムを実行することによって種々の機能を実現する。例えば、指示体制御部26は、スイッチ24がオンしている状況において、第1通信部22がプロジェクター10から同期信号を受信すると、第1光源23を点灯させる。同期信号は、第1光源23の点灯タイミングをカメラ15の撮像タイミングと同期させるための信号である。
C.プロジェクター10の構成
図3は、プロジェクター10の構成の一例を示す図である。プロジェクター10は、操作部12と、第2通信部13と、投射部14と、カメラ15と、記憶部16と、処理部17とを含む。
図3は、プロジェクター10の構成の一例を示す図である。プロジェクター10は、操作部12と、第2通信部13と、投射部14と、カメラ15と、記憶部16と、処理部17とを含む。
操作部12は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。操作部12は、例えばプロジェクター10の筐体に設けられている。また、操作部12は、プロジェクター10の筐体とは別個に設けられたリモートコントローラーであってもよい。操作部12は、ユーザーからの入力操作を受け取る。
第2通信部13は、通信回路とアンテナ等を有し、指示体20の第1通信部22とBluetoothで無線通信を行う。無線通信の通信方式は、上述の通り、Bluetoothに限らず、例えば、Wi-Fiでもよい。なお、第2通信部13が有線通信を行う場合は、通信回路と、通信用配線が接続されるコネクタ等を有する。
投射部14は、投射範囲Rに画像を投射することによって投射範囲Rに画像を表示する。投射部14は、表示装置の一例であり、画像処理回路、フレームメモリー、液晶ライトバルブ、ライトバルブ駆動回路、光源、投射光学系等を備える。画像処理回路は、処理部17または図示しないコンピューター等の画像供給装置から画像データを受け取ると、当該画像データをフレームメモリーに展開し、必要な画像処理を行う。この画像処理は、例えば画像データの解像度を液晶ライトバルブの解像度を変換する処理、台形ゆがみを解消する幾何的補正処理等である。画像処理後の画像データは画像信号に変換され、画像信号に基づいて液晶ライトバルブ等が駆動されることによって、画像データが画像として投射される。なお、投射部14は、上述した液晶ライトバルブ等を用いた液晶方式の他、例えば、DLP(Digital Lighting Processing、登録商標)方式であってもよい。
カメラ15は、投射範囲Rを撮像することによって撮像画像を示す撮像データを生成する。カメラ15は、レンズ等の受光光学系と、受光光学系で集光される光を電気信号に変換する撮像素子等を含む。撮像素子は、例えば、赤外領域および可視光領域の光を受光するCCD(Charge Coupled Device)イメージセンサーである。カメラ15は、撮像素子に入射する光の一部を遮るフィルターを備えてもよい。例えば、カメラ15は、撮像素子に赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子前に配置してもよい。また、カメラ15は、撮像素子に可視光を受光させる場合に、主に可視光領域の光を透過するフィルターを撮像素子前に配置してもよい。
カメラ15は、プロジェクター10とは別体として設けられてもよい。この場合、カメラ15とプロジェクター10は、データの送受信ができるように有線または無線のインターフェイスにより相互に接続されてもよい。
カメラ15が可視光による撮像を行うと、例えば、投射部14が投射範囲Rに投射した画像が撮像される。以下、可視光によるカメラ15の撮像によって生成される可視光撮像画像のデータを「可視光撮像データ」と称する。可視光撮像データは、例えば、後述するキャリブレーションにおいて使用される。
カメラ15が赤外光による撮像を行うと、例えば、指示体20が出射した赤外光を示す撮像データが生成される。以下、赤外光によるカメラ15の撮像によって生成される赤外線撮像画像のデータを「赤外光撮像データ」と称する。赤外光撮像データは、例えば、投射範囲R上の指示体20の接触位置を検出するために使用される。すなわち、カメラ15は、指示体20の位置に関する情報を検出する検出装置の一例である。
記憶部16は、処理部17が読み取り可能な記録媒体である。記憶部16は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーとしては、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)およびEEPROM(Electrically Erasable Programmable Read Only Memory)が挙げられる。揮発性メモリーとしては、例えば、RAMが挙げられる。揮発性メモリーは、上述したフレームメモリーを含む。
記憶部16は、処理部17によって実行される制御プログラム162と、処理部17が使用する各種のデータ164と、を記憶する。
制御プログラム162は、処理部17によって実行される。制御プログラム162は、オペレーティングシステムと、複数のアプリケーションプログラムと、を含む。複数のアプリケーションプログラムには、インタラクティブ機能を実現するアプリケーションプログラムが含まれる。
データ164は、処理部17が実行する各種処理の処理条件を示すデータを含む。また、データ164は、画像処理で用いられるデータを含んでもよい。また、データ164には、キャリブレーション画像を示すキャリブレーション画像データが含まれる。キャリブレーション画像には、予め設定された形状のマークが間隔をあけて配置されている。
処理部17は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、処理部17は、単数または複数のCPUによって構成される。処理部17の機能の一部または全部は、DSP、ASIC、PLD、FPGA等の回路によって構成されてもよい。処理部17は、各種の処理を並列的または逐次的に実行する。
処理部17は、記憶部16から制御プログラム162を読み取って実行することにより、動作制御部172および描画制御部174として機能する。
動作制御部172は、プロジェクター10の種々の動作を制御する。動作制御部172は、例えばキャリブレーションを実行する。キャリブレーションとは、投射部14のフレームメモリー上の座標と、撮像データ上の座標とを、対応づける処理である。フレームメモリー上の座標は、投射範囲Rに投射される画像上の位置に対応する。フレームメモリー上の位置と、撮像データ上の位置とが対応づけられることで、例えば、投射範囲Rに投射される画像について、投射範囲Rにおける指示体20の接触位置に対応する部分を特定することができる。動作制御部172は、キャリブレーションを実行することにより、カメラ15の撮像データ上の座標と、投射部14のフレームメモリー上の座標とを対応づけるキャリブレーションデータを生成し、記憶部16に記憶する。
この他、動作制御部172は、例えば第2通信部13と指示体20の第1通信部22との通信を確立する。また、動作制御部172は、キャリブレーション完了後、一定の時間間隔でカメラ15に赤外光での撮像を実行させて赤外光撮像データを生成させる。また、動作制御部172は、カメラ15の撮像タイミングに合わせて、同期信号を第2通信部13から指示体20に送信する。
描画制御部174は、描画モード中におけるプロジェクター10の動作を制御する。より詳細には、描画制御部174は、投射範囲Rに描画受付画面30を表示し、ユーザーから指示体20を用いた描画入力を受け付ける。また、描画制御部174は、描画入力に基づくオブジェクト画像Oを投射範囲Rに表示する。以下、描画モードの詳細について説明する。
D.描画モードの詳細
D-1.投射範囲Rと描画領域D
図4は、描画モード選択時における投射範囲Rの表示の一例を示す図である。描画モード選択時には、投射範囲Rに描画受付画面30が表示される。描画受付画面30は、ユーザーから描画入力を受け付ける画面である。描画受付画面30には、後述する描画メニューアイコン40も表示される。以下、個々の描画受付画面30を判別する必要がある場合には、描画受付画面30A、30B・・と表記する。
D-1.投射範囲Rと描画領域D
図4は、描画モード選択時における投射範囲Rの表示の一例を示す図である。描画モード選択時には、投射範囲Rに描画受付画面30が表示される。描画受付画面30は、ユーザーから描画入力を受け付ける画面である。描画受付画面30には、後述する描画メニューアイコン40も表示される。以下、個々の描画受付画面30を判別する必要がある場合には、描画受付画面30A、30B・・と表記する。
描画受付画面30における投射範囲R上の各点の座標は、フレームメモリー上の座標に対応する。本実施形態では、投射範囲Rは、X軸と、X軸と直交するY軸とに沿ったXY平面上にある。すなわち、XY平面は、表示面を表す平面である。以降、投射範囲Rの左上の点P1を基準点とし、投射範囲R上の各点の座標を(X,Y)とする。各座標は、1つの画素に対応する。投射範囲Rは、XY平面上の点P1(0,0)から点P2(1919,1079)の範囲である。描画受付画面30は、投射範囲Rと略同一の面積を有するが、描画領域Dが拡張されることによって、投射範囲Rの面積以上の領域に描画が可能である。
図5は、描画領域Dを模式的に示す図である。描画領域Dは、ユーザーにより描画された一又は複数のオブジェクト画像Oが配置される仮想的な領域である。オブジェクト画像Oは、実際には図28に示すような描画データDTとして記憶部16に記憶される。また、描画領域Dは、実際には図6、図11、図17に示すようなパラメーターによって定義される。本実施形態で図示する描画領域Dは、図6等に示すパラメーターによって定義される描画領域Dを仮想的な平面上に展開したものである。描画制御部174は、描画領域Dの一部または全部を、描画受付画面30として投射範囲Rに表示する。すなわち、描画制御部174は、描画領域Dの少なくとも一部を含む描画受付画面30を表示面に表示する。ユーザーは、描画受付画面30を介して描画領域Dに描画を行っているといえる。本実施形態では、描画領域Dは、X軸に対応するx軸と、Y軸に対応するするy軸とに沿った平面である。すなわち、描画領域Dは、第1軸であるx軸と、x軸と直交する第2軸であるy軸とによって規定される矩形の領域である。
以降、図5における描画領域Dの左上の点p1を基準点とし、描画領域D上の各点の座標を(x,y)とする。すなわち、描画領域Dはxy平面上にある。図5における描画領域Dは、xy平面上の点p1(0,0)から点p2(1919,1079)の範囲である。点p1(0,0)から点p2(1919,1079)の範囲は、初期描画領域D0である。描画モードが開始された直後に投射範囲Rに表示される描画受付画面30は、初期描画領域D0に対する描画を受け付ける画面である。初期描画領域D0が表示された状態では、描画領域Dにおける座標値と、投射範囲Rにおける座標値が一致する。例えば、投射範囲Rの座標(100,100)は、描画領域Dの座標(100,100)に対応する。
図6は、図4の投射範囲Rと図5の描画領域Dの対応関係を示すパラメーターの表である。上述のように、投射範囲Rは、座標(X,Y)で表されるXY平面上の、点P1(0,0)から点P2(1919,1079)までの範囲である。描画領域Dは、座標(x,y)で表され、点p1(0,0)から点p2(1919,1079)までの範囲である。投射範囲移動量は、投射範囲Rの基準点P1の、描画領域Dの基準点p1に対するずれを、描画領域Dの座標(x,y)を用いて表している。投射範囲移動量は、投射範囲R上の点と、描画領域D上の点を対応付けるための数値である。図4における投射範囲Rの基準点P1は、図5における描画領域Dの基準点p1と一致している。よって、投射範囲移動量は、x軸方向およびy軸方向共にゼロである。また、拡縮率は、投射範囲Rにおける表示が描画領域Dにおけるオブジェクト画像Oに対してどの程度拡大または縮小されているかをパーセンテージで示す。図4における投射範囲Rの表示は、図5における描画領域Dをそのままの縮尺で表示しており、拡縮率は100%である。
図4に示される描画受付画面30Aに対して、例えば図7のようにユーザーが描画入力を行ったものとする。図7における描画受付画面30Bは、第1画面の一例である。描画受付画面30への描画入力は、後述するペンアイコン42を選択した上で、指示体20を投射範囲Rに接触させながら移動させることによって行う。なお、視認性の観点から、図7以降の投射範囲Rの図では描画メニューアイコン40の図示は省略する。図7の描画受付画面30Bには、ユーザーにより描画された複数のオブジェクト画像O1~O5が表示されている。図7の例では、オブジェクト画像O1およびO2が「A」の文字を構成し、オブジェクト画像O3およびO4が「B」の文字を構成し、オブジェクト画像O5が「C」の文字を構成している。この場合、図8に示すように、投射範囲Rにおけるオブジェクト画像O1~O5の位置に対応する描画領域Dの位置にオブジェクト画像O1~O5が記録される。
図7に示される描画受付画面30Bに対して、例えば図9のようにユーザーがスクロールを行ったものとする。描画受付画面30のスクロールは、後述するスクロールアイコン46を選択した上で、指示体20を投射範囲Rに接触させながら移動させることによって行う。図9では、描画受付画面30Bに対して右方向および上方向にスクロールが行われ、スクロール後の描画受付画面30Cに表示される描画領域Dの範囲は、右上にずれている。すなわち、描画制御部174は、描画受付画面30Bに対するスクロール操作に対応する描画領域Dの範囲を含む新たな描画受付画面30Cを投射範囲Rに表示する。描画受付画面30Cは、第2画面の一例である。スクロール後の描画受付画面30Cには、オブジェクト画像O1~O5のうち、オブジェクト画像O1~O4が表示され、オブジェクト画像O5は表示範囲外となっている。図9において、スクロール前の描画受付画面30Bの表示範囲および非表示となっているオブジェクト画像O5を点線で示す。また、図10に、描画領域Dと投射範囲Rとの位置関係を示す。スクロールによって描画領域D自体には変化は生じないが、描画受付画面30として投射範囲Rに表示される範囲が変化する。具体的には、スクロール後の投射範囲Rの基準点P1は、描画領域Dの点P1-D(-400,200)に対応する。
図11は、図9の投射範囲Rと図10の描画領域Dの対応関係を示すパラメーターの表である。各パラメーターの中で、投射範囲移動量のみが図6と異なっている。すなわち、投射範囲Rに対して描画領域Dが右方向および上方向にずらされため、投射範囲Rの基準点P1-Dが描画領域Dの基準点p1に対して左方向および下方向にずれている。このため、投射範囲移動量が(-400,200)となっている。
図9に示される描画受付画面30Cに対して、例えば図12のようにユーザーが描画を行ったものとする。図12の描画受付画面30Dには、ユーザーにより新たに描画されたオブジェクト画像O6~O8が表示されている。オブジェクト画像O6~O8は「H」の文字を構成している。この場合も、図13に示すように、描画領域Dにオブジェクト画像O6~O8が記録されるが、オブジェクト画像O6~O8は描画領域Dから外れた位置にある。このため、新しく加わったオブジェクト画像O6~O8が描画領域Dに入るように、描画領域Dが拡張される。すなわち、描画制御部174は、描画受付画面30Cに新たなオブジェクト画像Oを描画する操作が行われた場合に、新たなオブジェクト画像Oが配置された領域を描画領域Dに加える。
D-2.描画領域Dの拡張
以下、描画領域Dの拡張方法について説明する。描画制御部174は、ペンアイコン42が選択された状態で指示体20が投射範囲R上を移動した場合、指示体20の移動の軌跡を検出する。ここで、図9等に示すように、描画領域Dがスクロールされた状態では、投射範囲Rにおける座標を描画領域Dにおける座標に変換する必要がある。描画領域Dにおける座標は、下記式(1)により求めることができる。例えば、図9に示す描画受付画面30Cにおいて、投射範囲Rの座標(100,600)に点が描画された場合、この点は描画領域Dの座標(-300,800)に位置することになる。
描画領域Dにおける座標=(投射範囲Rにおける座標+投射範囲移動量)/拡縮率・・・(1)
以下、描画領域Dの拡張方法について説明する。描画制御部174は、ペンアイコン42が選択された状態で指示体20が投射範囲R上を移動した場合、指示体20の移動の軌跡を検出する。ここで、図9等に示すように、描画領域Dがスクロールされた状態では、投射範囲Rにおける座標を描画領域Dにおける座標に変換する必要がある。描画領域Dにおける座標は、下記式(1)により求めることができる。例えば、図9に示す描画受付画面30Cにおいて、投射範囲Rの座標(100,600)に点が描画された場合、この点は描画領域Dの座標(-300,800)に位置することになる。
描画領域Dにおける座標=(投射範囲Rにおける座標+投射範囲移動量)/拡縮率・・・(1)
つぎに、描画制御部174は、新たに描画されたオブジェクト画像Oが配置された領域である配置領域を特定する。配置領域は、一対の辺がx軸に沿い、他の2辺がy軸に沿った矩形とする。描画制御部174は、配置領域の頂点の全ての座標が現在の描画領域Dの範囲内に含まれる場合には、描画領域Dの拡張は行わない。一方、配置領域の頂点のうち現在の描画領域Dの範囲内に含まれないものがある場合には、描画制御部174は、描画領域Dを拡張する。すなわち、描画制御部174は、配置領域の全ての頂点が描画領域Dの範囲内に含まれるように、描画領域Dの範囲を変更する。
図14および図15を参照して具体的に説明する。図14に示されるように、オブジェクト画像O6~O8の配置領域は、xy平面上の点p3(-350,700)から点p4(-110,1150)の範囲である。よって、オブジェクト画像O6~O8の配置領域は、初期描画領域D0である点p1(0,0)から点p2(1919,1079)の範囲から外れている。描画制御部174は、オブジェクト画像O6~O8の配置領域が含まれるように描画領域Dを拡張する。具体的には、図15に示されるように、描画制御部174は、描画領域Dを点p5(-350,0)から点p6(1919,1150)の範囲とする。拡張後の描画領域Dは、描画領域D1と表記される。これにより、オブジェクト画像O6~O8が、描画領域D1に含まれる。すなわち、描画領域Dは、x軸およびy軸によって規定される第1矩形の領域であり、新たなオブジェクト画像O6~O8が配置された領域は、新たなオブジェクト画像O6~O8のx軸に沿った両端と、新たなオブジェクト画像O6~O8のy軸に沿った両端とを囲む第2矩形の領域である。描画されたオブジェクト画像O6~O8の配置領域を描画領域Dに加えることは、第2矩形の全体が第1矩形に含まれるように第1矩形を拡張することである。
なお、上述した説明では、オブジェクト画像O6~O8の配置領域を1つにまとめているが、実際には、1つのオブジェクト画像Oが描画されるごとに描画領域Dの拡張の要否が判断され、必要があれば描画領域Dが拡張される。また、描画制御部174は、描画領域Dを拡張する際に、オブジェクト画像Oの配置領域から拡張方向に所定距離離れた点を描画領域Dの範囲としてもよい。これは、後述する全体表示を行った際に、端部にあるオブジェクト画像Oが、投射範囲Rのきわに表示されるのを防止して、視認性を向上させるためである。
図16は、描画領域D1を全体表示した場合の表示例である。描画領域Dが拡張された後に図26に示す全体表示アイコン48が選択された場合、描画制御部174は、描画領域Dの全体が投射範囲Rに映るように描画領域Dを縮小して、全体表示画面50として表示する。すなわち、描画制御部174は、全体表示アイコン48の選択操作を受け付けた場合に、描画領域Dの全体を投射範囲Rの大きさに縮小した縮小画面を投射範囲Rに表示する。全体表示アイコン48の選択操作は、所定の操作の一例である。以下、個々の全体表示画面50を判別する必要がある場合には、全体表示画面50A、B・・と表記する。図16における全体表示画面50Aは、図15に示される描画領域D1の全体を表示する画面である。描画領域D1のアスペクト比は、投射範囲Rのアスペクト比に比べてx軸方向の比率が大きい横長の形状である。このため、描画領域D1のx軸方向の長さが、投射範囲RのX軸方向の長さに合わせて縮小されている。図17は、図16における投射範囲Rと描画領域Dとの対応関係を示すパラメーターの表である。図16における投射範囲Rの縮小率は85%である。なお、全体表示画面50の表示中は描画入力の受付が停止されてもよい。
D-3.描画領域Dの収縮
つぎに、描画領域Dの収縮方法について説明する。描画制御部174は、描画受付画面30のオブジェクト画像Oが消去された場合に、描画領域Dを収縮する。すなわち、描画制御部174は、描画受付画面30に含まれるオブジェクト画像Oの少なくとも一部の部分を消去する操作が行われた場合に、少なくとも一部の部分が配置されていた領域を描画領域Dから除外する。これは、オブジェクト画像Oが消去された領域を描画領域Dに含めておくと、例えば、全体表示した際に縮小率が大きくなり、実際に描画されているオブジェクト画像Oが見にくい等の不都合があるためである。なお、描画領域Dの収縮が行われるのは、描画受付画面30の端部近くに位置するオブジェクト画像Oが消去された場合である。端部近くに位置するオブジェクト画像Oとは、例えばそのオブジェクト画像Oより端部寄りに他のオブジェクト画像Oが配置されてないオブジェクト画像Oである。
つぎに、描画領域Dの収縮方法について説明する。描画制御部174は、描画受付画面30のオブジェクト画像Oが消去された場合に、描画領域Dを収縮する。すなわち、描画制御部174は、描画受付画面30に含まれるオブジェクト画像Oの少なくとも一部の部分を消去する操作が行われた場合に、少なくとも一部の部分が配置されていた領域を描画領域Dから除外する。これは、オブジェクト画像Oが消去された領域を描画領域Dに含めておくと、例えば、全体表示した際に縮小率が大きくなり、実際に描画されているオブジェクト画像Oが見にくい等の不都合があるためである。なお、描画領域Dの収縮が行われるのは、描画受付画面30の端部近くに位置するオブジェクト画像Oが消去された場合である。端部近くに位置するオブジェクト画像Oとは、例えばそのオブジェクト画像Oより端部寄りに他のオブジェクト画像Oが配置されてないオブジェクト画像Oである。
例えば図12に示される、オブジェクト画像O1~O4、O6~O8が表示された描画受付画面30Dに対して、例えば図18に示される描画受付画面30Eのようにオブジェクト画像O6,O8の消去が行われたものとする。オブジェクト画像Oの消去は、例えば後述する消去アイコン44を選択した上で、指示体20を消去したいオブジェクト画像O上で移動させることによって行う。なお、下記の例では、オブジェクト画像Oの全体が消去されているが、1つのオブジェクト画像Oの一部が部分的に消去されてもよい。
図19は、オブジェクト画像O6,O8が消去された描画領域D1を示す図である。上述のように、描画領域D1は点p5(-350,0)から点p6(1919,1150)である。描画制御部174は、初期描画領域D0外にある全てのオブジェクト画像Oの配置領域を特定し、初期描画領域D0と、初期描画領域D0外にある全ての配置領域の頂点とを含む領域Dxが現在の描画領域D1より小さい場合には、領域Dxを収縮後の描画領域Dとする。なお、領域Dxは図20に示される。
図19では、初期描画領域D0外にあるオブジェクト画像Oは、オブジェクト画像O7のみである。オブジェクト画像O7の配置領域は、点P7(-120,700)から点P4(-110,1150)の範囲にある。よって、領域Dxは、点p8(-120,0)から点p6(1919,1150)の範囲である。領域Dxは描画領域D1よりも小さいため、図20に示すように、領域Dxが新たな描画領域D2とされる。すなわち、消去されたオブジェクト画像Oが配置されていた領域を描画領域Dから除外することは、描画領域Dに残る一または複数のオブジェクト画像Oのx軸に沿った両端と、描画領域Dに残る一または複数のオブジェクト画像Oのy軸に沿った両端とを囲む矩形に、描画領域Dを変更することである。図21は、描画領域D2を全体表示した場合の表示例である。図21に示される全体表示画面50Bは、図16に示される描画領域D1の全体表示画面50Aと比較して縮小率が小さくなっており、描画領域Dが収縮されていることがわかる。
なお、領域Dxが現在の描画領域Dと等しい場合には、描画領域Dの収縮は行わない。具体的には、例えば図12に示されるオブジェクト画像Oのうち、オブジェクト画像O7,O8のみが削除された場合には、描画領域Dは収縮されない。
また、例えばオブジェクト画像Oの配置領域のみを基準として描画領域Dを決定すると、描画領域D内のオブジェクト画像Oが全て消去された場合に、描画領域Dが消滅することになる。これを防止するため、描画制御部174は、描画領域Dの収縮に際して、描画領域Dの大きさを少なくとも投射範囲Rの大きさに維持する。本実施形態では、描画制御部174は、描画領域Dの収縮に際して、初期描画領域D0の範囲については、オブジェクト画像Oの有無にかかわらず描画領域Dとする。
D-4.初期描画領域D0
上述のように、初期描画領域D0は、点p1(0,0)から点p2(1919,1079)の範囲であり、描画モードが開始された直後に投射範囲Rに表示される描画受付画面30は、初期描画領域D0に対する描画を受け付ける画面である。描画モード開始時は、まだオブジェクト画像Oが描画されていないので、初期描画領域D0は、オブジェクト画像Oの配置の有無にかかわらず描画領域Dに含まれる固定描画領域であるといえる。本実施形態では、描画制御部174は、描画領域Dの大きさを少なくとも投射範囲Rの大きさに維持するに際して、初期描画領域D0を描画領域Dとして維持する。
上述のように、初期描画領域D0は、点p1(0,0)から点p2(1919,1079)の範囲であり、描画モードが開始された直後に投射範囲Rに表示される描画受付画面30は、初期描画領域D0に対する描画を受け付ける画面である。描画モード開始時は、まだオブジェクト画像Oが描画されていないので、初期描画領域D0は、オブジェクト画像Oの配置の有無にかかわらず描画領域Dに含まれる固定描画領域であるといえる。本実施形態では、描画制御部174は、描画領域Dの大きさを少なくとも投射範囲Rの大きさに維持するに際して、初期描画領域D0を描画領域Dとして維持する。
例えば図18に示される、オブジェクト画像O1~O4、O7が表示された描画受付画面30Eにおいて、例えば図22に示される描画受付画面30Fのようにオブジェクト画像O1,O2,O7が消去されたものとする。図23は、図22に対応する描画領域D2を示す。図22の描画領域D2では、オブジェクト画像O1,O2,O7が消去され、オブジェクト画像O3~O5が残っている。このため、描画領域Dを、オブジェクト画像O3~O5が配置された領域Dxに合わせて収縮することも考えられる。しかし、本実施形態では、描画制御部174は、描画領域Dとして初期描画領域D0の範囲を維持する。図24は、描画領域Dが初期描画領域D0の範囲となった状態を示す図である。また、図25は、図24の初期描画領域D0を全体表示した全体表示画面50Cである。全体表示画面50Cでは、図7に示す描画受付画面30Bと同様の位置に、オブジェクト画像O3~O5が表示されている。
このように、描画領域Dの大きさを少なくとも投射範囲Rの大きさに維持することによって、例えば描画操作の過程において、一時的にオブジェクト画像Oが配置されなくなった場合などにも、一定範囲の描画領域Dが維持され、描画作業における利便性を向上させることができる。また、描画領域Dの大きさを少なくとも投射範囲Rの大きさに維持するのに際して、初期描画領域D0を描画領域Dとして維持するので、描画領域Dとして維持される領域が明確となり、描画作業における利便性を向上させることができる。
D-5.描画メニューアイコン40
つぎに、描画メニューアイコン40について説明する。図26は、描画メニューアイコン40の拡大図である。描画受付画面30には、描画メニューアイコン40が表示される。本実施形態では、描画メニューアイコン40として、ペンアイコン42、消去アイコン44、スクロールアイコン46および全体表示アイコン48が表示される。ユーザーが所望のアイコンを指示体20でタップすると、当該アイコンが選択された状態となる。選択されたアイコンは、例えば色が変わるなど、表示態様を変化させるようにしてもよい。
つぎに、描画メニューアイコン40について説明する。図26は、描画メニューアイコン40の拡大図である。描画受付画面30には、描画メニューアイコン40が表示される。本実施形態では、描画メニューアイコン40として、ペンアイコン42、消去アイコン44、スクロールアイコン46および全体表示アイコン48が表示される。ユーザーが所望のアイコンを指示体20でタップすると、当該アイコンが選択された状態となる。選択されたアイコンは、例えば色が変わるなど、表示態様を変化させるようにしてもよい。
ペンアイコン42が選択された状態では、指示体20が投射範囲Rに接触しながら移動すると、移動の軌跡に沿って線が表示される。この線がオブジェクト画像Oとなる。ペンアイコン42が選択された状態を「ペンモード」とする。消去アイコン44が選択された状態では、指示体20が投射範囲Rに接触しながら移動すると、移動の軌跡上にあるオブジェクト画像Oの領域が消去される。消去アイコン44が選択された状態を「消去モード」とする。スクロールアイコン46が選択された状態では、指示体20が投射範囲Rに接触しながら移動すると、移動の方向に沿って描画受付画面30がスクロールする。スクロールアイコン46が選択された状態を「スクロールモード」とする。全体表示アイコン48が選択されると、描画領域Dの全体を表示する全体表示画面50が投射範囲Rに表示される。全体表示画面50の表示中は、投射範囲Rにおける表示を描画受付画面30に戻すためのアイコンが表示されてもよい。またこの他、表示画像を任意の倍率に拡大縮小するためのズームアイコン、描画を終了して描画画像を保存する保存アイコンなどを表示してもよい。
D-6.オブジェクト画像Oの描画方法
次に、オブジェクト画像Oの描画方法について説明する。上述のように、オブジェクト画像Oは、指示体20の投射範囲Rとの接触位置の軌跡である。よって、描画制御部174は、指示体20の接触位置を連続的に検出し、指示体20が投射範囲Rに接触してから離れるまでの期間、投射範囲Rにおける指示体20の接触位置の軌跡を検出する。より詳細には、描画制御部174は、赤外光撮像データが生成されるごとに最新の赤外光撮像データを解析して、最新の赤外光撮像データに赤外光が含まれているか否を判定する。描画制御部174は、赤外光撮像データに赤外光が含まれている場合には、赤外光撮像データ上における赤外光の位置Hを検出し、更にキャリブレーションデータを用いて、位置Hをフレームメモリー上の接触位置Haに変換する。
次に、オブジェクト画像Oの描画方法について説明する。上述のように、オブジェクト画像Oは、指示体20の投射範囲Rとの接触位置の軌跡である。よって、描画制御部174は、指示体20の接触位置を連続的に検出し、指示体20が投射範囲Rに接触してから離れるまでの期間、投射範囲Rにおける指示体20の接触位置の軌跡を検出する。より詳細には、描画制御部174は、赤外光撮像データが生成されるごとに最新の赤外光撮像データを解析して、最新の赤外光撮像データに赤外光が含まれているか否を判定する。描画制御部174は、赤外光撮像データに赤外光が含まれている場合には、赤外光撮像データ上における赤外光の位置Hを検出し、更にキャリブレーションデータを用いて、位置Hをフレームメモリー上の接触位置Haに変換する。
以降、各赤外光撮像データにおける位置Hおよびこれが変換された接触位置Haを識別する場合には、位置H(n)および接触位置Ha(n)と表記する。nは赤外光撮像データの生成タイミングを識別する識別情報であり、連続した整数であるものとする。1つの赤外光撮像データからは1つの位置Hが得られ、位置Hに対応する1つの接触位置Haが得られる。よって、nは接触位置Haを識別する識別情報としても機能する。
図27は、指示体20の接触位置の軌跡を模式的に示す図である。指示体20の接触位置の軌跡Tには、始点Hsと終点Heとが含まれる。描画制御部174は、最新の接触位置Ha(n)が検出された際、前回生成された赤外光撮像データで赤外光が検出されていなかった場合、すなわち接触位置Ha(n-1)が存在しない場合、最新の接触位置Ha(n)を移動軌跡の始点Hsとする。描画制御部174は、以降生成される赤外光撮像データに基づく接触位置Ha(n+1)、Ha(n+2)・・を、順次前回の接触位置Haに対応づけて、軌跡Tを生成する。また、描画制御部174は、赤外光撮像データで赤外光が検出されなくなった場合には、最後に検出された接触位置Haを移動軌跡の終点Heとする。図27の例では、接触位置Ha(n+x)以降、接触位置が検出されていない。例えば、接触位置Ha(n+x+1)は検出されていない。よって、接触位置Ha(n+x)が軌跡Tの終点Heとなる。
描画制御部174は、接触位置Haが検出される毎に、描画データDTのオブジェクト情報に接触位置Haを追加する。図28は、描画データDTを模式的に示す図である。図28の描画データDTの各行が、個々のオブジェクト画像Oの情報であるオブジェクト情報となっている。各オブジェクト情報は、指示体20が投射範囲Rに接触し、軌跡Tの始点が検出された場合に生成される。また、各オブジェクト情報は、消去アイコン44を用いた消去操作によってオブジェクト画像Oが消去された場合に消去される。
各オブジェクト情報は、オブジェクト画像Oの識別情報N1、座標情報N2、色情報N3、線種情報N4、太さ情報N5を含んでいる。識別情報N1は、オブジェクト画像Oを識別する情報である。座標情報N2は、オブジェクト画像Oが描画された際の接触位置Haの軌跡Tを示す情報である。座標情報N2によってオブジェクト画像Oの形状が規定される。色情報N3は、描画受付画面30におけるオブジェクト画像Oの表示色を示す。線種情報N4は、描画受付画面30におけるオブジェクト画像Oの線種を示す。太さ情報N5は、描画受付画面30におけるオブジェクト画像Oの描画太さを示す。色情報N3、線種情報N4、太さ情報N5は、例えば描画モードにおける設定画面において、ユーザーにより指定可能である。
オブジェクト画像Oは、上記座標情報T2によって特定されるフレームメモリー上の点に配置されるドットと、隣り合う各ドット同士を連結する連結線とによって構成されている。このドットは、その中心位置が接触位置Haであり、その直径は太さ情報T5で特定される描画太さに対応する長さである。描画太さが太いほど、ドットの直径は大きくなる。また、連結線の線種は、線種情報T4によって特定される。ドットおよび連結線の表示色は、色情報T3によって特定される。
D-7.フローチャート
図29および図30は、プロジェクター10の処理部17が制御プログラム162に従って実行する画像処理方法の流れを示すフローチャートである。処理部17は、描画制御部174として機能することにより、図29および図30に示す各ステップを実行する。
図29および図30は、プロジェクター10の処理部17が制御プログラム162に従って実行する画像処理方法の流れを示すフローチャートである。処理部17は、描画制御部174として機能することにより、図29および図30に示す各ステップを実行する。
処理部17は、描画モードが選択されるまで待機し(ステップS100:NO)、描画モードが選択されたことを検知すると(ステップS100:YES)、初期描画領域D0に対応する描画受付画面30を投射範囲Rに表示させる(ステップS104)。スクロールモードで指示体20が投射範囲Rに接触し、いずれかの方向に移動したことを検知すると(ステップS106:YES)、処理部17は、投射範囲Rにおける描画領域Dの表示を指示体20が移動した方向にスクロールさせる(ステップS108)。スクロールモード以外のモードの場合、スクロールモードで指示体20が投射範囲Rに接触しない場合、スクロールモードで指示体20が投射範囲Rに接触したが移動しない場合のいずれかである場合(ステップS106:NO)、処理部17は、ステップS110に移行する。
また、ペンモードで指示体20が投射範囲Rに接触したことを検知すると(ステップS110:YES)、処理部17は、投射範囲Rにおける指示体20の移動の軌跡をオブジェクト画像Oとして表示する(ステップS112)。なお、指示体20が移動しないまま投射範囲Rから離れた場合には、指示体20の接触位置に点が表示される。また、処理部17は、軌跡の座標等をオブジェクト情報として記録する(ステップS114)。また、ペンモード以外のモードの場合、またはペンモードで指示体20が投射範囲Rに接触しない場合(ステップS110:NO)、処理部17は、ステップS120に移行する。
処理部17は、描画領域Dの範囲外にオブジェクト画像Oが描画された場合(ステップS116:YES)、オブジェクト画像Oの配置領域に合わせて描画領域Dを拡張する(ステップS118)。描画領域Dの範囲外にオブジェクト画像Oが描画されない場合(ステップS116:NO)、処理部17は、ステップS120に移行する。
また、描画領域Dの端部付近に位置するオブジェクト画像Oが消去された場合(ステップS120:YES)、消去されたオブジェクト画像Oが初期描画領域D0の範囲外に位置するか否かを判断する(ステップS122)。消去されたオブジェクト画像Oが初期描画領域D0の範囲外に位置する場合(ステップS122:YES)、処理部17は、残りのオブジェクト画像Oの配置領域に合わせて描画領域Dを収縮する(ステップS124)。なお、オブジェクト画像Oが消去されない場合、または描画領域Dの中央付近に位置するオブジェクト画像Oが消去された場合(ステップS120:NO)、処理部17は、ステップS126に移行する。また、消去されたオブジェクト画像Oが初期描画領域D0の範囲外に位置しない場合(ステップS122:NO)、すなわち初期描画領域D0の範囲内に位置する場合、処理部17は、ステップS126に移行する。
処理部17は、全体表示アイコン48が選択され、全体表示指示があったことを検知すると(ステップS126:YES)、その時点における描画領域D全体を投射範囲Rに表示させる(ステップS128)。全体表示指示がない場合(ステップS126:NO)、処理部17は、ステップS130に移行する。ユーザーが描画を終了するまでは(ステップS130:NO)、処理部17は、ステップS106に戻り以降の処理を繰り返す。ユーザーが描画を終了すると(ステップS130:YES)、処理部17は、本フローチャートの処理を終了する。
以上説明したように、実施形態にかかるプロジェクター10は、描画受付画面30に含まれるオブジェクト画像Oの少なくとも一部の部分を消去する操作が行われた場合に、消去されたオブジェクト画像Oの部分が配置されていた領域を描画領域Dから除外する。これにより、オブジェクト画像Oが配置されなくなった領域まで描画領域Dに含まれるのを回避して、描画領域Dの範囲を適切に維持することができ、描画操作における操作性を向上させることができる。また、プロジェクター10は、全体表示アイコン48が選択された場合に、描画領域Dの全体を投射範囲Rの大きさに縮小した全体表示画面50を投射範囲Rに表示する。これにより、特に投射範囲Rよりも大きい範囲に描画する場合において、ユーザーは描画した画像の全体を把握することができ、描画操作における操作性を向上させることができる。また、プロジェクター10においては、オブジェクト画像Oが配置されていない領域は描画領域Dから除外されるので、全体表示画面50にはオブジェクト画像Oが配置された部分のみが表示される。よって、ユーザーが必要とする部分のみを全体表示画面50として表示させることができ、描画作業における利便性を向上させることができる。
また、プロジェクター10は、描画領域Dを収縮する際に、描画領域Dの大きさを少なくとも投射範囲Rの大きさに維持する。これにより、例えば描画操作の過程において、一時的にオブジェクト画像Oが配置されなくなった場合などにも、一定範囲の描画領域Dが維持され、描画作業における利便性を向上させることができる。また、プロジェクター10は、描画領域Dの大きさを少なくとも投射範囲Rの大きさに維持するに際して、初期描画領域D0を描画領域Dとして維持する。これにより、描画領域Dとして維持される領域が明確となり、描画作業における利便性を向上させることができる。また、プロジェクター10は、描画領域Dを収縮する際に、描画領域Dに残るオブジェクト画像Oのx軸に沿った両端とy軸に沿った両端とを囲む矩形に描画領域Dを変更する。これにより、簡易かつ確実に描画領域Dを収縮させることができる。
また、プロジェクター10は、描画受付画面30に対するスクロール操作が行われた際に、スクロール操作に対応する描画領域Dの範囲を含む新たな描画受付画面30を投射範囲Rに表示し、新たな描画受付画面30に新たなオブジェクト画像Oを描画する操作が行われた場合に、新たなオブジェクト画像Oが配置された領域を描画領域Dに加える。これにより、ユーザーは任意の位置に描画を行うことができ、描画作業における利便性を向上させることができる。また、プロジェクター10は、新たなオブジェクト画像Oが配置された領域を描画領域Dに加えるに際して、新たなされたオブジェクト画像Oの第1軸に沿った両端とy軸に沿った両端とを囲む矩形の全体が描画領域Dを規定する矩形に含まれるように描画領域Dを規定する矩形を拡張する。これにより、簡易かつ確実に描画領域Dを拡張させることができる。
E.変形例
以上に例示した各形態は多様に変形され得る。前述の各形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
以上に例示した各形態は多様に変形され得る。前述の各形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
E-1.変形例1
上述した実施形態では、画像処理装置がプロジェクター10であるものとして説明した。これに限らず、画像処理装置は、ディスプレイに接続されたコンピューターやディスプレイを備えた可搬型情報処理装置などであってもよい。この場合、ディスプレイが表示装置となる。ディスプレイは、例えば、FPD(Flat Panel Display)でもよい。FPDは、例えば、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electro Luminescence)ディスプレイである。
上述した実施形態では、画像処理装置がプロジェクター10であるものとして説明した。これに限らず、画像処理装置は、ディスプレイに接続されたコンピューターやディスプレイを備えた可搬型情報処理装置などであってもよい。この場合、ディスプレイが表示装置となる。ディスプレイは、例えば、FPD(Flat Panel Display)でもよい。FPDは、例えば、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electro Luminescence)ディスプレイである。
E-2.変形例2
上述した実施形態では、赤外光を用いて指示体20の位置が検出されるものとしたが、指示体20の位置の検出方法はこれに限らず、従来公知の様々な方法を適用可能である。例えば、指示体20の位置を検出する検出装置は、指示体20に所定の波長を有する光を照射して、指示体20で反射された光を受光することにより、指示体20の位置を検出してもよい。検出装置は、赤外線を照射する装置またはレーザー光源と受光装置とによって、指示体20によって光が遮られた位置を検出するものであってもよい。これらの方法を用いる場合、指示体20は、ユーザーの指等であってもよい。
上述した実施形態では、赤外光を用いて指示体20の位置が検出されるものとしたが、指示体20の位置の検出方法はこれに限らず、従来公知の様々な方法を適用可能である。例えば、指示体20の位置を検出する検出装置は、指示体20に所定の波長を有する光を照射して、指示体20で反射された光を受光することにより、指示体20の位置を検出してもよい。検出装置は、赤外線を照射する装置またはレーザー光源と受光装置とによって、指示体20によって光が遮られた位置を検出するものであってもよい。これらの方法を用いる場合、指示体20は、ユーザーの指等であってもよい。
E-3.変形例3
上述した実施形態では、描画領域Dの大きさは少なくとも投射範囲Rの大きさに維持された。この時、描画領域Dとして維持されるには、初期描画領域D0であった。これに限らず、初期描画領域D0からずれた領域が描画領域Dとして維持されてもよい。例えば、初期描画領域D0にオブジェクト画像Oが描画されておらず、初期描画領域D0からずれた位置にのみオブジェクト画像Oが描画されている状態において、オブジェクト画像Oが描画されている領域の周囲を描画領域Dとして維持してもよい。これにより、ユーザーは任意の領域を描画領域Dとして維持することができる。
上述した実施形態では、描画領域Dの大きさは少なくとも投射範囲Rの大きさに維持された。この時、描画領域Dとして維持されるには、初期描画領域D0であった。これに限らず、初期描画領域D0からずれた領域が描画領域Dとして維持されてもよい。例えば、初期描画領域D0にオブジェクト画像Oが描画されておらず、初期描画領域D0からずれた位置にのみオブジェクト画像Oが描画されている状態において、オブジェクト画像Oが描画されている領域の周囲を描画領域Dとして維持してもよい。これにより、ユーザーは任意の領域を描画領域Dとして維持することができる。
1…プロジェクターシステム、10…プロジェクター、12…操作部、13…第2通信部、14…投射部、15…カメラ、16…記憶部、162…制御プログラム、164…データ、17…処理部、172…動作制御部、174…描画制御部、20…指示体、20a…先端、20b…軸部、22…第1通信部、23…第1光源、24…スイッチ、25…指示体記憶部、26…指示体制御部。
Claims (7)
- ユーザーにより描画された一又は複数のオブジェクト画像が配置される領域である描画領域の少なくとも一部を含む第1画面を表示面に表示することと、
前記第1画面に含まれるオブジェクト画像の少なくとも一部の部分を消去する操作が行われた場合に、前記少なくとも一部の部分が配置されていた領域を前記描画領域から除外することと、
所定の操作を受け付けた場合に、前記描画領域の全体を前記表示面の大きさに縮小した縮小画面を前記表示面に表示することと、
を含む画像処理方法。 - 前記少なくとも一部の部分が配置されていた領域を前記描画領域から除外することは、前記描画領域の大きさを少なくとも前記表示面の大きさに維持することを含む、
請求項1記載の画像処理方法。 - 前記オブジェクト画像の配置の有無にかかわらず前記描画領域に含まれる固定描画領域が設けられており、
前記描画領域の大きさを少なくとも前記表示面の大きさに維持することは、前記固定描画領域を前記描画領域として維持することを含む、
請求項2記載の画像処理方法。 - 前記描画領域は、第1軸および前記第1軸と直交する第2軸によって規定される矩形の領域であり、
前記少なくとも一部の部分が配置されていた領域を前記描画領域から除外することは、前記描画領域に残る一または複数のオブジェクト画像の前記第1軸に沿った両端と、前記描画領域に残る一または複数のオブジェクト画像の前記第2軸に沿った両端とを囲む矩形に、前記描画領域を変更することである、
請求項1から3のいずれか1項記載の画像処理方法。 - 前記第1画面に対するスクロール操作に対応する前記描画領域の範囲を含む第2画面を前記表示面に表示することと、
前記第2画面に新たなオブジェクト画像を描画する操作が行われた場合に、前記新たなオブジェクト画像が配置された領域を前記描画領域に加えることと、を含む、
請求項4記載の画像処理方法。 - 前記描画領域は、前記第1軸および前記第2軸によって規定される第1矩形の領域であり、
前記新たなオブジェクト画像が配置された領域は、前記新たなオブジェクト画像の前記第1軸に沿った両端と、前記新たなオブジェクト画像の前記第2軸に沿った両端とを囲む第2矩形の領域であり、
前記新たなオブジェクト画像が配置された領域を前記描画領域に加えることは、前記第2矩形の全体が前記第1矩形に含まれるように前記第1矩形を拡張することである、
請求項5に記載の画像処理方法。 - 表示装置と、
少なくとも1つの処理部と、を含み、
前記処理部は、
前記表示装置を用いて、ユーザーにより描画された一又は複数のオブジェクト画像が配置された領域である描画領域の少なくとも一部を含む第1画面を表示面に表示することと、
前記第1画面に含まれるオブジェクト画像の少なくとも一部の部分を消去する操作が行われた場合に、前記少なくとも一部の部分が配置されていた領域を前記描画領域から除外することと、
所定の操作を受け付けた場合に、前記描画領域の全体を前記表示面の大きさに縮小した縮小画面を前記表示面に表示することと、を実行する、
画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021110701A JP2023007696A (ja) | 2021-07-02 | 2021-07-02 | 画像処理方法および画像処理装置 |
US17/856,822 US20230004282A1 (en) | 2021-07-02 | 2022-07-01 | Image processing method and image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021110701A JP2023007696A (ja) | 2021-07-02 | 2021-07-02 | 画像処理方法および画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023007696A true JP2023007696A (ja) | 2023-01-19 |
Family
ID=84785466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021110701A Pending JP2023007696A (ja) | 2021-07-02 | 2021-07-02 | 画像処理方法および画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230004282A1 (ja) |
JP (1) | JP2023007696A (ja) |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1248250A1 (en) * | 2001-04-04 | 2002-10-09 | Sun Microsystems, Inc. | Optimized data access for drawing operations |
JP2011151764A (ja) * | 2009-06-09 | 2011-08-04 | Ricoh Co Ltd | 描画画像共有装置 |
WO2012008099A1 (ja) * | 2010-07-12 | 2012-01-19 | パナソニック株式会社 | 設計支援装置、設計支援プログラム、設計支援方法、及び集積回路 |
US20120280948A1 (en) * | 2011-05-06 | 2012-11-08 | Ricoh Company, Ltd. | Interactive whiteboard using disappearing writing medium |
JP6008076B2 (ja) * | 2011-10-13 | 2016-10-19 | セイコーエプソン株式会社 | プロジェクター及び画像描画方法 |
WO2013191315A1 (ko) * | 2012-06-21 | 2013-12-27 | 엘지전자 주식회사 | 디지털 이미지 처리 장치 및 방법 |
US9116592B2 (en) * | 2013-03-19 | 2015-08-25 | Casio Computer Co., Ltd. | Data processing device for processing input data to be used for printing, printer including the processing device, and non-transitory computer readable recording medium storing a data processing program |
KR102183448B1 (ko) * | 2013-04-26 | 2020-11-26 | 삼성전자주식회사 | 사용자 단말 장치 및 그 디스플레이 방법 |
JP2015158900A (ja) * | 2014-01-27 | 2015-09-03 | 株式会社リコー | 情報処理装置、情報処理方法および情報処理プログラム |
JP6287498B2 (ja) * | 2014-04-01 | 2018-03-07 | 日本電気株式会社 | 電子ホワイトボード装置、電子ホワイトボードの入力支援方法、及びプログラム |
JP6364893B2 (ja) * | 2014-04-01 | 2018-08-01 | 日本電気株式会社 | 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム |
KR102387115B1 (ko) * | 2015-11-18 | 2022-04-18 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
US10481682B2 (en) * | 2016-03-29 | 2019-11-19 | Google Llc | System and method for generating virtual marks based on gaze tracking |
JP6841647B2 (ja) * | 2016-12-20 | 2021-03-10 | シャープ株式会社 | 表示装置、表示方法及びプログラム |
JP6776113B2 (ja) * | 2016-12-20 | 2020-10-28 | シャープ株式会社 | 表示装置、表示装置における表示方法及びプログラム |
US20210096709A1 (en) * | 2017-11-28 | 2021-04-01 | Egalax_Empia Technology Inc. | Electronic Board Eraser and Controlling Method Thereof for Setting Erasing Area |
JP2020042322A (ja) * | 2018-09-06 | 2020-03-19 | セイコーエプソン株式会社 | 画像表示装置及びその制御方法 |
US20220091809A1 (en) * | 2019-02-04 | 2022-03-24 | Sony Group Corporation | Information processing device and information processing method |
-
2021
- 2021-07-02 JP JP2021110701A patent/JP2023007696A/ja active Pending
-
2022
- 2022-07-01 US US17/856,822 patent/US20230004282A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230004282A1 (en) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110647248B (zh) | 图像显示装置及其操作方法 | |
US6943779B2 (en) | Information input/output apparatus, information input/output control method, and computer product | |
JP4422851B2 (ja) | 座標入力装置及び方法 | |
JP5808712B2 (ja) | 映像表示装置 | |
JP6000797B2 (ja) | タッチパネル式入力装置、その制御方法、および、プログラム | |
JP2008165800A (ja) | カーソル制御方法及び装置 | |
JP2011203830A (ja) | 投写システム及びその制御方法 | |
US9529422B2 (en) | Image display and photographing system, photographing device, display device, image display and photographing method, and computer-readable storage medium for computer program | |
JP2017010241A (ja) | 画像表示システムおよび画像表示方法 | |
JP3832132B2 (ja) | 表示システム、及びプレゼンテーションシステム | |
JP2010117917A (ja) | 動作検出装置および操作システム | |
JP2007086962A (ja) | 画面位置指示システム及び画面位置指示方法 | |
US10795467B2 (en) | Display device, electronic blackboard system, and user interface setting method | |
JP2023007696A (ja) | 画像処理方法および画像処理装置 | |
KR102465862B1 (ko) | 입력 장치 및 그 제어방법 | |
JP4434381B2 (ja) | 座標入力装置 | |
JP2022188719A (ja) | 画像処理方法および画像処理装置 | |
JP2010211637A (ja) | 投影型入出力システム及びそのプログラム | |
CN115525201A (zh) | 图像处理方法和图像处理装置 | |
US20230260079A1 (en) | Display method for and display apparatus | |
JP6662441B2 (ja) | 画像測定用プログラム、画像測定機、及び画像測定方法 | |
JP2023097686A (ja) | 表示方法、及び、表示装置 | |
JP7371670B2 (ja) | 撮像装置、プログラム及び被写体画像の表示方法 | |
JP2010060845A (ja) | 表示システム、操作装置、画像表示装置、レイアウト設定プログラム及び記録媒体 | |
JP6019979B2 (ja) | 情報処理装置、画像処理プログラム及び投影システム |