JP2022132789A - 表示方法およびプログラム - Google Patents
表示方法およびプログラム Download PDFInfo
- Publication number
- JP2022132789A JP2022132789A JP2021031442A JP2021031442A JP2022132789A JP 2022132789 A JP2022132789 A JP 2022132789A JP 2021031442 A JP2021031442 A JP 2021031442A JP 2021031442 A JP2021031442 A JP 2021031442A JP 2022132789 A JP2022132789 A JP 2022132789A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mask
- input
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000003384 imaging method Methods 0.000 description 32
- 230000010365 information processing Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
- G09G5/24—Generation of individual character patterns
- G09G5/28—Generation of individual character patterns for enhancement of character form, e.g. smoothing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
- G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】マスク領域の調整を容易にする表示方法およびプログラムを提供する。【解決手段】閾値の入力を受け付ける処理装置は、閾値を用いることによって、撮像画像のうち入力画像542を表示する領域であるマスク領域又は撮像画像のうち入力画像を表示しない領域である非マスク領域を示す仮マスク画像540を生成する。処理装置は、仮マスク画像540を入力画像542に重畳した仮投射用画像54を表示させる。閾値は、撮像画像の各画素がマスク領域を構成する画素であるか否かを判定することに用いる値であり、例えば撮像画像の各画素がマスク領域を構成する画素である確率を示す値である。【選択図】図6
Description
本発明は、表示方法およびプログラムに関する。
例えば下記特許文献1には、入力画像から被写体を検出する被写体検出方法が開示されている。特許文献1の被写体検出方法は、入力画像から特徴量を取得し、特徴量に基づいて被写体の存在確率を示す確率分布画像を生成し、確率分布画像をあらかじめ記憶された閾値と比較することによって被写体を検出する。
上述した特許文献1では、被写体の検出にあらかじめ記憶された閾値を用いるので、ユーザーが真に検出したい領域が検出されない可能性がある。したがって、従来の技術では、ユーザーの感性に合わせて、領域を簡単に調整できなかった。
本発明の一態様に係る表示方法は、閾値の入力を受け付けることと、前記閾値を用いることによって、第1画像のうち入力画像を表示する領域であるマスク領域、または前記第1画像のうち前記入力画像を表示しない領域である非マスク領域を示す、第2画像を生成することと、前記第2画像を前記入力画像に重畳した投射用画像を表示させることと、を含む。
本発明の一態様に係るプログラムは、コンピューターに、閾値の入力を受け付けることと、前記閾値を用いることによって、第1画像のうち入力画像を表示する領域であるマスク領域、または前記第1画像のうち前記入力画像を表示しない領域である非マスク領域を示す、第2画像を生成することと、前記第2画像を前記入力画像に重畳した投射用画像を表示させることと、を実行させる。
以下、添付図面を参照しながら本発明に係る好適な実施形態を説明する。なお、図面において各部の寸法または縮尺は実際と適宜に異なり、理解を容易にするために模式的に示している部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。
1.第1実施形態
図1は、実施形態に係る投射システム1の一例を示す概略図である。図1に示すように投射システム1は、プロジェクター10と、撮像装置20と、情報処理装置30と、を含む。図1に示す投射システム1は、3次元形状を有する物体40に画像を投射するためのシステムである。本実施形態では、物体40は、所定の厚さを有する板状の部材を「E」の文字の形状に切り出すことにより形成されている。物体40は、壁面42と接する図示しない接着面と、接着面と反対側の面である表面400と、接着面と表面400とを接続する側面402とを有する。本実施形態では、物体40の表面400が画像の投射領域に設定される。プロジェクター10からの画像の投射領域が、後述するマスク領域に対応する。
図1は、実施形態に係る投射システム1の一例を示す概略図である。図1に示すように投射システム1は、プロジェクター10と、撮像装置20と、情報処理装置30と、を含む。図1に示す投射システム1は、3次元形状を有する物体40に画像を投射するためのシステムである。本実施形態では、物体40は、所定の厚さを有する板状の部材を「E」の文字の形状に切り出すことにより形成されている。物体40は、壁面42と接する図示しない接着面と、接着面と反対側の面である表面400と、接着面と表面400とを接続する側面402とを有する。本実施形態では、物体40の表面400が画像の投射領域に設定される。プロジェクター10からの画像の投射領域が、後述するマスク領域に対応する。
プロジェクター10は、後述する投射用画像56,58を投射するための液晶ライトバルブ、投射射レンズ、および液晶駆動部を備える。また、プロジェクター10は、光源として超高圧水銀ランプまたはメタルハライドランプを備える。プロジェクター10は、例えばケーブルによって情報処理装置30と通信可能に接続される。プロジェクター10は、ケーブルを介した通信により情報処理装置30から投射用画像データを取得する。プロジェクター10は、取得した投射用画像データが示す投射用画像56,58をマスク領域に投射する。以下では、マスク領域は、後述する入力画像562,582が表示される領域であり、マスク領域以外の領域は、入力画像562,582が表示されない、すなわちマスクされない領域である。本実施形態では、プロジェクター10と情報処理装置30との間の通信は、例えば、イーサネットやUSB(Universal Serial Bus)等の規格に準拠した有線通信である。しかし、プロジェクター10と情報処理装置30との間の通信は、Wi-Fi等の規格に準拠した無線通信であってもよい。なお、Wi-Fiおよびイーサネットは登録商標である。
撮像装置20は、例えば、集光された光を電気信号に変換する撮像素子であるCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等を備えたカメラである。以下では、説明を簡略化するため、撮像装置20は、静止画像を撮像するものとする。なお、撮像装置20は、静止画像を撮像することに代えて、動画像を撮像してもよい。撮像装置20は、物体40を含む撮像領域44の画像を撮像する。本実施形態では、撮像領域44には、物体40と壁面42とが含まれる。なお、本実施形態では、撮像装置20での撮像時にはプロジェクター10からの投射は行わないものとする。すなわち、撮像装置20で撮像された撮像画像50は、プロジェクター10からの投射が行われていない状態で撮像領域44を撮像した画像である。撮像画像50は、図3に例示される。撮像装置20は、プロジェクター10と同様に、例えばケーブルによって情報処理装置30と通信可能に接続される。撮像装置20は、撮像した画像を表す撮像画像データを情報処理装置30へ送信する。本実施形態では、撮像装置20と情報処理装置30との間の通信は、例えばイーサネットやUSB等の規格に準拠した有線通信であるが、Wi-Fi等の規格に準拠した無線通信であってもよい。また、本実施形態では、撮像装置20は情報処理装置30およびプロジェクター10とは別体であるが、撮像装置20は情報処理装置30およびプロジェクター10のいずれかに搭載されていてもよい。
情報処理装置30は、電子機器の一例であり、例えばパーソナルコンピューターである。図1に示すように、情報処理装置30は、通信装置300、タッチパネル310、記憶装置320、および処理装置330を有する。通信装置300には、ケーブルを介してプロジェクター10が接続される。また、通信装置300には、ケーブルを介して撮像装置20が接続される。通信装置300は、撮像装置20から送信される撮像画像データを受信する。また、通信装置300は、処理装置330による制御の下、物体40に投射する画像を表す投射用画像データをプロジェクター10へ送信する。
タッチパネル310は、各種情報を表示する表示装置と、ユーザーにより情報が入力される入力装置とが、一体化された装置である。入力装置は、例えば透明なシート状の接触センサーである。入力装置は、表示装置の表示面を覆うように設けられる。入力装置は、当該入力装置に接触する物体と当該入力装置とによって特定される静電容量を用いてタッチ位置を検出する。入力装置は、検出したタッチ位置を示すデータを処理装置330へ出力する。これにより、タッチパネル310に対するユーザーの操作内容が処理装置330へ伝達される。本実施形態では、タッチパネル310が表示装置と入力装置とを兼ねるものとするが、表示装置と入力装置とが別個に設けられていてもよい。具体的には、例えば情報処理装置30が、表示装置としてディスプレイを備えるとともに、入力装置としてキーボードとマウスとを備えていてもよい。
記憶装置320は、処理装置330が読み取り可能な記録媒体である。記憶装置320は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)またはEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、RAM(Radom Access Memory)である。
記憶装置320の不揮発性メモリーには、処理装置330によって実行されるプログラム322が予め記憶される。記憶装置320の揮発性メモリーはプログラム322を実行する際のワークエリアとして処理装置330によって利用される。プログラム322は、「アプリケーションプログラム」、「アプリケーションソフトウェア」または「アプリ」とも称され得る。プログラム322は、例えば、通信装置300を介して不図示のサーバー等から取得され、その後、記憶装置320に記憶される。
処理装置330は、例えばCPU(Central Processing Unit)等のプロセッサー、即ちコンピューターを含んで構成される。処理装置330は、単一のコンピューターで構成されてもよいし、複数のコンピューターで構成されてもよい。処理装置330は、プログラム322の実行開始を指示する操作が入力装置に対してなされたことを契機としてプログラム322を不揮発性メモリーから揮発性メモリーに読み出す。処理装置330は、揮発性メモリーに読み出したプログラム322を実行する。
図2は、処理装置330の機能的構成を示すブロック図である。プログラム322に従って作動中の処理装置330は、図2に示す撮像画像取得部331、領域選択受付部332、確率算出部333、閾値受付部334、マスク画像生成部335、および表示制御部336として機能する。図2に示す撮像画像取得部331、領域選択受付部332、確率算出部333、閾値受付部334、マスク画像生成部335、および表示制御部336は、処理装置330をプログラム322に従って動作させることで実現されるソフトウェアモジュールである。
撮像画像取得部331は、物体40を含む撮像領域44を撮像した撮像画像50を撮像装置20から取得する。撮像画像50は、第1画像に対応する。本実施形態では、撮像画像取得部331は、通信装置300を介して撮像装置20から撮像画像データを受信する。撮像画像50は、撮像装置20が撮像した画像そのものであってもよいし、構造化光投影法等を用いて撮像装置20が撮像した画像をプロジェクター10からの視点で撮像した画像に座標変換した画像であってもよい。
領域選択受付部332は、撮像画像取得部331が取得した撮像画像50をタッチパネル310に表示させるとともに、撮像画像50を用いてマスク領域を選択する情報の入力を受け付ける。本実施形態では、領域選択受付部332は、撮像画像50に対する描画入力をユーザーから受け付ける。この描画入力は、撮像画像50上でマスク領域の一部または非マスク領域の一部を指定するものである。
図3および図4は、領域選択受付部332による領域選択の受付態様の一例を示す図である。図3では、タッチパネル310に撮像画像50が表示されている。撮像画像50は、図1に示す物体40を含む撮像領域44を撮像した画像であり、物体40の表面400に対応する第1領域500、物体40の側面402に対応する第2領域502、および壁面42に対応する第3領域504を含む。
また、タッチパネル310には、撮像画像50とともに、描画ボタン60、取り消しボタン62、完了ボタン64が表示される。ユーザーが描画ボタン60に触れると、領域選択受付部332は、図4に示されるように今回の描画がマスク領域と非マスク領域のいずれを指定するものかを指定する領域種別指定部66を表示させる。領域種別指定部66は、選択項目としてマスク領域指定部660と非マスク領域指定部662とを含んでいる。ユーザーは、マスク領域の指定時にはマスク領域指定部660を選択し、非マスク領域の指定時には非マスク領域指定部662を選択する。図4では、マスク領域指定部660が選択されている。この状態でユーザーが撮像画像50に触れると、領域選択受付部332は、その軌跡をペンで描画したように表示させる。領域選択受付部332は、撮像画像50のうち、軌跡が表示された画素がマスク領域に含まれる画素であるものとして、描画入力によって指定された任意の画素の情報を受け付ける。また、非マスク領域指定部662が選択された状態でユーザーが撮像画像50に触れた場合にも同様に、領域選択受付部332は、その軌跡をペンで描画したように表示させる。この場合、領域選択受付部332は、撮像画像50のうち、軌跡が表示された画素が非マスク領域に含まれる画素であるものとして受け付ける。
本実施形態では、物体40の表面400をマスク領域とするので、ユーザーは、マスク領域指定部660を選択した場合には、撮像画像50のうち第1領域500に対して描画を行うことになる。この時、ユーザーは、例えば軌跡L1のように第1領域500の全体をなぞるように描画してもよいし、軌跡L2のように第1領域500の1点のみ、または複数点をタッチして描画してもよい。また、軌跡L1のような線の描画と、軌跡L2のような点の描画を組み合わせてもよい。また、ユーザーが非マスク領域を選択する場合には、領域種別指定部66で非マスク領域指定部662を選択し、撮像画像50のうち第2領域502または第3領域504の少なくともいずれかに対して描画を行う。ユーザーは、撮像画像50のうち、少なくとも1画素を指定し、これがマスク領域に含まれるのか、または非マスク領域に含まれるのかを指定すればよい。
なお、ユーザーがマスク領域指定部660を指定して描画した後、非マスク領域指定部662を指定して更に描画するなどにより、マスク領域指定部660と非マスク領域指定部662の両方を指定できるようにしてもよい。この時、マスク領域指定部660を選択した際の軌跡の色と、非マスク領域指定部662を選択した際の軌跡の色とを変えれば、ユーザーは自身が選択した箇所の領域種別を認識しやすくなり、操作性が向上する。
取り消しボタン62は、描画入力を取り消すことに用いられる。例えば軌跡が第1領域500からはみ出た場合など、描画を取り消したい場合、ユーザーは、取り消しボタン62に触れた上で、軌跡のうち取り消したい部分をなぞる。すると、領域選択受付部332は、当該部分の軌跡を消去し、対応する画素のマスク領域または非マスク領域としての指定を解除する。なお、なぞった部分が描画入力の全部であれば全部が、一部であれば一部が、取り消される。
描画ボタン60の下部には、スライダーバー600が表示されている。スライダーバー600は、描画ボタン60をタッチして描画を行う際の軌跡の太さを調整するインターフェースである。スライダーバー600は、所定方向に延びるバー602と、バー602上を移動可能なスライダー604とを備える。図4の例では、バー602はタッチパネル310の画面左右方向に延びている。バー602の左右方向の中心位置が、スライダー604の基準位置であり、この時の軌跡の幅を基準幅とする。ユーザーがスライダー604を基準位置より右方向に移動させると、領域選択受付部332は、軌跡の幅を基準幅より大きくする。これにより、スライダー604が基準位置にある時と同じ描画動作を行っても、マスク領域または非マスク領域として指定される画素が多くなる。また、ユーザーがスライダー604を基準位置より左方向に移動させると、領域選択受付部332は、軌跡の幅を基準幅より小さくする。これにより、スライダー604が基準位置にある時と同じ描画動作を行っても、マスク領域または非マスク領域として指定される画素が少なくなる。
取り消しボタン62の下部にも同様に、スライダーバー620が表示されている。スライダーバー620は、取り消しボタン62をタッチして描画の取り消しを行う際の取り消し領域の幅を調整するインターフェースである。スライダーバー620は、所定方向に延びるバー622と、バー622上を移動可能なスライダー624とを備える。図4の例では、バー622はタッチパネル310の画面左右方向に延びている。バー622の左右方向の中心位置が、スライダー624の基準位置であり、この時の取り消し領域の幅を基準幅とする。ユーザーがスライダー624を基準位置より右方向に移動させると、領域選択受付部332は、取り消し領域の幅を基準幅より大きくする。これにより、スライダー624が基準位置にある時と同じ取り消し動作を行っても、取り消される軌跡の画素が多くなる。また、ユーザーがスライダー624を基準位置より左方向に移動させると、領域選択受付部332は、取り消し領域の幅を基準幅より小さくする。これにより、スライダー604が基準位置にある時と同じ描画動作を行っても、取り消される軌跡の画素が少なくなる。
ユーザーは、マスク領域または非マスク領域への描画を終了すると、完了ボタン64を押下する。領域選択受付部332は、完了ボタン64が押下された時点における描画内容に基づいて、ユーザーがマスク領域または非マスク領域として選択する画素を受け付ける。
すなわち、領域選択受付部332は、撮像画像50を表示させるとともに、撮像画像50を用いてマスク領域を選択する情報の入力を受け付ける。領域選択受付部332でマスク領域を選択する情報の入力を受け付けることは、撮像画像50の任意の画素が、マスク領域を構成する画素である、または非マスク領域を構成する画素である、ことを指定することを含む。また、領域選択受付部332でマスク領域を選択する情報の入力を受け付けることは、撮像画像50に対する描画入力を受け付けることを含む。さらに領域選択受付部332でマスク領域を選択する情報の入力を受け付けることは、取り消しボタン62を用いて描画入力の少なくとも一部を取り消すことを含む。
なお、本実施形態では、領域選択受付部332は、マスク領域または非マスク領域に対する描画を受け付けることによりマスク領域または非マスク領域の選択を受け付けたが、これに選択の方法はこれに限られない。例えば、各画素がナンバリングされた撮像画像50を用いて、マスク領域に含まれる画素の番号または非マスク領域に含まれる画素の番号をユーザーが指定してもよい。なお、ナンバリングは全ての画素に行っても、一部の画素に行ってもよい。
図2に示される確率算出部333は、撮像画像50の各画素がマスク領域を構成する画素である確率を算出する。画像上の任意の画素が特定の領域に含まれる確率を算出する方法は、Growcut法など様々なものが知られている。一例を挙げると、例えば領域選択受付部332でマスク領域として選択された画素は、マスク領域である確率を100%とする。それ以外の画素は、マスク領域として選択された画素との類似度によってマスク領域である確率を算出する。画素間の類似度は、例えば画素の色、深度、マスク領域として選択された画素からの距離などのパラメーターを用いて算出することができる。以下、マスク領域として選択された画素を「マスク領域画素」、確率を算出する画素を「対象画素」という。
例えば色を用いて確率を算出する場合、対象画素のRGB値[Rx,Gx,Bx]とマスク領域画素のRGB値[R0,G0,B0]とを用いて、対象画素がマスク領域画素である確率P1を下記式(1)で算出することができる。P1は、0から1の間の値をとり、値が大きいほど対象画素がマスク領域画素である確率が高い。なお、下記式(1)の分母の「255」は、階調が8bitで表現される、すなわち、Rx,Gx,Bx,R0,G0,B0の各値が0から255の整数で表される場合の値である。階調が8bitでない場合には、下記式(1)の「255」に対応する値は、階調数から1を減じた値とする。
例えば距離を用いて確率を算出する場合、対象画素の距離[Dx]と、マスク領域画素の距離[D0]とを用いて、対象画素がマスク領域画素である確率P2を下記式(2)で算出することができる。P2は、0から1の間の値をとり、値が大きいほど対象画素がマスク領域画素である確率が高い。なお、下記式(2)において、距離DxおよびD0は、上記式(1)とスケールを合わせるために、0から255の値にスケーリングされている。
例えば色と距離を用いて確率を算出する場合、対象画素のRGB値[Rx,Gx,Bx]とマスク領域画素のRGB値[R0,G0,B0]と、対象画素の距離[Dx]と、マスク領域画素の距離[D0]とを用いて、対象画素がマスク領域画素である確率P3を下記式(3)で算出することができる。P3は、0から1の間の値をとり、値が大きいほど対象画素がマスク領域画素である確率が高い。下記式(3)では、色の階調は8bit、すなわち0から255の整数で表現されている。また、画素の距離についても0から255の値にスケーリングされている。αは色の重み、βは距離の重みであり、どちらのパラメーターを重視するかによって、任意に設定することができる。重みα、βは設定しなくてもよい。すなわち、αおよびβを1としてもよい。
深度などを用いる場合も、同様の方法で対象画像がマスク領域画素である確率を求めることができる。複数のパラメーターを用いて確率を求める場合には、上記式(3)で例示したように、例えば各パラメーターを用いて求めた確率に対して重みづけを設定した上で、これらを足し合わせばよい。また、マスク領域画素が複数選択されている場合、確率算出部333は、例えば全てのマスク領域画素における確率算出用のパラメーターの値の平均値を用いて確率を算出してもよいし、対象画素と最も近い位置にあるマスク領域画素のパラメーターの値を用いて確率を算出してもよい。
また、確率算出部333は、撮像装置20とプロジェクター10との座標変換テーブルを用いて、撮像画像50の各画素がマスク領域を構成する画素である確率を算出してもよい。構造化光投影法で求めた座標変換テーブルでは、隣接する座標が同一平面にある時は値が連続的に変化するのに対して、隣接する座標に高さ方向の変化がある場合には値が不連続的に変化する。これを用いて、確率算出部333は、平面と立体物の境界部分の位置を推定可能となる。本実施形態では、確率算出部333は、物体40と壁面42の境界の位置や物体40の表面400と側面402の境界の位置を推定することによって、撮像画像50の各画素が表面400である確率を算出することができる。
また、確率算出部333は、領域選択受付部332で非マスク領域が選択された場合には、対象画像が非マスク領域を構成する画素である確率を算出してもよい。
図5は、確率算出部333が生成する確率分布画像52の一例を示す図である。図3では各画素がマスク領域である確率を5種類の網掛けで分類している。ここで、α1~α4を1以下かつ0を超える正の数とし、α1>α2>α3>α4であるものとする。網掛けのパターン1は、例えばマスク領域である確率がα1以上の領域である。網掛けのパターン2は、マスク領域である確率がα1未満かつα2以上の領域である。網掛けのパターン3は、マスク領域である確率がα2未満かつα3以上の領域である。網掛けのパターン4は、マスク領域である確率がα3未満かつα4以上の領域である。網掛けのパターン5は、マスク領域である確率がα4未満の領域である。
なお、確率算出部333は、撮像画像50のそれぞれの画素についてマスク領域である確率または非マスク領域である確率を算出すればよく、図5のような確率分布画像52は必ずしも生成しなくてよい。撮像画像50の各画素がマスク領域である確率または非マスク領域である確率を示す情報を、確率分布情報という。また、本実施形態では、情報処理装置30が確率分布情報を生成するものとするが、これに限らず、例えば他の情報処理装置で生成した確率分布情報を情報処理装置30が通信等で取得してもよい。また、例えば過去に確率算出部333が生成した確率分布情報を記憶装置320に記憶しておき、処理装置330がこれを読みだしてもよい。
図2に示される閾値受付部334は、ユーザーから閾値の入力を受け付ける。この閾値は、後述するマスク画像生成部335が撮像画像50の各画素がマスク領域を構成する画素であるか否か判定する際に用いる値である。より詳細には、閾値は、撮像画像50の各画素がマスク領域を構成する画素である確率を示す値である。後述するマスク画像生成部335は、マスク領域である確率が、閾値受付部334で受け付けた閾値以上である画素が、マスク領域を構成する画素であるものとしてマスク画像560,580を生成する。
図6は、閾値受付部334による閾値入力の受付態様の一例を示す図である。本実施形態では、後述する表示制御部336が、タッチパネル310に仮マスク画像540を含む仮投射用画像54を表示させると同時に、タッチパネル310に閾値入力を受け付けるユーザーインターフェースであるスライダーバー70を表示させる。閾値受付部334は、スライダーバー70への操作を閾値入力として受け付ける。
まず、仮投射用画像54について説明する。本実施形態では、仮投射用画像54は、仮マスク画像540と、入力画像542と、背景画像544とを含んでいる。仮マスク画像540は、後述するマスク画像生成部335により生成される。仮マスク画像540は、図5に示される確率分布画像52のうち、マスク領域である確率が所定の仮閾値以上の画素をマスク領域とした画像である。図6では、仮閾値はα2に設定されている。すなわち、図6の仮マスク画像540は、図5に示される確率分布画像52のうち、マスク領域である確率がα2以上である画素、すなわちパターン1およびパターン2で示される領域をマスク領域としている。仮閾値は、プログラム322に予め設定された固定値であってもよいし、ユーザーにより指定された値であってもよい。仮マスク画像540は、マスク領域のエッジを示す線で構成される。線で囲まれた領域がマスク領域である。入力画像542は、マスク領域内に投射される画像である。入力画像542は、処理装置330に対して外部から入力された画像であってもよいし、処理装置330の内部で単色の入力画像542を生成してもよい。背景画像544は、仮マスク画像540の背景となる画像であり、図6の例では撮像装置20により撮像された物体40を含む画像、すなわち撮像画像50を用いている。このような撮像画像50を用いた背景画像544に仮マスク画像540および入力画像542を重畳させることにより、実際にプロジェクター10による投射を行った際のイメージをユーザーがより詳細に把握することができる。背景画像544は、マスク領域の外において入力画像542が非表示となっている状態を示す画像と言うこともできる。
表示制御部336は、図6のように情報処理装置30のタッチパネル310に仮投射用画像54を表示させる他、例えばプロジェクター10から物体40に対して実際に仮投射用画像54を投射させるようにしてもよい。仮投射用画像54が物体40に対して実際に投射されることによって、例えば物体40とマスク領域との位置関係や色味のバランス等を、ユーザーがより正確かつ詳細に把握することができる。プロジェクター10から物体40に対して仮投射用画像54が投射される場合には、一般的には仮投射用画像54は仮マスク画像540と入力画像542とからなると考えられるが、更に背景画像544を含んでいてもよい。
つぎに、スライダーバー70について説明する。スライダーバー70は、所定方向に延びるバー700と、バー700上を移動可能なスライダー702とを備える。図6の例では、バー700はタッチパネル310の画面左右方向に延びている。バー700の左右方向の中心位置が、スライダー702の基準位置である。ユーザーがスライダー702を基準位置より右方向に移動させると、閾値受付部334は、仮閾値よりも大きい値が閾値として指定されたものとして受け付ける。この場合、ユーザーは、マスク領域である確率が仮閾値よりも高い画素に絞ってマスク領域を設定するよう指示していることになる。また、ユーザーがスライダー702を基準位置より左方向に移動させると、閾値受付部334は、仮閾値よりも小さい値が閾値として指定されたものとして受け付ける。この場合、ユーザーは、マスク領域である確率が仮閾値よりも低い画素も含めてマスク領域を設定するよう指示していることになる。
仮投射用画像54がプロジェクター10から物体40に対して実際に投射される場合には、例えばタッチパネル310にはスライダーバー70のみが表示されてもよい。または、スライダーバー70とともに、プロジェクター10から仮投射用画像54の投射を受ける物体40を撮像装置20で撮像した画像が表示されてもよい。または、図6のような画面表示がプロジェクター10からの投射と同時に行われてもよい。
図2に示されるマスク画像生成部335は、プロジェクター10からの画像の投射領域、すなわちマスク領域を特定するためのマスク画像560,580を生成する。マスク画像560,580は、図7および図8に例示される。より詳細には、マスク画像生成部335は、閾値受付部334に入力された閾値を用いることによって、撮像画像50のうち入力画像542を表示する領域であるマスク領域、または撮像画像50のうち入力画像542を表示しない領域である非マスク領域を示す、マスク画像560,580を生成する。このマスク画像560,580が、第2画像に対応する。マスク領域は、撮像領域44の投射領域に対応する撮像画像50の領域と言うこともできる。上述のようにマスク画像生成部335は、マスク領域である確率が、確率算出部333で生成した確率分布画像52のうち閾値受付部334で受け付けた閾値以上である画素が、マスク領域を構成する画素であるものとしてマスク画像560,580を生成する。閾値受付部334に対して閾値の変更が入力される都度、マスク画像生成部335で生成されるマスク画像560,580も変化する。
表示制御部336は、マスク画像560,580を入力画像562,582に重畳した投射用画像56,58を表示させる。
図7および図8は、表示制御部336による投射用画像56,58の表示態様の一例を示す図である。図7は、図6に示す仮投射用画像54に対して、閾値を大きくする操作入力が行われた場合、すなわち、スライダー702が基準位置より右側に移動された場合の表示例である。図7および図8のスライダー702は、表示されているマスク画像560,580に設定された閾値に対応する位置に表示されている。図7では、スライダーバー70の操作により、閾値がα1に指定されているものとする。図7において、投射用画像56は、マスク画像560と、入力画像562と、物体40を含む撮像画像50である背景画像564とを含み、タッチパネル310に表示されている。マスク画像560では、図5に示される確率分布画像52のうち、マスク領域である確率がα1以上である画素、すなわちパターン1で示される領域がマスク領域となっている。すなわち、マスク画像560は、図6に示す仮投射用画像54における仮マスク画像540よりも面積が小さい。
図8は、図6に示す仮投射用画像54に対して、閾値を小さくする操作入力が行われた場合、すなわち、スライダー702が基準位置より左側に移動された場合の表示例である。図8では、スライダーバー70の操作により、閾値がα3に指定されているものとする。図8において、投射用画像58は、マスク画像580と、入力画像582と、物体40を含む撮像画像50である背景画像584とを含み、タッチパネル310に表示されている。図8のマスク画像580は、図5に示される確率分布画像52のうち、マスク領域である確率がα3以上である画素、すなわちパターン1~3で示される領域がマスク領域となっている。すなわち、マスク画像580は、図6に示す仮投射用画像54における仮マスク画像540よりも面積が大きい。
表示制御部336は、図7や図8のように情報処理装置30のタッチパネル310に投射用画像56,58を表示させる他、例えばプロジェクター10から物体40に対して、実際に投射用画像56,58を投射させるようにしてもよい。物体40に対して実際に投射用画像56,58を投射させることによって、例えば物体40と閾値調整後のマスク領域との位置関係や色味のバランス等を、ユーザーがより正確かつ詳細に把握することができる。プロジェクター10から物体40に対して投射用画像56,58を投射させる場合には、一般的には投射用画像56,58はマスク画像560,580と入力画像562,582とからなると考えられるが、更に背景画像564,584を含んでいてもよい。
また、図7および図8では、タッチパネル310に、ユーザーから閾値の入力を受け付けるスライダーバー70が表示されている。スライダーバー70の構成および機能は、図6を用いて説明したものと同様である。マスク画像560,580を含んだ投射用画像56,58を表示中にユーザーがスライダーバー70に対して操作を行った場合、マスク画像生成部335は、スライダーバー70の操作量に応じてマスク領域に含める画素を変更する。そして、表示制御部336は、変更後のマスク画像560,580を含む投射用画像56,58をタッチパネル310に表示させる。
図9は、情報処理装置30の処理装置330がプログラム322に従って実行する表示方法の流れを示すフローチャートである。図9では、投射用画像56,58の表示先は、タッチパネル310であるものとする。処理装置330は、撮像画像取得部331として機能することにより、物体40を含む領域を撮像した撮像画像50を撮像装置20から取得する(ステップS200)。
処理装置330は、領域選択受付部332として機能することにより、マスク領域を構成する画素の指定をユーザーから受け付ける(ステップS202)。すなわち、処理装置330は、ステップS200で取得した撮像画像50をタッチパネル310に表示させるとともに、撮像画像50に対する描画入力をユーザーから受け付ける。ユーザーは、撮像画像50のうちマスク領域に対応する箇所に触れて描画する。なお、ステップS202において、処理装置330は、非マスク領域を構成する画素の指定を受け付けてもよい。
処理装置330は、確率算出部333として機能することにより、撮像画像50の各画素がマスク領域である確率を算出する(ステップS204)。この時、処理装置330は、例えば撮像画像50の各画素とステップS202で指定されたマスク領域を構成する画素との類似度に基づいて確率を算出する。
処理装置330は、表示制御部336として機能することにより、タッチパネル310に仮マスク画像540を含む仮投射用画像54を表示させる(ステップS206)。仮マスク画像540は、ステップS204で算出した確率が所定の仮閾値以上の画素をマスク領域とした画像である。また、処理装置330は、図6に示すように、仮投射用画像54とともに閾値調整用のスライダーバー70をタッチパネル310に表示させる。
処理装置330は、閾値受付部334として機能することにより、ユーザーから閾値設定操作を受け付ける(ステップS208)。上述のように、閾値は、マスク領域に含める画素を決定するための値である。処理装置330は、スライダーバー70に対する操作を閾値の入力として受け付ける。
処理装置330は、マスク画像生成部335として機能し、ステップS208で設定された閾値に基づくマスク画像560,580を生成する(ステップS210)。すなわち、処理装置330は、マスク領域である確率がステップS208で算出された閾値以上の画素をマスク領域としたマスク画像560,580を生成する。
処理装置330は、表示制御部336として機能することにより、ステップS210で生成されたマスク画像560,580を含む投射用画像56,58をタッチパネル310に表示させる(ステップS212)。この時、処理装置330は、投射用画像56,58とともに、閾値の再設定用のスライダーバー70も表示させる。
ユーザーは、タッチパネル310に表示された投射用画像56,58を見て、物体40に投射される画像がイメージ通りか、更に調整が必要かを判断する。処理装置330は、例えば、ステップS208またはステップS212において、調整を完了するか否かの入力を受け付けるボタンをタッチパネル310に表示し、ユーザーの操作に基づいて、調整を完了するか否かを判定してもよい(ステップS214)。表示の例としては、少なくとも、完了する場合に選択するボタンを表示する。調整を継続する場合は、継続する場合に選択するボタンを表示してもよく、ボタンを表示せずに、スライダーバー70に対する操作があった場合に、調整を継続すると判定してもよい。ユーザーによる調整が完了するまでは(ステップS214:NO)、処理装置330は、ステップS208に戻り以降の処理を繰り返す。完了することを指示するボタンが押下され、ユーザーによる調整が完了したと判定すると(ステップS214:YES)、処理装置330は、本フローチャートの処理を終了する。
以上説明したように、実施形態に係る情報処理装置30の処理装置330は、プログラム322を実行することにより、撮像画像取得部331、領域選択受付部332、確率算出部333、閾値受付部334、マスク画像生成部335、および表示制御部336として機能する。閾値受付部334は、閾値の入力を受け付ける。マスク画像生成部335は、閾値を用いることによって、撮像画像50のうち入力画像562,582を表示する領域であるマスク領域、または撮像画像50のうち入力画像562,582を表示しない領域である非マスク領域を示す、マスク画像560,580を生成する。表示制御部336は、マスク画像560,580を入力画像562,582に重畳した投射用画像56,58を表示させる。マスク画像560,580は、入力された閾値に基づいて生成されるので、閾値を固定値とする場合と比較して、生成可能なマスク画像560,580の数が多くなる。よって、ユーザーは、その感性に合わせたマスク領域の調整を簡単に行うことができる。
また、閾値は、撮像画像50の各画素がマスク領域を構成する画素であるか否かを判定することに用いる値である。よって、マスク領域に含まれる画素の範囲をユーザーが容易に設定することができる。
また、閾値は、撮像画像50の各画素がマスク領域を構成する画素である確率を示す値である。よって、ユーザーは、マスク領域に含まれる画素の範囲を、各画素がマスク領域を構成する画素である確率に基づいて設定することができる。
また、マスク領域は、撮像画像50に映る物体40に対応するマスク画像560,580の所定の部分、または所定の部分以外のマスク画像560,580の部分のいずれかである。これにより、処理装置330は、マスク領域とその他の領域との選別を精度よく行うことができる。また、ユーザーは、物体40の形状に合わせて容易にマスク領域を設定することができる。
また、領域選択受付部332は、撮像画像50を表示させた上で撮像画像50を用いてマスク領域を選択する情報の入力を受け付ける。また、マスク画像生成部335は、マスク画像560,580を生成する際に、閾値と、マスク領域を選択する情報とに基づいてマスク領域を抽出する。これにより、ユーザーはマスク領域に含めたい領域を撮像画像50上で直接指定することができ、より正確にユーザーの意図を反映したマスク画像560,580を生成することができる。
また、領域選択受付部332でマスク領域を選択する情報の入力を受け付けることは、撮像画像50に対する描画入力を受け付けることを含み、マスク領域を選択する情報は、描画入力で指定された画素の情報を含む。これにより、ユーザーは、撮像画像50中でマスク領域に含めたい箇所を容易かつ直感的に指定することができ、ユーザーの利便性を向上させることができる。
また、領域選択受付部332でマスク領域を選択する情報の入力を受け付けることは、描画入力の少なくとも一部を取り消すことを含む。これにより、ユーザーは、描画入力を誤った場合にも容易にその描画入力を取り消すことができ、ユーザーが描画入力を行う際の利便性を向上させることができる。
また、領域選択受付部332でマスク領域を選択する情報の入力を受け付けることは、撮像画像50の任意の画素がマスク領域を構成する画素であること、または、撮像画像50の任意の画素が非マスク領域を構成する画素である、ことを指定することを含む。これにより、マスク領域のみならず非マスク領域の画素を指定してもマスク画像560,580が生成可能となり、ユーザーの利便性を向上させることができる。
5.変形例
以上に例示した各形態は多様に変形され得る。前述の各形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
以上に例示した各形態は多様に変形され得る。前述の各形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
本実施形態では、処理装置330は、ユーザーから閾値の指定を受け付けるインターフェースとしてスライダーバー70を表示させるものとしたが、インターフェースはこれに限られない。例えば一方が閾値の増加、他方が閾値の減少に対応付けられた2つのボタンがインターフェースであってもよい。この場合、処理装置330は、ユーザーが閾値の増加に対応付けられたボタンを1回押す毎に、所定の値閾値を増加させる。また、処理装置330は、ユーザーが閾値の減少に対応付けられたボタンを1回押す毎に、所定の値閾値を減少させる。2つのボタンは、例えば三角形など、相反する方向を指し示すマークが付されていたり、ボタンそのものが相反する方向を指し示す形状であってもよい。これにより、ユーザーは直感的に操作しやすくなる。また、例えばユーザーが数値を入力可能なフォームがインターフェースであってもよい。この場合、ユーザーは、例えば閾値を指定する数値を入力する。また、例えば音声入力により閾値の指定を受け付けるインターフェースが設けられてもよい。
また、本実施形態では、物体40の表面400をマスク領域とすることを目的とし、撮像装置20で撮像された撮像画像50から表面400に対応する確率が閾値以上の部分を抽出することによりマスク領域を設定した。すなわち、マスク領域は、撮像画像50に映る物体40によって特定される所定の部分であった。しかしながら、例えば撮像画像50に映る物体40によって特定される所定の部分以外の領域、例えば物体40が取り付けられた壁面42をマスク領域として指定してもよい。この場合、ユーザーは、図4に示す領域種別指定部66のマスク領域指定部660を選択した上で撮像画像50の壁面42に対応する箇所に描画を行ってもよいし、非マスク領域指定部662を選択した上で撮像画像50の表面400に対応する箇所に描画を行ってもよい。
1…投射システム、10…プロジェクター、20…撮像装置、30…情報処理装置、40…物体、42…壁面、44…撮像領域、300…通信装置、310…タッチパネル、320…記憶装置、322…プログラム、330…処理装置、331…撮像画像取得部、332…領域選択受付部、333…確率算出部、334…閾値受付部、335…マスク画像生成部、336…表示制御部。
Claims (9)
- 閾値の入力を受け付けることと、
前記閾値を用いることによって、第1画像のうち入力画像を表示する領域であるマスク領域、または前記第1画像のうち前記入力画像を表示しない領域である非マスク領域を示す、第2画像を生成することと、
前記第2画像を前記入力画像に重畳した投射用画像を表示させることと、
を含む、表示方法。 - 前記閾値は、前記第1画像の各画素が前記マスク領域を構成する画素であるか否かを判定することに用いる値である、
請求項1記載の表示方法。 - 前記閾値は、前記第1画像の各画素が前記マスク領域を構成する画素である確率を示す値である、
請求項2記載の表示方法。 - 前記マスク領域は、前記第1画像に映る物体に対応する前記第2画像の所定の部分、または前記所定の部分以外の前記第2画像の部分のいずれかである、
請求項1から3のいずれか1項記載の表示方法。 - 前記第1画像を表示することと、
前記第1画像を用いて、前記マスク領域を選択する情報の入力を受け付けることと、を更に含み、
前記第2画像を生成することは、
前記閾値と、前記マスク領域を選択する情報とに基づいて前記マスク領域を抽出すること、を含む、
請求項1から4のいずれか1項記載の表示方法。 - 前記マスク領域を選択する情報の入力を受け付けることは、
前記第1画像に対する描画入力を受け付けることを含み、
前記マスク領域を選択する情報は、前記描画入力によって指定された画素の情報を含む、
請求項5記載の表示方法。 - 前記マスク領域を選択する情報の入力を受け付けることは、
前記描画入力の少なくとも一部を取り消すことを含む、
請求項6記載の表示方法。 - 前記マスク領域を選択する情報の入力を受け付けることは、
前記第1画像の任意の画素が前記マスク領域を構成する画素であること、または、前記第1画像の任意の画素が前記非マスク領域を構成する画素であること、を指定することを含む、
請求項5から7のいずれか1項記載の表示方法。 - コンピューターに、
閾値の入力を受け付けることと、
前記閾値を用いることによって、第1画像のうち入力画像を表示する領域であるマスク領域、または前記第1画像のうち前記入力画像を表示しない領域である非マスク領域を示す、第2画像を生成することと、
前記第2画像を前記入力画像に重畳した投射用画像を表示させることと、
を実行させる、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021031442A JP2022132789A (ja) | 2021-03-01 | 2021-03-01 | 表示方法およびプログラム |
US17/682,156 US20220277674A1 (en) | 2021-03-01 | 2022-02-28 | Displaying method and a non-transitory computer-readable storage medium storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021031442A JP2022132789A (ja) | 2021-03-01 | 2021-03-01 | 表示方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022132789A true JP2022132789A (ja) | 2022-09-13 |
JP2022132789A5 JP2022132789A5 (ja) | 2024-01-11 |
Family
ID=83007208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021031442A Pending JP2022132789A (ja) | 2021-03-01 | 2021-03-01 | 表示方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220277674A1 (ja) |
JP (1) | JP2022132789A (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2268208C (en) * | 1998-04-06 | 2011-06-14 | Smart Technologies, Inc. | Method for erasing on an electronic writeboard |
US20040032906A1 (en) * | 2002-08-19 | 2004-02-19 | Lillig Thomas M. | Foreground segmentation for digital video |
US7936361B2 (en) * | 2007-04-30 | 2011-05-03 | Hewlett-Packard Development Company, L.P. | System and method for masking and overlaying images in multiple projector system |
JP2010206671A (ja) * | 2009-03-05 | 2010-09-16 | Seiko Epson Corp | プロジェクターおよびプロジェクターシステム |
JP5652596B2 (ja) * | 2009-06-11 | 2015-01-14 | セイコーエプソン株式会社 | プロジェクター、プログラム、情報記憶媒体および画像投写方法 |
JP6642032B2 (ja) * | 2016-01-21 | 2020-02-05 | セイコーエプソン株式会社 | プロジェクター及びプロジェクターの制御方法 |
US10692221B2 (en) * | 2018-07-13 | 2020-06-23 | Adobe Inc. | Automatic trimap generation and image segmentation |
JP6949795B2 (ja) * | 2018-09-25 | 2021-10-13 | 富士フイルム株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
US20200364913A1 (en) * | 2019-05-14 | 2020-11-19 | Matterport, Inc. | User guided segmentation network |
US20200381121A1 (en) * | 2019-05-29 | 2020-12-03 | New York University | System and method for tumor characterization |
-
2021
- 2021-03-01 JP JP2021031442A patent/JP2022132789A/ja active Pending
-
2022
- 2022-02-28 US US17/682,156 patent/US20220277674A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220277674A1 (en) | 2022-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107615214B (zh) | 界面控制系统、界面控制装置、界面控制方法及程序 | |
JP5921835B2 (ja) | 入力装置 | |
US20180307396A1 (en) | Operation control device and operation control method | |
CN105700138B (zh) | 头戴型显示装置及其校正方法 | |
CN106020436A (zh) | 图像分析装置及图像分析方法 | |
JP6587489B2 (ja) | 画像処理装置、画像処理方法および画像処理システム | |
US10091474B2 (en) | Image processing device, image processing method, program and computer-readable storage medium | |
KR101082829B1 (ko) | 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법 | |
JPWO2012011263A1 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
US10168769B2 (en) | Input apparatus, input method, and program | |
KR101631011B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
JP2015176253A (ja) | ジェスチャ認識装置およびジェスチャ認識装置の制御方法 | |
JP2009265809A (ja) | 情報端末装置 | |
TWI496094B (zh) | 手勢辨識模組及手勢辨識方法 | |
JP2014071501A (ja) | 画像処理装置、方法、及びプログラム | |
KR101330531B1 (ko) | 3차원 카메라를 이용한 가상 터치 방법 및 장치 | |
JP2016184362A (ja) | 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム | |
TW201606574A (zh) | 操作畫面顯示裝置、操作畫面顯示方法以及非暫時性之記錄媒體 | |
JP2022132789A (ja) | 表示方法およびプログラム | |
KR101542671B1 (ko) | 공간 터치 방법 및 공간 터치 장치 | |
JP2018049498A (ja) | 画像処理装置、操作検出方法、コンピュータプログラム、及び記憶媒体 | |
JP2013109538A (ja) | 入力方法及び入力装置 | |
JP6068741B2 (ja) | 表示システム | |
JP2012113653A (ja) | 制御装置、入力装置、入力判定方法、プログラム | |
JP6733789B2 (ja) | 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210915 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231227 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231227 |