JP2023147729A - 画像編集方法、情報処理装置およびプログラム - Google Patents

画像編集方法、情報処理装置およびプログラム Download PDF

Info

Publication number
JP2023147729A
JP2023147729A JP2022055410A JP2022055410A JP2023147729A JP 2023147729 A JP2023147729 A JP 2023147729A JP 2022055410 A JP2022055410 A JP 2022055410A JP 2022055410 A JP2022055410 A JP 2022055410A JP 2023147729 A JP2023147729 A JP 2023147729A
Authority
JP
Japan
Prior art keywords
image
point
user
setting
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022055410A
Other languages
English (en)
Inventor
皓平 梁井
Kohei Yanai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2022055410A priority Critical patent/JP2023147729A/ja
Priority to CN202310317272.3A priority patent/CN116894891A/zh
Priority to US18/127,742 priority patent/US20230316609A1/en
Publication of JP2023147729A publication Critical patent/JP2023147729A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/80Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/44Morphing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】画像の形状を、目標となる画像に合わせて精度良く変形する。【解決手段】第1の画像と、第2の画像とを含む設定画像を表示することと、第1の画像上の第1の点を指定する第1の操作をユーザーから受け付けることと、第2の画像上の第2の点を指定する第2の操作をユーザーから受け付けることと、第1の画像上の第3の点を指定する第3の操作をユーザーから受け付けることと、第2の画像上の第4の点を指定する第4の操作をユーザーから受け付けることと、第1の点を第2の点と対応させ、第3の点を第4の点と対応させることで、第1の画像を第3の画像へ変形することと、を含む、画像編集方法。【選択図】図33

Description

本発明は、画像編集方法、情報処理装置およびプログラムに関する。
或る画像の形状を、他の画像の形状に合わせて変形する技術が開発されている。例えば、特許文献1には、「AKAZE」と呼ばれるアルゴリズムを用いて、印刷物を撮像した撮像データと、当該印刷物に印刷された画像を表す画像データとの各々から特徴点を抽出し、当該特徴点の対応関係に基づいて、画像データの示す画像を変形するためのパラメーターを生成する画像処理装置が開示されている。
特開2019-205133号公報
特許文献1に記載の画像処理装置において、撮像データの示す画像と、画像データの示す画像との形状が一致または略一致しない場合、撮像データおよび画像データの各々から抽出された特徴点の対応付けを精度良く行うことができないことがあった。このため、当該画像処理装置では、画像データの示す画像を精度良く変形することができないことがあった。
本発明に係る画像編集方法の一態様は、第1の画像と、第2の画像とを含む設定画像を表示することと、前記第1の画像上の第1の点を指定する第1の操作をユーザーから受け付けることと、前記第2の画像上の第2の点を指定する第2の操作を前記ユーザーから受け付けることと、前記第1の画像上の第3の点を指定する第3の操作を前記ユーザーから受け付けることと、前記第2の画像上の第4の点を指定する第4の操作を前記ユーザーから受け付けることと、前記第1の点を前記第2の点と対応させ、前記第3の点を前記第4の点と対応させることで、前記第1の画像を第3の画像へ変形することと、を含む。
本発明に係る情報処理装置の一態様は、1または複数のプロセッサーを備え、前記1または複数のプロセッサーは、第1の画像と、第2の画像とを含む設定画像を表示装置に表示させることと、前記第1の画像上の第1の点を指定する第1の操作をユーザーから受け付けることと、前記第2の画像上の第2の点を指定する第2の操作を前記ユーザーから受け付けることと、前記第1の画像上の第3の点を指定する第3の操作を前記ユーザーから受け付けることと、前記第2の画像上の第4の点を指定する第4の操作を前記ユーザーから受け付けることと、前記第1の点を前記第2の点と対応させ、前記第3の点を前記第4の点と対応させることで、前記第1の画像を第3の画像へ変形することと、を実行する。
本発明に係るプログラムの一態様は、プロセッサーに、第1の画像と、第2の画像とを含む設定画像を表示装置に表示させることと、前記第1の画像上の第1の点を指定する第1の操作をユーザーから受け付けることと、前記第2の画像上の第2の点を指定する第2の操作を前記ユーザーから受け付けることと、前記第1の画像上の第3の点を指定する第3の操作を前記ユーザーから受け付けることと、前記第2の画像上の第4の点を指定する第4の操作を前記ユーザーから受け付けることと、前記第1の点を前記第2の点と対応させ、前記第3の点を前記第4の点と対応させることで、前記第1の画像を第3の画像へ変形することと、を実行させる。
投射光の被投射物を撮像する様子を図示した模式図である。 投射光の被投射物へ投射画像GSを投射する様子を図示した模式図である。 設定画像GC1aを図示した説明図である。 設定画像GC1bを図示した説明図である。 設定画像GC1cを図示した説明図である。 画像GG2を示す模式図である。 画像GG1を複数の小領域に分割した様子を図示した模式図である。 撮像画像GP1を複数の小領域に分割した様子を図示した模式図である。 設定画像GC1dを図示した説明図である。 設定画像GC1eを図示した説明図である。 画像GG3を示す模式図である。 設定画像GC1fを図示した説明図である。 設定画像GC1gを図示した説明図である。 画像GG4を示す模式図である。 設定画像GC1hを図示した説明図である。 設定画像GC1iを図示した説明図である。 画像GG5を示す模式図である。 設定画像GC1jを図示した説明図である。 設定画像GC1kを図示した説明図である。 画像GG6を示す模式図である。 設定画像GC1lを図示した説明図である。 設定画像GC1mを図示した説明図である。 画像GG7を示す模式図である。 設定画像GC1nを図示した説明図である。 設定画像GC1oを図示した説明図である。 画像GG8を示す模式図である。 マスク画像GM1を示す模式図である。 設定画像GC1pを図示した説明図である。 画像GG9を示す模式図である。 第1実施形態に係るコンピューター1の構成を示すブロック図である。 第1実施形態に係る記憶装置10の構成を示すブロック図である。 第1実施形態に係るコンピューター1の動作について説明するためのフローチャートである。 第1実施形態に係るコンピューター1の画像変形処理について説明するためのフローチャートである。 設定画像GC2を図示した説明図である。
以下、添付図面を参照しながら、本発明に係る好適な実施形態を説明する。なお、図面において各部の寸法および縮尺は実際と異なる場合があり、理解を容易にするために模式的に示す部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。また、本明細書および特許請求の範囲において、数値範囲を「Φ~Ψ」(Φ、Ψはともに数値)を用いて表現する場合、その範囲は上限(Ψ)および下限(Φ)の数値を含むものである。また、上限(Ψ)および下限(Φ)の単位は同じである。
1.第1実施形態
第1実施形態では、ユーザーによって指定された、変形の対象となる画像上の点と、ユーザーによって指定された、変形の目標となる撮像画像上の点との対応関係に基づいて、当該画像を変形するコンピューターを例示して、本発明に係る画像編集方法、情報処理装置およびプログラムについて説明する。
1.1.コンピューターの概要
以下、図1および図2を参照しつつ、第1実施形態に係るコンピューター1の概要について説明する。図1は、投射光の被投射物を撮像する様子を図示した模式図である。図2は、投射光の被投射物へ投射画像GSを投射する様子を図示した模式図である。本実施形態において、トルソー3は、プロジェクター7から投射される光の被投射物となる。プロジェクター7は、壁面W1の投射領域RS、および、投射領域RSの手前に配置されたトルソー3へ投射光を投射することで、投射画像GSを表示する。
カメラ5は、壁面W1の撮像領域RP、および、撮像領域RPの手前に配置されたトルソー3を撮像することで、撮像画像GP1を取得する。コンピューター1は、所定の位置に固定されたカメラ5から取得された撮像画像GP1と、不図示の外部サーバーから取得された画像GG1とを含む設定画像GC1を、コンピューター1の備えるタッチパネル16に表示させる。また、コンピューター1は、タッチパネル16に表示された設定画像GC1に対するユーザーからの操作に基づいて、画像GG1を変形させる。そして、コンピューター1は、変形された画像GG1の少なくとも一部を含むプレビュー画像GVを、タッチパネル16に表示させる。ユーザーが画像GG1およびプレビュー画像GVを確認し、画像GG1が適切に変形されていると判断した場合、コンピューター1は、ユーザーからの操作に基づいて、変形された画像GG1をプロジェクター7に出力する。プロジェクター7は、変形された画像GG1に基づく投射光を投射することで、変形された画像GG1を含む投射画像GSを表示する。
すなわち、ユーザーは、撮像画像GP1に記録されたトルソー3の形状に応じて画像GG1を変形させることで、投射画像GSをトルソー3の形状に合わせて表示させることができる。また、ユーザーは、画像GG1と、変形された画像GG1を含むプレビュー画像GVとを比較することで、画像GG1が適切に変形されているか否かを確認することができる。
1.2.画像の表示方法および変形方法
以下、図3~図27を参照しつつ、第1実施形態に係る画像の表示方法および画像GG1の変形方法について説明する。なお、本実施形態において、後述する設定画像GC1a~GC1pを区別しない場合、設定画像GC1a~GC1pを「設定画像GC1」と称することがある。また、後述するプレビュー画像GV1~8を区別しない場合、プレビュー画像GV1~8を「プレビュー画像GV」と称することがある。また、後述する画像GG2~8を含め、撮像画像GP1に基づいて変形された画像GG1を区別しない場合、当該変形された画像GG1を「変形画像」と称することがある。また、後述する点DG1~26を含め、画像GG1上の点を区別しない場合、画像GG1上の点を「点DG」と称することがある。また、後述する点DP1~26を含め、撮像画像GP1上の点を区別しない場合、撮像画像GP1上の点を「点DP」と称することがある。また、後述するマーカーMG1~26を区別しない場合、マーカーMG1~26を「マーカーMG」と称することがある。また、後述するマーカーMP1~26を区別しない場合、マーカーMP1~26を「マーカーMP」と称することがある。
図3は、設定画像GC1aを図示した説明図である。設定画像GC1aは、設定画像GC1の一態様である。
設定画像GC1は、領域R1、領域R2および領域R3を有する。また、設定画像GC1は、ボタンB1、ボタンB2およびボタンB3を有する。領域R1には、画像GG1が表示される。領域R2には、撮像画像GP1が表示される。領域R3には、プレビュー画像GVが表示される。
設定画像GC1aは、コンピューター1が画像GG1および撮像画像GP1を取得した後、タッチパネル16に最初に表示される設定画像GC1である。設定画像GC1aにおいて、領域R1には画像GG1が、領域R2には撮像画像GP1が、各々表示されている。タッチパネル16に設定画像GC1aが表示された状態において、ユーザーは、タッチパネル16をタッチすることで、画像GG1上の1または複数の点DGを指定する。コンピューター1は、画像GG1上の1または複数の点DGを指定するユーザーからの操作を受け付ける。また、ユーザーは、タッチパネル16をタッチすることで、撮像画像GP1上の1または複数の点DPを指定する。コンピューター1は、撮像画像GP1上の1または複数の点DPを指定するユーザーからの操作を受け付ける。
図4は、設定画像GC1bを図示した説明図である。設定画像GC1bは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1aを表示させた状態で、画像GG1上の点DG1~21を指定するユーザーからの操作と、撮像画像GP1上の点DP1~21を指定するユーザーからの操作とを受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1aから、設定画像GC1bへ変化させる。設定画像GC1bは、画像GG1に重畳してマーカーMG1~21が表示されている点と、撮像画像GP1に重畳してマーカーMP1~21が表示されている点とを除き、設定画像GC1aと同様に構成される。なお、図4において、点DPxは、点DGxと対応する点である。ここで、値xは、1以上の整数を表す。例えば、点DP1は、点DG1と対応する。また、点DP20は、点DG20と対応する。
なお、本実施形態において、画像GG1上の点DG1を指定する操作を「第1の操作」ということがある。また、撮像画像GP1上の点DP1を指定する操作を「第2の操作」ということがある。また、画像GG1上の点DG20を指定する操作を「第3の操作」ということがある。また、撮像画像GP1上の点DP20を指定する操作を「第4の操作」ということがある。
設定画像GC1bに含まれる画像GG1に重畳して、点DG1~21の各々の位置を示すためのマーカーMG1~21が表示されている。図4において、マーカーMGyは、点DGyと対応する。ここで、値yは、1以上の整数を表す。例えば、マーカーMG1は、点DG1と対応する。また、マーカーMG20は、点DG20と対応する。また、マーカーMGyは、点DGyの位置を示す十字の記号と、値yを示す数字とを含む。マーカーMGyに含まれる値yを示す数字は、点DGyから所定の第1の範囲内に表示される。第1の範囲は、例えば、点DGyから半径50ピクセルの円形の範囲である。
設定画像GC1bに含まれる撮像画像GP1に重畳して、点DP1~21の各々の位置を示すためのマーカーMP1~21が表示されている。図4において、マーカーMPzは、点DPzと対応する。ここで、値zは、1以上の整数を表す。例えば、マーカーMP1は、点DP1と対応する。また、マーカーMP20は、点DP20と対応する。また、マーカーMPzは、点DPzの位置を示す十字の記号と、値zを示す数字とを含む。マーカーMPzに含まれる値zを示す数字は、点DPzから所定の第2の範囲内に表示される。第2の範囲は、第1の範囲と同じ大きさの範囲が設定されてもよいし、異なる大きさの範囲が設定されてもよい。第2の範囲は、例えば、点DPzから半径50ピクセルの円形の範囲である。
なお、本実施形態において、マーカーMG1およびマーカーMP1に含まれる「1」を示す数字を「第1の符号」ということがある。また、マーカーMG20およびマーカーMP20に含まれる「20」を示す数字を「第2の符号」ということがある。また、マーカーMGおよびマーカーMPに含まれる数字を区別しない場合、マーカーMGおよびマーカーMPに含まれる数字を「符号」ということがある。
図5は、設定画像GC1cを図示した説明図である。設定画像GC1cは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1bを表示させた状態で、ボタンB1をタッチするユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1bから、設定画像GC1cへ変化させる。設定画像GC1cは、領域R3にプレビュー画像GV1が表示されている点を除き、設定画像GC1bと同様に構成される。
ボタンB1は、ユーザーがコンピューター1に対して、画像GG1の変形を指示するためのボタンである。ユーザーは、タッチパネル16に表示されたボタンB1をタッチすることで、コンピューター1に画像GG1の変形を指示する。すなわち、ボタンB1をタッチする操作は、画像GG1の変形を指示する操作である。コンピューター1は、設定画像GC1bのボタンB1をタッチするユーザーからの操作を受け付けることで、画像GG1を、画像GG2へ変形させる。図6は、画像GG2を示す模式図である。
また、コンピューター1は、画像GG1を変形することで画像GG2を生成した後、画像GG2と、撮像画像GP1とを合成することで、プレビュー画像GV1を生成する。そして、コンピューター1は、プレビュー画像GV1を領域R3へ表示させる。画像GG2と、撮像画像GP1とを合成する場合、画像GG2を所定の透過率で透過させ、透過させた画像GG2を撮像画像GP1に重畳して表示させてもよい。
以下、図7および図8を参照しつつ、画像GG1の変形について詳細に説明する。以下では、画像GG1が、画像GG2へ変形される場合を例示して、画像GG1の変形について説明する。図7は、画像GG1を複数の小領域に分割した様子を図示した模式図である。図8は、撮像画像GP1を複数の小領域に分割した様子を図示した模式図である。画像GG1は、複数の線分で点DG1~21が互いに結ばれることによって形成された複数の三角形によって、複数の小領域に分割される。ここで、複数の線分は互いに交差しないよう結ばれることが好ましい。また、撮像画像GP1は、複数の線分で点DP1~21を互いに結ぶことによって形成された複数の三角形によって、複数の小領域に分割される。ここで、画像GG1において、点DG1~21のうちの一の点と、点DG1~21のうちの他の点とが結ばれる場合、撮像画像GP1において、当該点DG1~21のうちの一の点と対応する点DP1~21のうちの一の点と、当該点DG1~21のうちの他の点と対応する点DP1~21のうちの他の点とが結ばれる。具体例として、画像GG1において、点DG17と、点DG20とが結ばれる場合、撮像画像GP1において、点DG17と対応する点DP17と、点DG20と対応する点DP20とが結ばれる。すなわち、画像GG1を分割する複数の三角形の各々と、撮像画像GP1を分割する複数の三角形の各々との間には、一対一の対応関係が成り立つ。コンピューター1は、点DG1~21と、点DP1~21との対応関係に基づいて、画像GG1を、画像GG2へ変形するための複数の変換式を生成する。また、コンピューター1は、当該変換式に基づいて、画像GG1を、画像GG2へ変形する。当該複数の変換式は、画像GG1を分割する複数の三角形の各々の形状と、撮像画像GP1を分割する複数の三角形の各々の形状とを、対応関係に基づいて一致させるための変換式である。変換式は、例えば、画像GG1を分割する複数の三角形の各々の形状を、撮像画像GP1を分割する複数の三角形の各々の形状に変換するアフィン変換の変換式を用いればよい。
図9は、設定画像GC1dを図示した説明図である。設定画像GC1dは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1cを表示させた状態で、マーカーMG20を、点DG20の位置から点DG22の位置へ移動させるユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1cから、設定画像GC1dへ変化させる。設定画像GC1dは、マーカーMG20の表示される位置が点DG22の位置と対応する位置である点を除き、設定画像GC1cと同様に構成される。
例えば、ユーザーがプレビュー画像GVを確認し、画像GG1が適切に変形されていないと判断した場合、ユーザーは、画像GG1上で指定された点DGの代わりとなる点DGを指定すること、または、撮像画像GP1上で指定された点DPの代わりとなる点DPを指定すること、の少なくとも一方を実行することで、画像GG1を変形し直すことができる。
画像GG1上で指定された点DGの代わりとなる点DGを指定する場合、例えば、ユーザーは、当該指定された点DGと対応するマーカーMGをドラッグし、目標の位置でドロップすることで、マーカーMGを移動させる。移動されたマーカーMGの有する十字の記号は、当該代わりとなる点DGの位置を示す。すなわち、ユーザーは、当該指定された点DGと対応するマーカーMGを移動させ、移動されたマーカーMGの示す点DGを、当該指定された点DGの代わりとなる点DGとして指定する。コンピューター1は、マーカーMGを移動させるユーザーからの操作を受け付けることで、移動されたマーカーMGと対応する点DGを変更する。また、コンピューター1は、マーカーMGと、点DGとの対応関係の変化に伴って、点DPと、点DGとの対応関係を更新する。
また、撮像画像GP1上で指定された点DPの代わりとなる点DPを指定する場合、例えば、ユーザーは、当該指定された点DPと対応するマーカーMPをドラッグし、目標の位置でドロップすることで、マーカーMPを移動させる。移動されたマーカーMPの有する十字の記号は、当該代わりとなる点DPの位置を示す。すなわち、ユーザーは、当該指定された点DPと対応するマーカーMPを移動させ、移動されたマーカーMPの示す点DPを、当該指定された点DPの代わりとなる点DPとして指定する。コンピューター1は、マーカーMPを移動させるユーザーからの操作を受け付けることで、移動されたマーカーMPと対応する点DPを変更する。また、コンピューター1は、マーカーMPと、点DPとの対応関係の変化に伴って、点DGと、点DPとの対応関係を更新する。
ユーザーは、タッチパネル16に表示されたマーカーMG20を移動させることで、点DG20の代わりとなる点DG22を指定する。コンピューター1は、マーカーMG20を移動させるユーザーからの操作を受け付けることで、マーカーMG20と対応する点DGを、点DG20から、点DG22へ変更する。また、コンピューター1は、点DP20と対応する点DGを、点DG20から、点DG22へ変更する。
図10は、設定画像GC1eを図示した説明図である。設定画像GC1eは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1dを表示させた状態で、ボタンB1をタッチするユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1dから、設定画像GC1eへ変化させる。設定画像GC1eは、領域R3に、プレビュー画像GV1の代わりにプレビュー画像GV2が表示されている点を除き、設定画像GC1dと同様に構成される。
コンピューター1は、設定画像GC1dのボタンB1をタッチするユーザーからの操作を受け付けることで、画像GG1を、画像GG3へ変形させる。図11は、画像GG3を示す模式図である。画像GG1を画像GG3へ変形させるための変換式は、点DG1~19、点DG21および点DG22と、点DP1~21との対応関係に基づいて生成される。
また、コンピューター1は、画像GG1を変形することで画像GG3を生成した後、画像GG3と、撮像画像GP1とを合成することで、プレビュー画像GV2を生成する。そして、コンピューター1は、プレビュー画像GV2を領域R3へ表示させる。
図12は、設定画像GC1fを図示した説明図である。設定画像GC1fは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1cを表示させた状態で、マーカーMP20を、点DP20の位置から点DP22の位置へ移動させるユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1cから、設定画像GC1fへ変化させる。設定画像GC1fは、マーカーMP20の表示される位置が点DP22の位置と対応する位置である点を除き、設定画像GC1cと同様に構成される。
ユーザーは、タッチパネル16に表示されたマーカーMP20を移動させることで、点DP20の代わりとなる点DP22を指定する。コンピューター1は、マーカーMP20を移動させるユーザーからの操作を受け付けることで、マーカーMP20と対応する点DPを、点DP20から、点DP22へ変更する。また、コンピューター1は、点DG20と対応する点DPを、点DP20から、点DP22へ変更する。
図13は、設定画像GC1gを図示した説明図である。設定画像GC1gは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1fを表示させた状態で、ボタンB1をタッチするユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1fから、設定画像GC1gへ変化させる。設定画像GC1gは、領域R3に、プレビュー画像GV1の代わりにプレビュー画像GV3が表示されている点を除き、設定画像GC1fと同様に構成される。
コンピューター1は、設定画像GC1fのボタンB1をタッチするユーザーからの操作を受け付けることで、画像GG1を、画像GG4へ変形させる。図14は、画像GG4を示す模式図である。画像GG1を画像GG4へ変形させるための変換式は、点DG1~21と、点DP1~19、点DP21および点DP22との対応関係に基づいて生成される。
また、コンピューター1は、画像GG1を変形することで画像GG4を生成した後、画像GG4と、撮像画像GP1とを合成することで、プレビュー画像GV3を生成する。そして、コンピューター1は、プレビュー画像GV3を領域R3へ表示させる。
図15は、設定画像GC1hを図示した説明図である。設定画像GC1hは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1cを表示させた状態で、マーカーMG20を、点DG20の位置から点DG22の位置へ移動させるユーザーからの操作と、マーカーMP20を、点DP20の位置から点DP22の位置へ移動させるユーザーからの操作とを受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1cから、設定画像GC1hへ変化させる。設定画像GC1hは、マーカーMG20の表示される位置が点DG22の位置と対応する位置である点と、マーカーMP20の表示される位置が点DP22の位置と対応する位置である点とを除き、設定画像GC1cと同様に構成される。
ユーザーは、タッチパネル16に表示されたマーカーMG20を移動させることで、点DG20の代わりとなる点DG22を指定する。コンピューター1は、マーカーMG20を移動させるユーザーからの操作を受け付けることで、マーカーMG20と対応する点DGを、点DG20から、点DG22へ変更する。また、ユーザーは、タッチパネル16に表示されたマーカーMP20を移動させることで、点DP20の代わりとなる点DP22を指定する。コンピューター1は、マーカーMP20を移動させるユーザーからの操作を受け付けることで、マーカーMP20と対応する点DPを、点DP20から、点DP22へ変更する。また、コンピューター1は、点DG22と、点DP22とを対応させる。
図16は、設定画像GC1iを図示した説明図である。設定画像GC1iは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1hを表示させた状態で、ボタンB1をタッチするユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1hから、設定画像GC1iへ変化させる。設定画像GC1iは、領域R3に、プレビュー画像GV1の代わりにプレビュー画像GV4が表示されている点を除き、設定画像GC1hと同様に構成される。
コンピューター1は、設定画像GC1hのボタンB1をタッチするユーザーからの操作を受け付けることで、画像GG1を、画像GG5へ変形させる。図17は、画像GG5を示す模式図である。画像GG1を画像GG5へ変形させるための変換式は、点DG1~19、点DG21および点DG22と、点DP1~19、点DP21および点DP22との対応関係に基づいて生成される。
また、コンピューター1は、画像GG1を変形することで画像GG5を生成した後、画像GG5と、撮像画像GP1とを合成することで、プレビュー画像GV4を生成する。そして、コンピューター1は、プレビュー画像GV4を領域R3へ表示させる。
図18は、設定画像GC1jを図示した説明図である。設定画像GC1jは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1cを表示させた状態で、画像GG1上の点DG22~26を指定するユーザーからの操作と、撮像画像GP1上の点DP22~26を指定するユーザーからの操作とを受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1cから、設定画像GC1jへ変化させる。設定画像GC1jは、画像GG1に重畳してマーカーMG22~26が表示されている点と、撮像画像GP1に重畳してマーカーMP22~26が表示されている点とを除き、設定画像GC1cと同様に構成される。なお、図18において、点DPxは、点DGxと対応する点である。前述の通り、値xは、1以上の整数を表す。例えば、点DP22は、点DG22と対応する。また、点DP26は、点DG26と対応する。
例えば、ユーザーがプレビュー画像GVを確認し、画像GG1が適切に変形されていないと判断した場合、ユーザーは、画像GG1上で指定された点DGに加えて新規の点DGを指定することと、撮像画像GP1上で指定された点DPに加えて新規の点DPを指定することとを実行することで、画像GG1を変形し直すことができる。
新規の点DGを指定する場合、例えば、ユーザーは、タッチパネル16をタッチすることで、新規の点DGとして、画像GG1上の1または複数の点DGを指定する。コンピューター1は、画像GG1上の1または複数の点DGを指定するユーザーからの操作を受け付ける。また、コンピューター1は、画像GG1に重畳するように、指定された1または複数の点DGの各々に対応する、1または複数のマーカーMGを表示する。
新規の点DPを指定する場合、例えば、ユーザーは、タッチパネル16をタッチすることで、新規の点DPとして、撮像画像GP1上の1または複数の点DPを指定する。コンピューター1は、撮像画像GP1上の1または複数の点DPを指定するユーザーからの操作を受け付ける。また、コンピューター1は、撮像画像GP1に重畳するように、指定された1または複数の点DPの各々に対応する、1または複数のマーカーMPを表示する。
設定画像GC1jに含まれる画像GG1に重畳して、点DG1~26の各々の位置を示すためのマーカーMG1~26が表示されている。図18において、マーカーMGyは、点DGyと対応する。前述の通り、値yは、1以上の整数を表す。例えば、マーカーMG22は、点DG22と対応する。また、マーカーMG26は、点DG26と対応する。また、マーカーMGyは、点DGyの位置を示す十字の記号と、値yを示す数字とを含む。マーカーMGyに含まれる値yを示す数字は、点DGyから所定の第1の範囲内に表示される。
設定画像GC1jに含まれる撮像画像GP1に重畳して、点DP1~26の各々の位置を示すためのマーカーMP1~26が表示されている。図18において、マーカーMPzは、点DPzと対応する。前述の通り、値zは、1以上の整数を表す。例えば、マーカーMP22は、点DP22と対応する。また、マーカーMP26は、点DP26と対応する。また、マーカーMPzは、点DPzの位置を示す十字の記号と、値zを示す数字とを含む。マーカーMPzに含まれる値zを示す数字は、点DPzから所定の第2の範囲内に表示される。
図19は、設定画像GC1kを図示した説明図である。設定画像GC1kは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1jを表示させた状態で、ボタンB1をタッチするユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1jから、設定画像GC1kへ変化させる。設定画像GC1kは、領域R3に、プレビュー画像GV1の代わりにプレビュー画像GV5が表示されている点を除き、設定画像GC1jと同様に構成される。
コンピューター1は、設定画像GC1jのボタンB1をタッチするユーザーからの操作を受け付けることで、画像GG1を、画像GG6へ変形させる。図20は、画像GG6を示す模式図である。画像GG1を画像GG6へ変形させるための変換式は、点DG1~26と、点DP1~26との対応関係に基づいて生成される。
また、コンピューター1は、画像GG1を変形することで画像GG6を生成した後、画像GG6と、撮像画像GP1とを合成することで、プレビュー画像GV5を生成する。そして、コンピューター1は、プレビュー画像GV5を領域R3へ表示させる。
図21は、設定画像GC1lを図示した説明図である。設定画像GC1lは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1kを表示させた状態で、画像GG1上の点DG20または撮像画像GP1上の点DP20の指定を解除するユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1kから、設定画像GC1lへ変化させる。設定画像GC1lは、マーカーMG20が表示されていない点と、マーカーMP20が表示されていない点とを除き、設定画像GC1kと同様に構成される。
例えば、ユーザーがプレビュー画像GVを確認し、画像GG1が適切に変形されていないと判断した場合、ユーザーは、画像GG1上で指定された点DG、または、撮像画像GP1上で指定された点DPの指定を解除することで、画像GG1を変形し直すことができる。
画像GG1上で指定された点DGの指定を解除する場合、例えば、ユーザーは、当該指定された点DGと対応するマーカーMGを消去する操作を行う。コンピューター1は、マーカーMGを消去するユーザーからの操作を受け付けることで、当該マーカーMGと対応する点DGの指定を解除する。マーカーMGを消去する操作は、例えば、消去の対象となるマーカーMGをダブルタップする操作、または、消去の対象となるマーカーMGを所定時間以上長押しする操作、等であってもよい。
撮像画像GP1上で指定された点DPの指定を解除する場合、例えば、ユーザーは、当該指定された点DPと対応するマーカーMPを消去する操作を行う。コンピューター1は、マーカーMPを消去するユーザーからの操作を受け付けることで、当該マーカーMPと対応する点DPの指定を解除する。マーカーMPを消去する操作は、例えば、消去の対象となるマーカーMPをダブルタップする操作、または、消去の対象となるマーカーMPを所定時間以上長押しする操作、等であってもよい。
なお、本実施形態において、対応関係にあるマーカーMGおよびマーカーMPのうちの一方が消去された場合、当該マーカーMGおよびマーカーMPのうちの他方も併せて消去される場合を想定する。すなわち、対応関係にある点DGおよび点DPのうちの一方の指定が解除された場合、当該点DGおよび点DPのうちの他方の指定も併せて解除される。
ユーザーは、タッチパネル16に表示されたマーカーMG20またはマーカーMP20を消去する操作を行う。コンピューター1は、マーカーMG20またはマーカーMP20を消去するユーザーからの操作を受け付けることで、点DG20および点DP20の指定を解除する。
図22は、設定画像GC1mを図示した説明図である。設定画像GC1mは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1lを表示させた状態で、ボタンB1をタッチするユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1lから、設定画像GC1mへ変化させる。設定画像GC1mは、領域R3に、プレビュー画像GV5の代わりにプレビュー画像GV6が表示されている点を除き、設定画像GC1lと同様に構成される。
コンピューター1は、設定画像GC1lのボタンB1をタッチするユーザーからの操作を受け付けることで、画像GG1を、画像GG7へ変形させる。図23は、画像GG7を示す模式図である。画像GG1を画像GG7へ変形させるための変換式は、点DG1~19および点DG21~26と、点DP1~19および点DP21~26との対応関係に基づいて生成される。
また、コンピューター1は、画像GG1を変形することで画像GG7を生成した後、画像GG7と、撮像画像GP1とを合成することで、プレビュー画像GV6を生成する。そして、コンピューター1は、プレビュー画像GV6を領域R3へ表示させる。
図24は、設定画像GC1nを図示した説明図である。設定画像GC1nは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1kを表示させた状態で、画像GG1上の点DG26または撮像画像GP1上の点DP26の指定を解除するユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1kから、設定画像GC1nへ変化させる。設定画像GC1nは、マーカーMG26が表示されていない点と、マーカーMP26が表示されていない点とを除き、設定画像GC1kと同様に構成される。
ユーザーは、タッチパネル16に表示されたマーカーMG26またはマーカーMP26を消去する操作を行う。コンピューター1は、マーカーMG26またはマーカーMP26を消去するユーザーからの操作を受け付けることで、点DG26および点DP26の指定を解除する。
図25は、設定画像GC1oを図示した説明図である。設定画像GC1oは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1nを表示させた状態で、ボタンB1をタッチするユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1nから、設定画像GC1oへ変化させる。設定画像GC1oは、領域R3に、プレビュー画像GV5の代わりにプレビュー画像GV7が表示されている点を除き、設定画像GC1nと同様に構成される。
コンピューター1は、設定画像GC1nのボタンB1をタッチするユーザーからの操作を受け付けることで、画像GG1を、画像GG8へ変形させる。図26は、画像GG8を示す模式図である。画像GG1を画像GG8へ変形させるための変換式は、点DG1~25と、点DP1~25との対応関係に基づいて生成される。
また、コンピューター1は、画像GG1を変形することで画像GG8を生成した後、画像GG8と、撮像画像GP1とを合成することで、プレビュー画像GV7を生成する。そして、コンピューター1は、プレビュー画像GV7を領域R3へ表示させる。
図27は、マスク画像GM1を示す模式図である。マスク画像GM1は、撮像画像GP1に基づいて生成された白黒の二値画像である。コンピューター1は、加算、減算、乗算または除算等の演算処理を用いて、画像GG1が変形された変形画像と、マスク画像GM1とを合成することで、変形画像の一部を含む画像を生成することができる。なお、本実施形態において、変形画像の一部を含む画像を「部分変形画像」と称することがある。部分変形画像は、換言すれば、マスク画像GM1に基づいて変形画像の一部が抽出された画像である。なお、本実施形態において、コンピューター1は、変形画像の生成に伴って、部分変形画像を生成する場合を想定する。また、コンピューター1は、変形画像を含むプレビュー画像GVの生成に伴って、部分変形画像を含むプレビュー画像GVを生成する場合を想定する。
図28は、設定画像GC1pを図示した説明図である。設定画像GC1pは、設定画像GC1の一態様である。
コンピューター1は、タッチパネル16に設定画像GC1cを表示させた状態で、ボタンB2をタッチするユーザーからの操作を受け付けることで、タッチパネル16に表示させる設定画像GC1を、設定画像GC1cから、設定画像GC1pへ変化させる。設定画像GC1pは、領域R3に、プレビュー画像GV1の代わりにプレビュー画像GV8が表示されている点を除き、設定画像GC1cと同様に構成される。
ボタンB2は、ユーザーがコンピューター1に対して、タッチパネル16に変形画像を含むプレビュー画像GVを表示させるか、部分変形画像を含むプレビュー画像GVを表示させるかの切り替えを指示するためのボタンである。ユーザーは、タッチパネル16に表示されたボタンB2をタッチすることで、コンピューター1にプレビュー画像GVの切り替えを指示する。換言すれば、ボタンB2をタッチする操作は、領域R3に表示されたプレビュー画像GVが、変形画像を含むか、部分変形画像を含むかを指定する操作である。コンピューター1は、設定画像GC1cのボタンB2をタッチするユーザーからの操作に応じて、タッチパネル16に変形画像である画像GG2を含むプレビュー画像GV1を表示させるか、部分変形画像である画像GG9を含むプレビュー画像GV8を表示させるかを切り替える。換言すれば、コンピューター1は、設定画像GC1cのボタンB2をタッチするユーザーからの操作に応じて、プレビュー画像GVが、変形画像である画像GG2を含むか、部分変形画像である画像GG9を含むかを切り替える。図29は、画像GG9を示す模式図である。画像GG9は、画像GG2と、マスク画像GM1とを合成することで生成される。
ユーザーがプレビュー画像GVを確認し、画像GG1が適切に変形されていると判断した場合、ユーザーは、タッチパネル16に表示されたボタンB3をタッチすることで、画像GG1の変形に係る処理を終了させることができる。ボタンB3は、ユーザーがコンピューター1に対して、画像GG1の変形処理の完了を指示するためのボタンである。コンピューター1は、設定画像GC1のボタンB3をタッチするユーザーからの操作を受け付けることで、画像GG1の変形に係る処理を完了する。また、コンピューター1は、生成された変形画像が投射領域RSおよびトルソー3上の所定の範囲に表示されるように、変形画像を変換する。そして、コンピューター1は、変換された変形画像を、プロジェクター7へ出力する。プロジェクター7は、変換された変形画像に応じた投射光を投射領域RSおよびトルソー3へ投射することで、変形画像を含む投射画像GSを表示する。
1.3.コンピューターの構成および機能
以下、図30および図31を参照しつつ、第1実施形態に係るコンピューター1の構成および機能について説明する。
図30は、第1実施形態に係るコンピューター1の構成を示すブロック図である。コンピューター1は、各種情報を記憶する記憶装置10と、コンピューター1の動作を制御する処理装置12と、カメラ5、プロジェクター7、外部記憶装置または外部サーバー等との通信を実行する通信装置14と、設定画像GC1を表示し、またユーザーからの操作を受け付けるタッチパネル16とを備える。処理装置12は、取得部120、表示制御部121、出力部122および画像編集部130としての機能を有する。また、画像編集部130は、入力管理部131、画像変形部132、プレビュー生成部133および変換式生成部134としての機能を有する。タッチパネル16は、表示部160と、入力部161とを備える。
記憶装置10は、例えば、RAM等の揮発性メモリーおよびROM等の不揮発性メモリーを含んで構成される。ここで、RAMとは、Random Access Memoryの略称である。また、ROMとは、Read Only Memoryの略称である。
図31は、第1実施形態に係る記憶装置10の構成を示すブロック図である。記憶装置10の有する不揮発性メモリーは、コンピューター1の動作を規定するプログラム100と、画像GG1を表す画像データ101と、撮像画像GP1を表す撮像画像データ102と、マスク画像GM1を表すマスク画像データ103と、設定画像GC1を表す設定画像データ104と、変形画像および部分変形画像を表す変形画像データ105と、プレビュー画像GVを表すプレビュー画像データ106と、ユーザーから受け付けた操作の内容を表す入力情報107と、画像の変形等を行う際に用いられる変換式を表す変換式情報110とを記憶する。入力情報107は、点DGと、点DPとの対応関係に関する情報を含む。変換式情報110は、変形テーブル111と、出力テーブル112とを含む。変形テーブル111は、画像GG1を、変形画像へ変形するための変換式を表す。出力テーブル112は、投射画像GSに含まれる変形画像が、投射領域RSおよびトルソー3上の所定の範囲に表示されるように、変形画像を変換するための変換式を表す。
出力テーブル112は、カメラ5が、プロジェクター7が投射領域RSおよびトルソー3へ投射光を投射することで表示された複数の白黒のパターン画像を撮像することで取得した複数の撮像画像に基づいて生成される。当該複数の撮像画像には、各々、異なるパターン画像が記録される。プロジェクター7によって表示されるパターン画像の枚数は、プロジェクター7の備える液晶パネル等の光変調器の解像度(具体的には、解像度を2進数で表現した場合の桁数)に基づいて決定される。例えば、プロジェクター7が液晶パネルを備える場合であって、当該液晶パネルの解像度が120×90である場合、「120」および「90」は、各々、7桁の2進数で表現されるため、横方向の座標を表現するための7枚の画像、および、縦方向の座標を表現するための7枚の画像が必要となる。また、照明等の外乱光の影響により撮像の精度が低下することを抑制するため、パターン画像の白黒を反転した相補パターンを併用することが好ましい。すなわち、プロジェクター7の備える液晶パネルの解像度が120×90である場合、出力テーブル112は、合計28枚のパターン画像を撮像した、28枚の撮像画像に基づいて生成される。なお、パターン画像の配色は白黒に限らず、例えば、赤色と緑色の2色であってもよい。パターン画像は、コントラストが大きい2色が用いられることが好ましい。
また、記憶装置10の有する揮発性メモリーは、プログラム100を実行する際のワークエリアとして処理装置12によって利用される。
なお、記憶装置10の一部または全部は、外部記憶装置または外部サーバー等に設けてもよい。また、記憶装置10に記憶される各種情報の一部または全部は、予め記憶装置10に記憶されるものであってもよいし、外部記憶装置または外部サーバー等から取得されるものであってもよい。
処理装置12は、1または複数のCPUを含んで構成される。但し、処理装置12は、CPUの代わりに、または、CPUに加えて、FPGA等のプログラマブルロジックデバイスを備えるものでもよい。ここで、CPUとはCentral Processing Unitの略称であり、FPGAとはField-Programmable Gate Arrayの略称である。
処理装置12は、処理装置12が有するCPU等がプログラム100を実行し、プログラム100に従って動作することで、図30に示す取得部120、表示制御部121、出力部122および画像編集部130として機能する。
取得部120は、通信装置14を制御することで、コンピューター1と通信可能に接続されたカメラ5、プロジェクター7、外部記憶装置または外部サーバー等の外部端末から、各種情報を取得する。また、取得部120は、取得した各種情報を記憶装置10に記憶させる。本実施形態において、取得部120は、画像データ101と、撮像画像データ102と、マスク画像データ103とを取得する。そして、取得部120は、取得した画像データ101、撮像画像データ102およびマスク画像データ103を記憶装置10に記憶させる。
なお、本実施形態において、画像データ101およびマスク画像データ103は不図示の外部サーバーから、撮像画像データ102はカメラ5から、各々取得される場合を想定する。当該外部サーバーは、カメラ5から撮像画像データ102を取得し、撮像画像データ102の示す撮像画像GP1に基づいて、マスク画像GM1を生成する。
表示制御部121は、タッチパネル16の備える表示部160を制御することで、設定画像GC1を表示させる。また、表示制御部121は、ユーザーからの操作に応じて、設定画像GC1の領域R1に表示された画像GG1に重畳するように、マーカーMGを表示させる。また、表示制御部121は、ユーザーからの操作に応じて、設定画像GC1の領域R2に表示された撮像画像GP1に重畳するように、マーカーMPを表示させる。また、表示制御部121は、ユーザーからの操作に応じて、表示されたマーカーMGおよびマーカーMPを消去させる。また、表示制御部121は、ユーザーからの操作に応じて、表示されたマーカーMGおよびマーカーMPを移動させる。すなわち、表示制御部121は、ユーザーからの操作に応じて、マーカーMGおよびマーカーMPを元の位置と異なる位置に表示させる。また、表示制御部121は、ユーザーからの操作に応じて、設定画像GC1の領域R3に、プレビュー画像GVを表示させる。
画像編集部130は、画像GG1の変形に係る各種処理を実行する。画像編集部130は、具体的には、入力管理部131、画像変形部132、プレビュー生成部133および変換式生成部134として機能する。
入力管理部131は、ユーザーから受け付けた操作の内容を表す入力情報107を管理する。具体的には、入力管理部131は、タッチパネル16の備える入力部161を制御することで、ユーザーから受け付けた操作の内容を表す入力情報107を取得する。また、入力管理部131は、取得した入力情報107を記憶装置10に記憶させる。また、コンピューター1がユーザーから新たな入力操作を受け付けた場合、入力管理部131は、記憶装置10に記憶されている入力情報107を更新する。また、入力管理部131は、ユーザーから受け付ける操作に係る各種判定を行う。入力管理部131は、入力情報107の取得および更新を行うことで、点DGおよび点DPの対応付けを行う。
変換式生成部134は、指定された1または複数の点DGと、指定された1または複数の点DPとの対応関係に基づいて、変形テーブル111を生成する。変形テーブル111は、画像GG1を、変形画像へ変形するための複数の変換式を表す。また、変換式生成部134は、生成した変形テーブル111を記憶装置10に記憶させる。
画像変形部132は、変形テーブル111の示す変換式に基づいて、画像GG1を、変形画像へ変形する。また、画像変形部132は、変形画像と、マスク画像GM1とを合成することで、部分変形画像を生成する。換言すれば、画像変形部132は、変形テーブル111と、画像GG1を表す画像データ101と、マスク画像GM1を表すマスク画像データ103とに基づいて、変形画像および部分変形画像を表す変形画像データ105を生成する。また、画像変形部132は、生成した変形画像データ105を記憶装置10に記憶させる。
プレビュー生成部133は、変形画像および撮像画像GP1を合成したプレビュー画像GVを生成する。また、プレビュー生成部133は、部分変形画像および撮像画像GP1を合成したプレビュー画像GVを生成する。換言すれば、プレビュー生成部133は、変形画像および部分変形画像を表す変形画像データ105と、撮像画像GP1を表す撮像画像データ102とに基づいて、プレビュー画像データ106を生成する。また、プレビュー生成部133は、生成したプレビュー画像データ106を記憶装置10に記憶させる。
出力部122は、出力テーブル112に基づいて、変形画像を変換する。そして、出力部122は、通信装置14を制御することで、変換された変形画像をプロジェクター7へ出力する。
通信装置14は、例えば、コネクターおよびインターフェース回路を有するインターフェース基板を含み、カメラ5、プロジェクター7、外部記憶装置または外部サーバー等から各種情報を受信する機能と、カメラ5、プロジェクター7、外部記憶装置または外部サーバー等へ各種情報を送信する機能とを有する。本実施形態において、通信装置14は、カメラ5、プロジェクター7および不図示の外部サーバーと通信可能に接続され、各種情報の送受信を行う場合を想定する。なお、カメラ5、プロジェクター7または外部サーバー等と無線通信を利用して各種情報の送受信を行う場合、通信装置14は、所定の無線通信規格に準拠した無線通信を行うためのアンテナを含んで構成される。
タッチパネル16は、画像を表示する表示部160と、ユーザーからの入力操作を受け付ける入力部161とが一体化された装置である。表示部160は、例えば、液晶パネルや有機ELパネル等を含んで構成され、表示制御部121の制御により、設定画像GC1を表示する。ここで、有機ELとは有機Electro-Luminescenceの略称である。入力部161は、例えば透明なシート状の接触センサーを含んで構成される。入力部161は、表示部160を覆うように設けられる。入力部161は、入力部161に接触する物体と、入力部161とによって特定される静電容量を用いてタッチ位置を検出し、検出したタッチ位置を示すデータを処理装置12へ出力する。当該タッチ位置を示すデータは、入力情報107として記憶装置10に記憶される。
1.4.コンピューターの動作
以下、図32および図33を参照しつつ、第1実施形態に係るコンピューター1の動作について説明する。図32は、第1実施形態に係るコンピューター1の動作について説明するためのフローチャートである。当該フローチャートに示す一連の動作は、例えば、コンピューター1の電源がONになり、タッチパネル16がコンピューター1のユーザーから動作開始に係る入力操作を受け付けた際に開始される。
ステップS101において、取得部120は、通信装置14を制御することで、コンピューター1と通信可能に接続された外部サーバーから、画像GG1を表す画像データ101を取得する。また、取得部120は、取得した画像データ101を記憶装置10に記憶させる。
ステップS102において、取得部120は、通信装置14を制御することで、コンピューター1と通信可能に接続されたカメラ5から、撮像画像GP1を表す撮像画像データ102を取得する。また、取得部120は、取得した撮像画像データ102を記憶装置10に記憶させる。
ステップS103において、取得部120は、通信装置14を制御することで、コンピューター1と通信可能に接続された外部サーバーから、マスク画像GM1を表すマスク画像データ103を取得する。また、取得部120は、取得したマスク画像データ103を記憶装置10に記憶させる。
ステップS104において、表示制御部121は、タッチパネル16の備える表示部160を制御することで、設定画像データ104の示す設定画像GC1を表示させる。表示制御部121は、具体的には、表示部160を制御することで、設定画像GC1aを表示させる。
ステップS104における処理が実行された後、処理装置12は、ステップS200において、画像変形処理を実行する。また、ステップS200における処理が実行された後、処理装置12は、処理をステップS105へ進める。
図33は、第1実施形態に係るコンピューター1の画像変形処理について説明するためのフローチャートである。当該フローチャートは、ステップS200の画像変形処理における一連の動作を示す。
ステップS201において、入力管理部131は、画像GG1上の点DGを指定するユーザーからの操作を入力部161が受け付けたか否か判定する。換言すれば、入力管理部131は、画像GG1上の点DGを指定する操作の内容を表す入力情報107が取得されたか否かを判定する。画像GG1上の点DGを指定する操作の内容を表す入力情報107が取得された場合、すなわち、ステップS201でYESの場合、入力管理部131は処理をステップS202へ進める。また、画像GG1上の点DGを指定する操作の内容を表す入力情報107が取得されていない場合、すなわち、ステップS201でNOの場合、入力管理部131は処理をステップS204へ進める。
ステップS202において、入力管理部131は、取得した入力情報107を記憶装置10に記憶させる。記憶装置10に入力情報107が記憶されている場合、入力管理部131は、記憶装置10に記憶されている入力情報107を更新する。
ステップS203において、表示制御部121は、入力情報107に基づいて、画像GG1に重畳するようにマーカーMGを表示させる。
ステップS204において、入力管理部131は、撮像画像GP1上の点DPを指定するユーザーからの操作を入力部161が受け付けたか否か判定する。換言すれば、入力管理部131は、撮像画像GP1上の点DPを指定する操作の内容を表す入力情報107が取得されたか否かを判定する。撮像画像GP1上の点DPを指定する操作の内容を表す入力情報107が取得された場合、すなわち、ステップS204でYESの場合、入力管理部131は処理をステップS205へ進める。また、撮像画像GP1上の点DPを指定する操作の内容を表す入力情報107が取得されていない場合、すなわち、ステップS204でNOの場合、入力管理部131は処理をステップS207へ進める。
ステップS205において、入力管理部131は、取得した入力情報107を記憶装置10に記憶させる。記憶装置10に入力情報107が記憶されている場合、入力管理部131は、記憶装置10に記憶されている入力情報107を更新する。
ステップS206において、表示制御部121は、入力情報107に基づいて、撮像画像GP1に重畳するようにマーカーMPを表示させる。
ステップS207において、入力管理部131は、画像GG1上で指定された点DG、または、撮像画像GP1上で指定された点DPの指定を解除するユーザーからの操作を入力部161が受け付けたか否か判定する。換言すれば、入力管理部131は、画像GG1上で指定された点DG、または、撮像画像GP1上で指定された点DPの指定を解除する操作の内容を表す入力情報107が取得されたか否かを判定する。画像GG1上で指定された点DG、または、撮像画像GP1上で指定された点DPの指定を解除する操作の内容を表す入力情報107が取得された場合、すなわち、ステップS207でYESの場合、入力管理部131は処理をステップS208へ進める。また、画像GG1上で指定された点DG、または、撮像画像GP1上で指定された点DPの指定を解除する操作の内容を表す入力情報107が取得されていない場合、すなわち、ステップS207でNOの場合、入力管理部131は処理をステップS210へ進める。
ステップS208において、入力管理部131は、記憶装置10に記憶されている入力情報107を更新する。
ステップS209において、表示制御部121は、入力情報107に基づいて、表示部160に表示されたマーカーMGおよびマーカーMPを消去させる。
ステップS210において、入力管理部131は、画像GG1上で指定された点DGの代わりとなる点DGを指定するユーザーからの操作、または、撮像画像GP1上で指定された点DPの代わりとなる点DPを指定するユーザーからの操作を入力部161が受け付けたか否か判定する。換言すれば、入力管理部131は、画像GG1上で指定された点DGの代わりとなる点DGを指定する操作の内容を表す入力情報107、または、撮像画像GP1上で指定された点DPの代わりとなる点DPを指定する操作の内容を表す入力情報107が取得されたか否かを判定する。画像GG1上で指定された点DGの代わりとなる点DGを指定する操作の内容を表す入力情報107、または、撮像画像GP1上で指定された点DPの代わりとなる点DPを指定する操作の内容を表す入力情報107が取得された場合、すなわち、ステップS210でYESの場合、入力管理部131は処理をステップS211へ進める。また、画像GG1上で指定された点DGの代わりとなる点DGを指定する操作の内容を表す入力情報107、および、撮像画像GP1上で指定された点DPの代わりとなる点DPを指定する操作の内容を表す入力情報107のいずれも取得されていない場合、すなわち、ステップS210でNOの場合、入力管理部131は処理をステップS213へ進める。
ステップS211において、入力管理部131は、記憶装置10に記憶されている入力情報107を更新する。
ステップS212において、表示制御部121は、入力情報107に基づいて、表示部160に表示されたマーカーMGまたはマーカーMPを移動させる。
ステップS213において、入力管理部131は、入力情報107を参照し、直近で実施されたステップS201、ステップS204、ステップS207およびステップS210における判定の結果がいずれもNOであるか否か判定する。換言すれば、入力管理部131は、画像GG1上で指定された点DGもしくは撮像画像GP1上で指定された点DPの指定を解除する操作の内容を表す入力情報107、画像GG1上の点DGを指定する操作の内容を表す入力情報107、撮像画像GP1上の点DPを指定する操作の内容を表す入力情報107、画像GG1上で指定された点DGの代わりとなる点DGを指定する操作の内容を表す入力情報107、または、撮像画像GP1上で指定された点DPの代わりとなる点DPを指定する操作の内容を表す入力情報107が取得されたか否かを判定する。画像GG1上で指定された点DGもしくは撮像画像GP1上で指定された点DPの指定を解除する操作の内容を表す入力情報107、画像GG1上の点DGを指定する操作の内容を表す入力情報107、撮像画像GP1上の点DPを指定する操作の内容を表す入力情報107、画像GG1上で指定された点DGの代わりとなる点DGを指定する操作の内容を表す入力情報107、および、撮像画像GP1上で指定された点DPの代わりとなる点DPを指定する操作の内容を表す入力情報107のいずれも取得されていない場合、すなわち、ステップS213でYESの場合、入力管理部131は処理をステップS219へ進める。また、画像GG1上で指定された点DGもしくは撮像画像GP1上で指定された点DPの指定を解除する操作の内容を表す入力情報107、画像GG1上の点DGを指定する操作の内容を表す入力情報107、撮像画像GP1上の点DPを指定する操作の内容を表す入力情報107、画像GG1上で指定された点DGの代わりとなる点DGを指定する操作の内容を表す入力情報107、または、撮像画像GP1上で指定された点DPの代わりとなる点DPを指定する操作の内容を表す入力情報107が取得された場合、すなわち、ステップS213でNOの場合、入力管理部131は処理をステップS214へ進める。
ステップS214において、入力管理部131は、ボタンB1をタッチするユーザーからの操作を入力部161が受け付けたか否か判定する。換言すれば、入力管理部131は、画像GG1の変形を指示する操作の内容を表す入力情報107が取得されたか否かを判定する。画像GG1の変形を指示する操作の内容を表す入力情報107が取得された場合、すなわち、ステップS214でYESの場合、入力管理部131は処理をステップS215へ進める。また、画像GG1の変形を指示する操作の内容を表す入力情報107が取得されていない場合、すなわち、ステップS214でNOの場合、入力管理部131は処理をステップS201へ進める。
ステップS215において、入力管理部131は、入力情報107を参照し、点DGおよび点DPの数が一致するか否かを判定する。点DGおよび点DPの数が一致する場合、すなわち、ステップS215でYESの場合、入力管理部131は処理をステップS216へ進める。また、点DGおよび点DPの数が一致しない場合、すなわち、ステップS215でNOの場合、入力管理部131は処理をステップS201へ進める。
点DGおよび点DPの数が一致しない場合、表示制御部121は、ユーザーに点DGおよび点DPの数を一致させるための操作を促すメッセージを表示させることが好ましい。
ステップS216において、変換式生成部134は、入力情報107に基づいて、変形テーブル111を生成する。また、変換式生成部134は、生成した変形テーブル111を記憶装置10に記憶させる。
ステップS217において、画像変形部132は、変形テーブル111と、画像GG1を表す画像データ101と、マスク画像GM1を表すマスク画像データ103とに基づいて、変形画像および部分変形画像を表す変形画像データ105を生成する。また、画像変形部132は、生成した変形画像データ105を記憶装置10に記憶させる。
ステップS218において、プレビュー生成部133は、変形画像および部分変形画像を表す変形画像データ105と、撮像画像GP1を表す撮像画像データ102とに基づいて、プレビュー画像データ106を生成する。また、プレビュー生成部133は、生成したプレビュー画像データ106を記憶装置10に記憶させる。
ステップS218における処理が実行された後、処理装置12は、図33のフローチャートに示す画像変形処理を終了させる。
ステップS219において、画像編集部130は、表示部160にプレビュー画像GVが表示されているか否かを判定する。表示部160にプレビュー画像GVが表示されている場合、すなわち、ステップS219でYESの場合、画像編集部130を備える処理装置12は、図33のフローチャートに示す画像変形処理を終了させる。また、表示部160にプレビュー画像GVが表示されていない場合、すなわち、ステップS219でNOの場合、画像編集部130は処理をステップS201へ進める。
図33のフローチャートに示す画像変形処理を終了させた後、処理装置12は、図32のフローチャートに示すステップS105における処理を実行する。
表示部160にプレビュー画像GVが表示されていない場合、すなわち、変形画像が1回も生成されていない場合、処理装置12は、変形画像が生成されるまで図33に示す画像変形処理を繰り返す。また、ステップS213における判定がYESであって、表示部160にプレビュー画像GVが表示されている場合、すなわち、変形画像が少なくとも1回以上生成された場合、処理装置12は、新たな変形画像を生成させずに、画像変形処理を終了させる。
ステップS105において、表示制御部121は、設定画像GC1の領域R3に、プレビュー画像GVを表示させる。設定画像GC1の領域R3にプレビュー画像GVが表示されている場合、表示制御部121は、表示部160を制御することで、プレビュー画像GVを更新させる。
ステップS106において、入力管理部131は、ボタンB2をタッチするユーザーからの操作を入力部161が受け付けたか否か判定する。換言すれば、入力管理部131は、プレビュー画像GVの切り替えを指示する操作の内容を表す入力情報107が取得されたか否かを判定する。プレビュー画像GVの切り替えを指示する操作の内容を表す入力情報107が取得された場合、すなわち、ステップS106でYESの場合、入力管理部131は処理をステップS107へ進める。また、プレビュー画像GVの切り替えを指示する操作の内容を表す入力情報107が取得されていない場合、すなわち、ステップS106でNOの場合、入力管理部131は処理をステップS108へ進める。
ステップS107において、表示制御部121は、設定画像GC1の領域R3に表示されているプレビュー画像GVを切り替える。表示部160に変形画像を含むプレビュー画像GVが表示されている場合、表示制御部121は、表示部160を制御することで、部分変形画像を含むプレビュー画像GVを表示させる。また、表示部160に部分変形画像を含むプレビュー画像GVが表示されている場合、表示制御部121は、表示部160を制御することで、変形画像を含むプレビュー画像GVを表示させる。
ステップS108において、入力管理部131は、ボタンB3をタッチするユーザーからの操作を入力部161が受け付けたか否か判定する。換言すれば、入力管理部131は、画像変形処理の完了を指示する操作の内容を表す入力情報107が取得されたか否かを判定する。画像変形処理の完了を指示する操作の内容を表す入力情報107が取得された場合、すなわち、ステップS108でYESの場合、入力管理部131は処理をステップS109へ進める。また、画像変形処理の完了を指示する操作の内容を表す入力情報107が取得されていない場合、すなわち、ステップS108でNOの場合、入力管理部131は処理をステップS200へ進める。
ステップS108における判定がYESになるまで、すなわち、画像変形処理の完了を指示する操作を受け付けるまで、処理装置12は、ステップS200の画像変形処理を再度実行する。
ステップS109において、出力部122は、出力テーブル112に基づいて、変形画像を変換する。
ステップS110において、出力部122は、通信装置14を制御することで、変換された変形画像をプロジェクター7へ出力する。
ステップS110における処理が実行された後、処理装置12は、図32のフローチャートに示す一連の動作を終了させる。
以上より、第1実施形態によれば、コンピューター1は、画像GG1上で指定された1または複数の点DGと、撮像画像GP1上で指定された1または複数の点DPとの対応関係に基づいて、画像GG1を変形することができる。すなわち、ユーザーは、撮像画像GP1に応じて点DPを指定し、点DPと対応させる点DGを画像GG1上で指定することで、画像GG1の形状を、撮像画像GP1に合わせて変形することができる。
また、第1実施形態によれば、コンピューター1は、変形の対象となる画像GG1と、変形の際に参照される撮像画像GP1と、変形された画像GG1を含むプレビュー画像GVとが並んで表示される設定画像GC1を、タッチパネル16に表示させることができる。すなわち、ユーザーは、変形前の画像と、変形後の画像とを見比べることができる。
また、第1実施形態によれば、コンピューター1は、点DGに対応するマーカーMGと、点DPに対応するマーカーMPとの各々を表示することができる。すなわち、ユーザーは、指定された点の位置を容易に確認することができる。また、ユーザーは、対応関係にある点同士の各々の位置を容易に確認することができる。
以上に説明したように、第1実施形態に係る画像編集方法は、画像GG1と、撮像画像GP1とを含む設定画像GC1を表示することと、画像GG1上の点DG1を指定する第1の操作をユーザーから受け付けることと、撮像画像GP1上の点DP1を指定する第2の操作をユーザーから受け付けることと、画像GG1上の点DG20を指定する第3の操作をユーザーから受け付けることと、撮像画像GP1上の点DP20を指定する第4の操作をユーザーから受け付けることと、点DG1を点DP1と対応させ、点DG20を点DP20と対応させることで、画像GG1を画像GG2へ変形することと、を含む。
また、第1実施形態に係るコンピューター1は、1または複数のCPUを備え、1または複数のCPUは、画像GG1と、撮像画像GP1とを含む設定画像GC1をタッチパネル16に表示させることと、画像GG1上の点DG1を指定する第1の操作をユーザーから受け付けることと、撮像画像GP1上の点DP1を指定する第2の操作をユーザーから受け付けることと、画像GG1上の点DG20を指定する第3の操作をユーザーから受け付けることと、撮像画像GP1上の点DP20を指定する第4の操作をユーザーから受け付けることと、点DG1を点DP1と対応させ、点DG20を点DP20と対応させることで、画像GG1を画像GG2へ変形することと、を実行する。
また、第1実施形態に係るプログラム100は、CPUに、画像GG1と、撮像画像GP1とを含む設定画像GC1をタッチパネル16に表示させることと、画像GG1上の点DG1を指定する第1の操作をユーザーから受け付けることと、撮像画像GP1上の点DP1を指定する第2の操作をユーザーから受け付けることと、画像GG1上の点DG20を指定する第3の操作をユーザーから受け付けることと、撮像画像GP1上の点DP20を指定する第4の操作をユーザーから受け付けることと、点DG1を点DP1と対応させ、点DG20を点DP20と対応させることで、画像GG1を画像GG2へ変形することと、を実行させる。
すなわち、本実施形態に係るコンピューター1は、点DGおよび点DPの対応関係に基づいて、画像GG1を変形することができる。ここで、点DGおよび点DPの指定と、点DGおよび点DPの対応付けとは、ユーザー自身の操作に基づいて実施される。従って、コンピューター1は、点DGおよび点DPの対応付けをユーザーの意図した通りに実施することができる。これにより、コンピューター1は、画像GG1を精度良く変形することができる。
なお、第1実施形態において、コンピューター1は「情報処理装置」の一例であり、タッチパネル16は「表示装置」の一例であり、プログラム100は「プログラム」の一例であり、画像GG1は「第1の画像」の一例であり、撮像画像GP1は「第2の画像」の一例であり、画像GG2は「第3の画像」の一例であり、設定画像GC1は「設定画像」の一例であり、点DG1は「第1の点」の一例であり、点DP1は「第2の点」の一例であり、点DG20は「第3の点」の一例であり、点DP20は「第4の点」の一例であり、CPUは「プロセッサー」の一例である。
また、第1実施形態に係る画像編集方法は、画像GG1において、点DG1から第1の範囲内に数字の「1」を表示することと、撮像画像GP1において、点DP1から第2の範囲内に数字の「1」を表示することと、画像GG1において、点DG20から第1の範囲内に数字の「1」とは異なる数字の「20」を表示することと、撮像画像GP1において、点DP20から第2の範囲内に数字の「20」を表示することと、を更に含む。
すなわち、コンピューター1は、対応関係にある点DGおよび点DPに対し、共通の符号を各々の近傍に表示させることができる。これにより、ユーザーは、対応関係にある点同士の各々の位置を容易に確認することができる。また、対応関係にある点同士の組毎に異なる数字が割り振られることから、対応関係にある点同士の組の数を容易に確認することができる。
なお、第1実施形態において、数字の「1」は「第1の符号」の一例であり、数字の「20」は「第2の符号」の一例である。換言すれば、第1の符号は、「1」という数を含む。また、第2の符号は、「20」という数を含む。ここで、「1」という数は、「第1の数」の一例である。また、「20」という数は、「第2の数」の一例である。
また、第1実施形態に係る画像編集方法において、画像GG1を画像GG2へ変形することは、画像GG1の点DG1を撮像画像GP1の点DP1と対応させ、かつ、画像GG1の点DG20を撮像画像GP1の点DP20と対応させる対応付けを行うことと、当該対応付けに基づいて、画像GG1を画像GG2へ変形する変換式を生成することと、当該変換式に基づいて、画像GG1を画像GG2へ変形することと、を含む。
これにより、コンピューター1は、点DGおよび点DPの対応関係に基づいて、画像GG1を正確に変形することができる。
また、第1実施形態に係る画像編集方法において、設定画像GC1は、撮像画像GP1と、画像GG2の少なくとも一部とを合成したプレビュー画像GV1を更に含む。
これにより、ユーザーは、プレビュー画像GV1を見るだけで、画像GG2が撮像画像GP1に合わせて適切に変形されているか否か確認することができる。
なお、第1実施形態において、プレビュー画像GV1は「第4の画像」の一例である。
2.変形例
以上の実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。また、以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲内で適宜併合され得る。なお、以下に例示する変形例において作用や機能が前述の実施形態と同等である要素については、以上の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。
2.1.変形例1
前述の実施形態において、変形の対象となる画像GG1と、変形の際に参照される撮像画像GP1と、変形画像または部分変形画像を含むプレビュー画像GVとが並んで表示される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、画像GG1と、撮像画像GP1と、変形画像を含むプレビュー画像GVと、部分変形画像を含むプレビュー画像GVとが並んで表示されてもよい。
図34は、設定画像GC2を図示した説明図である。設定画像GC2は、領域R4、領域R5、領域R6および領域R7を有する。また、設定画像GC1は、ボタンB1およびボタンB3を有する。領域R4には、画像GG1が表示される。領域R5には、撮像画像GP1が表示される。領域R6には、変形画像を含むプレビュー画像GVが表示される。図34では、変形画像を含むプレビュー画像GVの一例として、プレビュー画像GV1が表示されている。領域R7には、部分変形画像を含むプレビュー画像GVが表示される。図34では、部分変形画像を含むプレビュー画像GVの一例として、プレビュー画像GV8が表示されている。ここで、変形画像は、画像GG2である。また、部分変形画像は、画像GG2と、マスク画像GM1とを合成することで生成された画像GG9である。変形画像を含むプレビュー画像GVと、部分変形画像を含むプレビュー画像GVとが同時に表示されることから、設定画像GC2は、プレビュー画像GVの切り替えを行うためのボタンB2が不要となる。
2.2.変形例2
前述の実施形態および変形例において、設定画像のボタンB1をタッチするユーザーからの操作を受け付けることで、画像GG1を変形させる場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、画像GG1上で指定された点DGの代わりとなる点DGを指定する操作、または、撮像画像GP1上で指定された点DPの代わりとなる点DPを指定する操作、のいずれか一方をユーザーから受け付けることで、画像GG1を変形させてもよい。これにより、ユーザーは、設定画像のボタンB1をタッチする操作が不要となる。
2.3.変形例3
前述の実施形態および変形例において、設定画像のボタンB1をタッチするユーザーからの操作を受け付けることで、画像GG1を変形させる場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、画像GG1上で指定された点DGに加えて新規の点DGを指定する操作と、撮像画像GP1上で指定された点DPに加えて新規の点DPを指定する操作とをユーザーから受け付けることで、画像GG1を変形させてもよい。これにより、ユーザーは、設定画像のボタンB1をタッチする操作が不要となる。
2.4.変形例4
前述の実施形態および変形例において、ユーザーからの操作に応じて、変形画像を含むプレビュー画像GVと、部分変形画像を含むプレビュー画像GVとの表示が切り替えられる場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、部分変形画像を含むプレビュー画像GVのみが表示されてもよい。これにより、ユーザーは、設定画像のボタンB2をタッチする操作が不要となる。
2.5.変形例5
前述の実施形態および変形例において、マーカーMGおよびマーカーMPに含まれる符号が数字である場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、マーカーMGおよびマーカーMPは、数字の代わりに、「A」「B」「C」「D」や「α」「β」「γ」「δ」等の文字を含んでもよい。文字数は1文字に限らず、例えば、「reference point」等、複数の文字を含んでもよい。また、「No.1」「No.20」等、数字および文字の両方を含んでもよい。数字は、アラビア数字に限らず、例えば、ローマ数字でもよい。本変形例において、マーカーMG1およびマーカーMP1は、「ONE」という文字列を含み、マーカーMG20およびマーカーMP20は、「TWENTY」という文字列を含む場合を想定する。換言すれば、第1の符号は、「ONE」という文字列を含み、第2の符号は、「TWENTY」という文字列を含む。
また、例えば、対応関係にあるマーカー同士の組毎に、異なる色で表示されてもよい。本変形例において、マーカーMG1およびマーカーMP1は赤色で、マーカーMG20およびマーカーMP20は青色で表示される場合を想定する。換言すれば、第1の符号は赤色で、第2の符号は青色で、各々表示される。すなわち、対応関係にあるマーカー同士の組毎に異なる色で表示されることで、視認性が向上し、対応関係を容易に把握することができる。
以上より、本変形例に係る画像編集方法において、第1の符号は、「ONE」という文字列を含み、第2の符号は、「ONE」という文字列とは異なる「TWENTY」という文字列を含む。
すなわち、コンピューター1は、対応関係にある点DGおよび点DPに対し、共通の文字列を各々の近傍に表示させることができる。これにより、コンピューター1は、例えば、予めユーザーの母国語に関する情報を取得しておくことで、ユーザーにとって認識しやすい文字列で、対応関係にある点DGおよび点DPの位置を表示することができる。
また、本変形例に係る画像編集方法において、第1の符号は、赤色で表示され、第2の符号は、赤色とは異なる青色で表示される。
すなわち、ユーザーは、対応関係にあるマーカー同士の組毎の区別を、色に基づいて行うことができる。これにより、ユーザーは、点DGおよび点DPの対応関係を容易に把握することができる。
なお、変形例5において、「ONE」という文字列は「第1の文字列」の一例であり、「TWENTY」という文字列は「第2の文字列」の一例であり、赤色は「第1の色」の一例であり、青色は「第2の色」の一例である。
2.6.変形例6
前述の実施形態および変形例において、部分変形画像を生成するためのマスク画像が外部サーバーから取得される場合を例示したが、本発明はこのような態様に限定されるものではない。部分変形画像を生成するためのマスク画像は、本発明に係る情報処理装置において生成されてもよい。例えば、画像編集ソフト等を用いて、撮像画像GP1に含まれるトルソー3の画像の輪郭を選択し、当該輪郭の内側を白、外側を黒で塗りつぶすことで、マスク画像を生成してもよい。
2.7.変形例7
前述の実施形態および変形例において、出力テーブル112に基づいて変形画像を変換し、変換された変形画像をプロジェクター7へ出力する場合を例示したが、本発明はこのような態様に限定されるものではない。変形画像の代わりに、部分変形画像を変換し、変換された部分変形画像をプロジェクター7へ出力してもよい。
2.8.変形例8
前述の実施形態および変形例では、本発明に係る情報処理装置として、コンピューター1を例示したが、コンピューター1の代わりに、コンピューター1と同様の機能を有するスマートフォンやタブレット端末を用いてもよい。例えば、スマートフォンを用いる場合、当該スマートフォンは、コンピューター1と同様の機能に加えて、カメラ5と同様の機能を有してもよい。
1…コンピューター、3…トルソー、5…カメラ、7…プロジェクター、10…記憶装置、12…処理装置、14…通信装置、16…タッチパネル、100…プログラム、101…画像データ、102…撮像画像データ、103…マスク画像データ、104…設定画像データ、105…変形画像データ、106…プレビュー画像データ、107…入力情報、110…変換式情報、111…変形テーブル、112…出力テーブル、120…取得部、121…表示制御部、122…出力部、130…画像編集部、131…入力管理部、132…画像変形部、133…プレビュー生成部、134…変換式生成部、160…表示部、161…入力部、B1…ボタン、DG1…点、DP1…点、MG1…マーカー、MP1…マーカー、GS…投射画像、GC1…設定画像、GG1…画像、GP1…撮像画像、GV1…プレビュー画像、GM1…マスク画像、R1…領域、RP…撮像領域。

Claims (9)

  1. 第1の画像と、第2の画像とを含む設定画像を表示することと、
    前記第1の画像上の第1の点を指定する第1の操作をユーザーから受け付けることと、
    前記第2の画像上の第2の点を指定する第2の操作を前記ユーザーから受け付けることと、
    前記第1の画像上の第3の点を指定する第3の操作を前記ユーザーから受け付けることと、
    前記第2の画像上の第4の点を指定する第4の操作を前記ユーザーから受け付けることと、
    前記第1の点を前記第2の点と対応させ、前記第3の点を前記第4の点と対応させることで、前記第1の画像を第3の画像へ変形することと、
    を含む、
    画像編集方法。
  2. 前記第1の画像において、前記第1の点から第1の範囲内に第1の符号を表示することと、
    前記第2の画像において、前記第2の点から第2の範囲内に前記第1の符号を表示することと、
    前記第1の画像において、前記第3の点から前記第1の範囲内に前記第1の符号とは異なる第2の符号を表示することと、
    前記第2の画像において、前記第4の点から前記第2の範囲内に前記第2の符号を表示することと、
    を更に含む、
    請求項1に記載の画像編集方法。
  3. 前記第1の符号は、第1の文字列を含み、
    前記第2の符号は、前記第1の文字列とは異なる第2の文字列を含む、
    請求項2に記載の画像編集方法。
  4. 前記第1の符号は、第1の数を含み、
    前記第2の符号は、前記第1の数とは異なる第2の数を含む、
    請求項2または3に記載の画像編集方法。
  5. 前記第1の符号は、第1の色で表示され、
    前記第2の符号は、前記第1の色とは異なる第2の色で表示される、
    請求項2から請求項4までのうちのいずれか1項に記載の画像編集方法。
  6. 前記第1の画像を前記第3の画像へ変形することは、
    前記第1の画像の前記第1の点を前記第2の画像の前記第2の点と対応させ、かつ、前記第1の画像の前記第3の点を前記第2の画像の前記第4の点と対応させる対応付けを行うことと、
    前記対応付けに基づいて、前記第1の画像を前記第3の画像へ変形する変換式を生成することと、
    前記変換式に基づいて、前記第1の画像を前記第3の画像へ変形することと、
    を含む、
    請求項1から請求項5までのうちのいずれか1項に記載の画像編集方法。
  7. 前記設定画像は、前記第2の画像と、前記第3の画像の少なくとも一部とを合成した第4の画像を更に含む、
    請求項1から請求項6までのうちのいずれか1項に記載の画像編集方法。
  8. 1または複数のプロセッサーを備え、
    前記1または複数のプロセッサーは、
    第1の画像と、第2の画像とを含む設定画像を表示装置に表示させることと、
    前記第1の画像上の第1の点を指定する第1の操作をユーザーから受け付けることと、
    前記第2の画像上の第2の点を指定する第2の操作を前記ユーザーから受け付けることと、
    前記第1の画像上の第3の点を指定する第3の操作を前記ユーザーから受け付けることと、
    前記第2の画像上の第4の点を指定する第4の操作を前記ユーザーから受け付けることと、
    前記第1の点を前記第2の点と対応させ、前記第3の点を前記第4の点と対応させることで、前記第1の画像を第3の画像へ変形することと、
    を実行する、
    情報処理装置。
  9. プロセッサーに、
    第1の画像と、第2の画像とを含む設定画像を表示装置に表示させることと、
    前記第1の画像上の第1の点を指定する第1の操作をユーザーから受け付けることと、
    前記第2の画像上の第2の点を指定する第2の操作を前記ユーザーから受け付けることと、
    前記第1の画像上の第3の点を指定する第3の操作を前記ユーザーから受け付けることと、
    前記第2の画像上の第4の点を指定する第4の操作を前記ユーザーから受け付けることと、
    前記第1の点を前記第2の点と対応させ、前記第3の点を前記第4の点と対応させることで、前記第1の画像を第3の画像へ変形することと、
    を実行させる、
    プログラム。
JP2022055410A 2022-03-30 2022-03-30 画像編集方法、情報処理装置およびプログラム Pending JP2023147729A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022055410A JP2023147729A (ja) 2022-03-30 2022-03-30 画像編集方法、情報処理装置およびプログラム
CN202310317272.3A CN116894891A (zh) 2022-03-30 2023-03-28 图像编辑方法、信息处理装置以及记录有程序的记录介质
US18/127,742 US20230316609A1 (en) 2022-03-30 2023-03-29 Image editing method, information processing apparatus, and recording medium having program recorded thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022055410A JP2023147729A (ja) 2022-03-30 2022-03-30 画像編集方法、情報処理装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2023147729A true JP2023147729A (ja) 2023-10-13

Family

ID=88193152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022055410A Pending JP2023147729A (ja) 2022-03-30 2022-03-30 画像編集方法、情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US20230316609A1 (ja)
JP (1) JP2023147729A (ja)
CN (1) CN116894891A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515110B2 (en) * 2013-11-12 2019-12-24 Pinterest, Inc. Image based search
US10922449B2 (en) * 2018-11-21 2021-02-16 Best Apps, Llc Computer aided systems and methods for creating custom products
US10860190B1 (en) * 2019-04-22 2020-12-08 Amazon Technologies, Inc. Presenting and interacting with composite images on a computing device

Also Published As

Publication number Publication date
US20230316609A1 (en) 2023-10-05
CN116894891A (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN114173105B (zh) 信息生成方法、信息生成系统以及记录介质
JP2017083550A (ja) 情報処理装置、画像投影システムおよびプログラム
JP2022046059A (ja) 情報生成方法、情報生成システム、及びプログラム
JP2022092215A (ja) 投写方法、投写システム、及びプログラム
JP2003065713A (ja) 画像測定装置用パートプログラム生成装置及びプログラム
JP2002163681A (ja) 画像処理装置
US10484550B2 (en) Display control apparatus that displays preview image, control method therefor, and storage medium
CN113473094B (zh) 设定辅助方法和设定辅助装置
JP2023147729A (ja) 画像編集方法、情報処理装置およびプログラム
CN113485618A (zh) 自定义识别模板的生成方法、证件的识别方法以及装置
JP2023147728A (ja) 画像の表示方法、情報処理装置およびプログラム
CN114979616B (zh) 显示方法、信息处理装置以及记录介质
JP4870474B2 (ja) パーツカタログ表示システムおよびその制御方法
CN114245094B (zh) 信息生成方法、信息生成系统以及记录介质
CN110737179B (zh) 描画装置及描画方法
JP5445858B2 (ja) 入力支援装置、入力支援方法、及びプログラム
US11948482B2 (en) Display method and non-transitory computer-readable storage medium storing program
US20110149175A1 (en) Projector and method for projecting image
US20240036447A1 (en) Projection method and projection system
JP6788801B2 (ja) 画像確認装置、画像確認方法、及びプログラム
JP2009044405A (ja) 画像処理装置
JP2005346283A (ja) 画面判定装置および画面判定方法
JP2023176949A (ja) 画像処理方法、情報処理装置およびプログラム
JP6086015B2 (ja) 画像処理装置、画像処理装置が端末装置に画像データを送信する方法、およびプログラム
JP2023097686A (ja) 表示方法、及び、表示装置