JP2023053546A - 表示制御装置、制御方法、コンピュータプログラム、コンピュータ可読媒体、および製造方法 - Google Patents

Abstract

【課題】現実空間での制作を効果的に支援する。【解決手段】現実映像から、ユーザーが制作している制作物の特徴点を検出する検出手段と、前記検出された特徴点に一致するようにお手本の姿勢を調整する姿勢調整手段と、前記姿勢が調整されたお手本を前記現実映像に重畳した画像を表示する制御手段と、を備える、表示装置。【選択図】図９

Description

本発明は、表示制御装置、制御方法、コンピュータプログラム、コンピュータ可読媒体、および製造方法に関する。

近年、拡張現実（ＡＲ）や複合現実（ＭＲ）に代表されるような、現実と仮想を併せ持った環境でユーザー体験を提供する技術が発展している。例えば、スマートフォンで撮影した映像に仮想物体を重畳したり、各種センサを有するヘッドマウントディスプレイ（ＨＭＤ）を用いて利用者の動作をとらえ複合世界内での動作に同期させて表示したり、これまでにないユーザー体験を提供することができる。

ＡＲやＭＲは個人レベルでの普及が進み、日常的な場面に加え様々な学習や制作などでも活用が進んでいる。例えば特許文献１では、イラストの描画時にスマートフォンの画面にお手本を重畳表示することで制作をサポートしている。

米国特許出願公開第２０２０／０３６３９３１号明細書

特許文献１は、撮影した手元の映像の描画領域（紙の縁など）を検出し、描画領域に追従する形で予め設定しておいたお手本画像を重畳表示している。描画領域を検出することにより位置合わせのマーカーを書き込むなどの余計な手間が不要となる利点がある。

しかし、二次元の製作領域から特徴点を検出するという特性上、作業環境の変化などにより制作領域を見失うと、期待通りの重畳表示が出来ない可能性がある。

本発明では、現実空間での制作を効果的に支援するための技術を提供することを目的とする。

本発明の第一の態様は、
現実映像から、ユーザーが制作している制作物の特徴点を検出する検出手段と、
前記検出された特徴点に一致するようにお手本の姿勢を調整する姿勢調整手段と、
前記姿勢が調整されたお手本を前記現実映像に重畳した画像を表示する制御手段と、
を備える、表示装置である。

本発明の第二の態様は、コンピュータが行う制御方法であって、
現実映像から、ユーザーが制作している制作物の特徴点を検出する特徴点検出ステップと、
前記検出された特徴点に一致するようにお手本の姿勢を調整する姿勢調整ステップと、
前記姿勢が調整されたお手本を前記現実映像に重畳した画像を生成する表示画面生成ステップと、
を備える、制御方法である。

本発明によれば、現実空間での制作を効果的に支援することができる。

制作支援システムのハードウェア構成の一例を示す図である。 制作支援システムのソフトウェア論理構成の一例を示す図。 ユーザーデータのテーブルの一例を示す図である。 お手本データのテーブルの一例を示す図である。 お手本候補のテーブルの一例を示す図である。 実施例１における制作支援システムの概要を示す図である。 実施例１における提示枠の候補の提示方法の一例を示す図である。 実施例１におけるお手本候補検索のフローチャートである。 実施例１におけるお手本決定のフローチャートである。 実施例３における制作支援システムの概要を示す図である。

以下、本発明の実施形態について図面を用いて説明する。なお、以下の説明は本発明の実施形態の一例に過ぎず、本発明を限定する趣旨ではない。本発明は、その技術的思想の範囲内で種々の実装が可能である。

本実施形態は、ユーザーによる制作物の制作を支援する制作支援システムである。本実施形態にかかる制作支援システムは、ユーザーが作成しようとする制作物のお手本画像を現実映像に重畳表示することで、ユーザーによる制作を支援する。制作物は、紙・ホワイトボード・ディスプレイ上に描かれる２次元の画像（イラストなど）であっても良いし、木・粘土・氷などの材料を加工することによって製造される３次元の造形物であってもよい。

製作支援システムは、ディスプレイ（表示装置）、カメラ（撮像装置）、入出力装置、およびディスプレイでの表示を制御するコンピュータ（表示制御装置）を含んで構成される。

図１は、制作支援システム１００に含まれるコンピュータのハードウェア構成の一例を示す図である。本実施形態の制作支援システム１００は、一般的なコンピュータの構成と同様であり、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、Ｉ／Ｆ１０４を有している。これらの構成要素のそれぞれはバス１０５で接続されている。制作支援システム１００は、以下で説明する機能を実現するためのコンピュータプログラムをコンピュータ可読媒体からＲＡＭ１０３にロードして、ＣＰＵ１０１が実行することによって実現される。ＲＡＭ１０３はさらに、ＣＰＵ１０１にて行う処理の一時的なデータを格納するワークメモリとしても利用される。Ｉ／Ｆ１０４は外部と通信するためのインタフェースであり、現実世界の画像データの入力や、利用者の状況を判断するためのデータが入力され、表示する画像データを出力する。

図１にはＣＰＵをひとつのみ図示したが、複数のプロセッサーで画像処理装置を実現してもよい。また、グラフィックプロセッシングユニット（ＧＰＵ）のような補助的な構成が含まれていてもよい。さらには、一時的なワークメモリを保持する構成としてＲＡＭ１０３のみを示したが、同一あるいは異なる媒体で二次、三次の記憶領域を設けてもよい。その他の媒体としては、ハードディスク（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）などが考えられる。バス１０５の構成についてもこの限りではなく、多段にして構成要素を接続しても良い。

図２は、制作支援システム１００のソフトウェア論理構成の一例を示す図である。本ソフトウェア論理構成は実施例に依らず共通である。

ユーザーデータ２２１には、ユーザーの属性や過去の操作履歴などの情報が格納される。お手本データ２２２は、ユーザーによる制作を支援するためのお手本が複数格納される。お手本データ２２２のデータ形式は特に限定されず、２次元のデータであってもよいし３次元のデータであってもよい。

お手本検索部２１３は、お手本データ２２２の中から、制作支援のために現実映像に重畳して表示する候補である１または複数のお手本を検索する。お手本検索部２１３は、例えば、ユーザーが登録したユーザーの属性情報や、これから何を制作するかの入力情報に応じて、制作の開始前に検索を実行する。お手本候補２２３は、お手本検索部２１３によって選択された１つまたは複数のお手本を表す。

特徴点検出部２１１は、ユーザーの視野を撮影した現実映像を撮像部２０１から取得し、当該現実映像から、ユーザーが制作している制作物の特徴点を検出する。特徴点検出部２１１は、ＳＩＦＴやＨＯＧのような任意の既存の技術をもちいて実現すれば良い。

お手本姿勢調整部２１２は、お手本候補２２３に登録されたお手本の姿勢を、検出された特徴点に一致するようにお手本の姿勢を調整する。具体的には、お手本姿勢調整部２１２は、お手本の位置、回転、および拡縮の少なくともいずれかを行うことで、お手本の姿勢を様々に調整し、検出した特徴点と最も一致する姿勢を特定する。姿勢の調整方法は特に限定されない。例えば、お手本姿勢調整部２１２は、検出した特徴点とお手本の姿勢を元に調整方法を決定しても良いし、お手本の姿勢を所定の方法で複数調整し検出した特徴点と最もよく一致する調整方法を選択しても良い。また、お手本姿勢調整部２１２は、機械学習により学習したモデルを用いて調整方法を決定しても良い。特定した姿勢は現実映像に重畳する際の姿勢としてお手本候補２２３に記憶する。また、１つのお手本に対して検出した特徴点と一致させる姿勢の調整方法が複数存在する場合には、それぞれの調整後のお手本をお手本候補２２３に記憶してもよい。

お手本重畳部２１４は、撮像部２０１で撮影した現実映像に、姿勢が調整されたお手本候補２２３を重畳した画像を生成する。お手本重畳部２１４は、お手本候補２２３を現実映像に重畳する際に、お手本姿勢調整部２１２が決定した姿勢情報を用いる。

表示画面生成部２１５は、お手本重畳部２１４が生成した画像をお手本候補の提示画像として表示する画面を生成し、表示部２０２に出力する。お手本重畳部２１４と表示画面生成部２１５は、表示部２０２における表示を制御する表示制御手段と捉えることができる。

お手本選択部２１６は、提示されたお手本の中からユーザーが操作部２０３によって選択したお手本を継続的に重畳表示するお手本としてお手本候補２２３に設定する。

以降、お手本姿勢調整部２１２およびお手本重畳部２１４は、選択中のお手本のみにお手本の姿勢調整および現実映像との重畳処理を行う。また、表示画面生成部２１５はお手本重畳部２１４が生成した画像をＨＭＤの視野全体に最終的なお手本として継続表示する画面を生成し、表示部２０２に出力する。本論理構成に記載のユーザーデータ２２１およびお手本データ２２２は、ネットワークを介した外部記憶装置上にデータを配置する構成としても良い。

図３は、ユーザーデータ２２１に記憶するユーザーデータのテーブルの一例を示す。「
ＩＤ」はユーザーごとに固有のＩＤを示す。「ユーザー名」はユーザーを識別する名称を示す。ユーザー名は、実際の氏名でも良いし、メールアドレスなどに代表されるアカウント名でも良い。「属性」はユーザーを分類する属性情報を示す。属性は、性別、年齢、職業といった属性を有していても良い。「履歴」はユーザーが過去に使用したお手本データの情報を示す。履歴は、最近使用したデータのみでも良いし、一定期間内に使用したデータのリストであっても良い。

図４は、お手本データ２２２に記憶するお手本データのテーブルの一例を示す。図に示すように、お手本データは、ＩＤ、サムネイル、属性、開始位置と関連付けて記憶部に記憶される。

「ＩＤ」はお手本データごとに付与される固有のＩＤを示す。

「お手本」はお手本データの実体を示す。お手本データのデータ形式は特に限定されない。例えば、イラストの描画といった二次元の制作を支援する場合、お手本は二次元のデータとしても良いし、三次元のデータとしても良い。また、模型作成といった三次元の制作を支援する場合は三次元のデータを用いることが好ましいが、二次元のデータとしても良い。このように、お手本のデータ形式は、利用用途に応じて定めれば良い。

「サムネイル」はお手本を任意の姿勢のスナップショット画像を示す。サムネイルは、例えば、提示枠にお手本を表示する際にどのお手本であるかを容易に判別できるように、提示枠の隅に表示するために使用される。サムネイルのデータ形式は、利用用途に応じて定めれば良い。

「属性」はお手本を分類する属性情報を示す。属性情報はお手本自体の特徴を示す「種別」や、お手本がどのようなユースケースで使用できるかを示す「場面」など、副次的なカテゴリで分類を有していても良い。

「開始位置」はそのお手本を描画する際の開始位置を示す。お手本データを特定サイズの二次元の描画領域に描画したと想定して、左上を起点に横軸をｘ軸、縦軸をｙ軸とした座標表現で表す。開始位置は、描画時にユーザーがペンを置いた位置に応じて、重畳するお手本の位置を決定するために利用される。開始位置はお手本ごとに１個のみ定義されても良いし、複数（例えば、２～４個）が定義されても良い。開始位置が２個の場合は、描画領域を左右に二分割した際に、左上、右上の、どの領域から書き始めたかに応じて使用する座標情報を選択しても良い。開始位置が４個の場合は、描画領域を十字に四分割した際に、左上、右上、左下、右下の、どの領域から書き始めたかに応じて使用する座標情報を選択しても良い。「開始位置」の具体的な使用方法は実施例３で説明する。

図５は、お手本候補２２３に記憶するお手本データのテーブルの一例を示す。“ＩＤ”はお手本候補ごとに固有のＩＤを示す。“お手本”はお手本データのテーブルに記載のお手本のデータごとに固有のＩＤを示す。“姿勢”はお手本が現在の特徴点と一致する姿勢を示す。姿勢は位置、回転、拡縮で構成される。位置は、お手本の初期座標からの移動量を（ｘ、ｙ、ｚ）軸成分ごとに示す。回転は、お手本の初期配置からの回転量を（ｘ、ｙ、ｚ）軸成分ごとに示す。拡縮は、お手本の初期サイズからの拡大・縮小の倍率を（ｘ、ｙ、ｚ）軸成分ごとに示す。特徴点と一致する姿勢が存在しない場合は空欄とする。“選択中”は、そのお手本がＨＭＤの視野全体に最終的なお手本として継続表示するお手本であることを示す。

（実施例１）
図６は本実施形態における制作支援システムがユーザーの装着するＨＭＤに表示する画
面の例を示す図である。

画面６０１はＨＭＤの視野全体に表示する画面を示す。画面６０１には、現実空間を表す映像と、制作支援システム１００によって生成された画像が重畳されて表示される。図６において、紙とペンおよび紙に描かれた線が現実空間の映像であり、この現実空間の映像にお手本画像６０４が重畳されている。現実の制作物に重畳して表示されるお手本画像のことを、以下では支援画像とも称する。

提示枠６０２、６０３は重畳表示するお手本の候補を示す提示枠である。提示枠６０２、６０３に表示する画像を提示画像と称する。本実施例において、まずユーザーはあらかじめ「犬」を描くことを制作システムに登録する。すると、お手本の候補としてピックアップされるのは「犬」の属性情報を有するお手本データのみとなる。画面６０１にはユーザーの手元の映像が表示されている。ユーザーが描画を開始するとシステムはその映像から描画結果の特徴点を検出し、「犬」のお手本の中から姿勢(移動、回転、拡縮)を調整することで特徴点と一致するお手本をピックアップする。ピックアップしたお手本は特徴点に合わせて現実映像と重畳し、提示枠６０２、６０３に表示する。ここでは２つのお手本が表示される例を示しているが、３つ以上のお手本が表示されてもよい。複数の候補が提示の対象となる場合、提示の順番は一致度が高い順とし、提示枠の数以上のお手本が対象となる場合は、ジェスチャなどのユーザー操作によって次々と新しいお手本の候補が表示される構成としても良い。ユーザーが提示されたお手本画像の中から継続して重畳表示することを希望するお手本を選択すると、画面６０１に現実映像に重畳する形でお手本画像６０４が表示される。以降は、描画結果の特徴点に追従した姿勢で選択したお手本画像を継続的に表示する。

本実施形態におけるお手本データは二次元のデータであっても、お手本は三次元のデータとしても良い。提示枠に表示される画像も、同じお手本であって特徴点の一部の座標が同じである別の姿勢は同じ提示候補として扱っても良い。その場合は、図７に示すようにユーザーのジェスチャ動作によって、特徴点の一部の座標を維持したまま、お手本の姿勢を自由に変更できるものとする。

図８は、実施例１における初期設定のフローチャートである。図８の処理は、ユーザーによる実際の制作の開始前に初期設定として行われる。

ステップＳ８０１において、制作支援システム１００は、ユーザーからの入力に基づいてユーザーデータを登録する。本実施例では、制作支援システム１００は、ユーザーから制作する制作物の種別の指定を受け付け、受け付けた制作物の種別をユーザーデータ２２１として登録する。例えば、ユーザーが「犬」の絵を描きたい場合には、これから制作する制作物の種別が「犬」であることがユーザーデータ２２１に登録される。

ステップＳ８０２はお手本検索部２１３の処理であり、お手本データの全体からお手本候補となるデータを検索する。制作物の種別が指定されている場合には、お手本検索部２１３は、お手本データ２２２の中から指定された種別と合致する属性を有するお手本をお手本候補としてピックアップする。例えば、「犬」の絵を描くことが登録されている場合には、お手本検索部２１３は、お手本データの中から属性として「犬」を有するお手本をお手本候補としてピックアップする。

図９は、実施例１におけるお手本決定までのフローチャートである。

ステップＳ９０１において、特徴点検出部２１１は、ユーザーの視野映像として撮影した製作物の描画結果から特徴点を検出する。

ステップＳ９０２において、お手本姿勢調整部２１２は、お手本候補としてピックアップしたお手本データについて、ステップＳ９０１で検出した特徴点と一致するようにお手本の姿勢を調整する。算出した姿勢はお手本候補の姿勢属性に結果を反映する。

ステップＳ９０３において、お手本重畳部２１４は、お手本候補としてピックアップされた複数のお手本をお手本候補としてユーザーに提示するための画像を生成する。より具体的には、お手本重畳物２１４は、それぞれのお手本候補に反映された姿勢属性を参照してお手本データの姿勢を調整し、姿勢調整後のお手本が現実映像に重畳された画像を生成する。

ステップＳ９０４において、表示画面生成部２１５は、ステップＳ９０３で生成した画像を用いて提示枠に表示するための提示画面を生成する。

ステップＳ９０５において、お手本選択部２１６は、ステップＳ９０４で提示したお手本の候補から、支援画像として表示するお手本をユーザーが選択した際に、そのお手本を支援画像としてシステムに登録する。

ステップＳ９０６において、表示画面生成部２１５は、ステップＳ９０５でシステムに設定した支援画像のお手本について、お手本重畳部２１４で生成した重畳画像を用いて表示部に本画像として表示するための画面を生成する。

以降フローチャートに記載はないが、特徴点検出部２１１による特徴点の検出およびお手本姿勢調整部２１２によるお手本姿勢の調整およびお手本重畳部によるお手本の重畳をステップＳ９０５でユーザーが選択したお手本について継続するものとする。

本実施例によれば、ユーザーはこれから制作する制作物の種別を指定するだけで、適切なお手本が選択されて現実映像に重畳表示され、制作の支援を受けることができる。お手本は、あらかじめ指定した種別と、ユーザーが実際に制作した制作物の特徴点とに基づいて選択されるので、ユーザーがあらかじめ具体的なお手本を指定することなく適切なお手本が選ばれる。また、お手本の姿勢を制作物の特徴点と一致するように調整しているので、お手本が現実の制作物に追従する。さらに、お手本の姿勢決定に描画領域の４隅を用いていないので、描画領域の４隅を見失ってもお手本を追従して表示し続けることができる。

（実施例２）
実施例１では、ユーザーが制作しようとする制作物の種別をあらかじめ指定しているが、本実施例では制作物の種別の指定なしにお手本を選択する。具体的には、本実施例では、ユーザーの属性情報に基づいてお手本を選択する。

制作支援システム１００が表示する画面は実施例１（図６）と同様である。本実施例においては、初期処理（図８）のステップＳ８０１で、ユーザーは自身の属性情報をユーザーデータ２２１としてあらかじめ制作システムに登録する。ステップＳ８０２においてお手本検索部２１３は、ユーザー属性に合致するお手本をお手本候補としてピックアップする。例えば、ユーザーの属性として「小学生」を有する場合は、関連するお手本の属性として「教育」を有するお手本をピックアップする。ユーザーの属性とお手本の属性の対応付けは、例えば、事前にあらかじめ決定しておけば良い。また、提示枠９０２、９０３に提示するお手本の順番は、特徴点との一致度の他にユーザー属性との一致度も加味した順番で提示しても良い。

本実施例においても、実施例１と同様の効果を得ることができる。なお、実施例１と実施例２とを組み合わせて、制作物の種別とユーザー属性の両方を用いてお手本候補を抽出するようにしてもよい。

（実施例３）
本実施例では、ユーザーによる描画の開始位置を考慮してお手本の表示位置を決定する。

図１０は本実施形態における制作支援システムが表示する画面の例を示す図である。画面１００１はＨＭＤの視野全体に表示する画面を示す。提示枠１００２、１００３は重畳表示するお手本の候補を示す提示枠である。本実施例では描画に利用するお手本を予めユーザーが決めてあるものとする。

本実施例において、システムが特徴点として検出するのは、ユーザーの描画の開始位置（ペンを置いた位置）である。システムは検出した描画の開始位置に、お手本の開始位置の属性情報を参照して位置を合わせ、お手本画像を重畳表示する。具体的には、お手本姿勢著西武２１２は、お手本データに含まれる開始位置（図４参照）と、ユーザーの描画の開始位置が一致するように、お手本の位置を調整する。位置以外のお手本の姿勢（回転、拡縮）は、適宜決定すれば良い。例えば、回転は、ユーザーがお手本を選択したときの姿勢としてもよい。拡縮は、描画領域に対して任意のマージンを維持できる最大サイズとしてもよいし、あらかじめ定められたサイズとしても良い。

本実施例において、ペンを置いた位置が描画領域内のどの領域であるかに応じて、画像の開始位置を決めても良い。上述したように、お手本データ２２２には、描画開始位置が複数関連付けて記憶されても良い。例えば、お手本データ２２２において、描画領域を左右に二分割して、それぞれの領域から書き始めた場合の開始位置が定義されても良い。この場合、お手本姿勢調整部２１２は、ユーザーの描画の開始位置が描画領域のどの領域に該当するかに応じて、対応する開始位置を用いる。例えばユーザーが描画領域の左上にペンを置いた場合は、開始位置(図４)の左上座標を使う。また右上にペンを置いた場合は開始位置(図４)の右上座標を使う。以下、左下、右下の場合も同様である。

以降は、ユーザーの描画の開始位置に応じてお手本が追従するように、お手本姿勢調整部２１２がお手本の姿勢を調整する。

本実施例によれば、お手本の描画位置がユーザーによる描画の開始位置に応じて決定されるので、描画領域の４隅を見失ってもお手本を追従して表示し続けることができる。

なお、上記ではお手本はあらかじめ決定されているものとして説明したが、描画の開始位置に応じてお手本を選択してもよい。描画の開始位置に基づくお手本の選択は、お手本データとしてあらかじめ登録しておいてこれに基づいて行ってもよいし、ユーザーの過去の履歴（描画開始位置と制作物の種別の対応関係）に基づいて行ってもよい。なお、複数の候補が選択された場合には、実施例１と同様に提示枠１００１，１００２に提示して、どの候補を用いるかをユーザーが選択できるようにすればよい。このようにすれば、お手本をあらかじめ指定するという手間を省略することができる。

（実施例４）
本実施例では、三次元制作の支援を行う。本実施例において、システムが特徴点として検出するのは、立体物を撮影した二次元画像の特徴点とする。ユーザーが材料を切削などの加工によって削り出した特徴点を検出し、お手本の特定の姿勢との一致を二次元で判定して重畳する。重畳する場合のロジックは２次元の時と同様であるので説明は割愛する。

（その他の実施例）
なお、実施例１～４はあくまで一例であり、本発明の要旨の範囲内で実施例１～４の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。

また、本発明は、ディスプレイおよびカメラを備えたヘッドマウントディスプレイとして実装したり、スマートフォンをゴーグルのようにユーザーの頭部に装着する形態として実装したりすることができる。また、本発明は、ディスプレイとカメラの少なくとも一方が外付けされるコンピュータ（表示制御装置）、また、当該コンピュータを表示制御装置として機能させるためのコンピュータプログラムとして実現することできる。

また、本発明は、上記の制作支援システムを用いた制作物の製造方法と捉えることもできる。すなわち、本発明は、制作物支援システム（表示制御装置）によって表示されるお手本を確認するステップと、表示されたお手本に基づいて、画像の描画、又は、材料の加工をするステップとを含む製造方法として捉えることができる。このように制作支援システムの支援を受けつつ制作物を制作することにより、ユーザーは、お手本に沿った制作物を容易に製作することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２１１：特徴点検出部 ２１２：お手本姿勢調整部 ２１５：表示画面生成部

Claims (17)

1. 現実映像から、ユーザーが制作している制作物の特徴点を検出する検出手段と、
   前記検出された特徴点に一致するようにお手本の姿勢を調整する姿勢調整手段と、
   前記姿勢が調整されたお手本を前記現実映像に重畳した画像を表示する制御手段と、
   を備える、表示制御装置。
2. 記憶手段に記憶された複数のお手本データの中から、現実映像に重畳して表示するためのお手本を検索する検索手段をさらに有する、
   請求項１に記載の表示制御装置。
3. 前記お手本データは、属性と関連付けて前記記憶手段に記憶されており、
   前記検索手段は、前記ユーザーによって指定されたお手本の属性に合致するお手本を検索する、
   請求項２に記載の表示制御装置。
4. 前記お手本データは、属性と関連付けて前記記憶手段に記憶されており、
   前記検索手段は、前記ユーザーの属性に合致する属性を有するお手本を検索する、
   請求項２に記載の表示制御装置。
5. 前記制御手段は、前記検索手段によって検索された複数のお手本をお手本の候補として前記ユーザーに提示する画像を生成し、前記ユーザーによって選択されたお手本の候補を前記現実映像に重畳するお手本とする、
   請求項２から４のいずれか１項に記載の表示制御装置。
6. 前記姿勢調整手段は、前記お手本に対して回転、移動、および拡縮の少なくともいずれかを行うことにより、前記お手本の姿勢を調整する、
   請求項２から５のいずれか１項に記載の表示制御装置。
7. １つのお手本データについて、前記検出された特徴点に一致させる姿勢の調整方法が複数存在する場合に、前記制御手段は、それぞれの調整後のお手本データをお手本の候補として前記ユーザーに提示する画面を生成する、
   請求項６に記載の表示制御装置。
8. 前記お手本データは、前記属性として描画の開始位置が関連付けて前記記憶手段に
   記憶されており、
   前記検出手段は、前記ユーザーによる制作の開始位置を検出し、
   前記姿勢調整手段は、前記ユーザーによる制作の開始位置と、前記お手本データの属性として記憶されている描画の開始位置とが一致するように、前記お手本の姿勢を調整する、
   請求項２から７のいずれか１項に記載の表示制御装置。
9. 前記お手本データは、前記描画の開始位置が複数関連付けて前記記憶手段に記憶されており、
   前記姿勢調整手段は、前記ユーザーの属性情報または前記ユーザーによる制作の開始位置に応じていずれかの描画の開始位置を選択し、前記ユーザーによる制作の開始位置と、前記選択された描画の開始位置とが一致するように、前記お手本の姿勢を調整する、
   請求項８に記載の表示制御装置。
10. 前記現実映像は、前記ユーザーの視野を撮影した映像である、
    請求項１から９のいずれか１項に記載の表示制御装置。
11. 前記現実映像を取得する撮像手段と、
    前記制御手段によって生成された画像を表示する表示手段と、
    を有する請求項１から１０のいずれか１項に記載の表示制御装置。
12. 前記制作物は、二次元の制作物である、
    請求項１から１１のいずれか１項に記載の表示制御装置。
13. 前記制作物は、三次元の制作物である、
    請求項１から１１のいずれか１項に記載の表示制御装置。
14. コンピュータが行う制御方法であって、
    現実映像から、ユーザーが制作している制作物の特徴点を検出する特徴点検出ステップと、
    前記検出された特徴点に一致するようにお手本の姿勢を調整する姿勢調整ステップと、
    前記姿勢が調整されたお手本を前記現実映像に重畳した画像を生成する表示画面生成ステップと、
    を備える、制御方法。
15. コンピュータを請求項１から１３のいずれか１項に記載された表示制御装置の各手段として機能させるためのコンピュータプログラム。
16. コンピュータを請求項１から１３のいずれか１項に記載された表示制御装置の各手段として機能させるためのコンピュータプログラムを記憶したコンピュータ可読媒体。
17. 請求項１から１３のいずれか１項に記載の表示制御装置を用いて、お手本を確認するステップと、
    前記お手本に基づいて、画像を描画、又は、材料を加工するステップと、
    を有することを特徴とする、制作物の製造方法。

Images