JP2017016439A - プログラム、情報処理装置、深度定義方法及び記録媒体 - Google Patents

プログラム、情報処理装置、深度定義方法及び記録媒体 Download PDF

Info

Publication number
JP2017016439A
JP2017016439A JP2015133122A JP2015133122A JP2017016439A JP 2017016439 A JP2017016439 A JP 2017016439A JP 2015133122 A JP2015133122 A JP 2015133122A JP 2015133122 A JP2015133122 A JP 2015133122A JP 2017016439 A JP2017016439 A JP 2017016439A
Authority
JP
Japan
Prior art keywords
line segment
information
depth
point
reference line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015133122A
Other languages
English (en)
Other versions
JP5920858B1 (ja
Inventor
哲也 中城
Tetsuya Nakashiro
哲也 中城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Live2D Inc
Original Assignee
Live2D Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Live2D Inc filed Critical Live2D Inc
Priority to JP2015133122A priority Critical patent/JP5920858B1/ja
Application granted granted Critical
Publication of JP5920858B1 publication Critical patent/JP5920858B1/ja
Priority to CN201680002231.3A priority patent/CN106716500B/zh
Priority to PCT/JP2016/065161 priority patent/WO2017002483A1/ja
Publication of JP2017016439A publication Critical patent/JP2017016439A/ja
Priority to US15/435,024 priority patent/US10297036B2/en
Priority to HK17105955.3A priority patent/HK1232330A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】2次元画像に対して該画像の深度方向の起伏の情報を簡易的に定義する。
【解決手段】情報処理装置は、深度情報の定義対象である2次元画像を取得し、取得した2次元画像に対して、該画像上の2つの点を指定する点情報と、深度の基準となる第1の線分を示す線分情報の入力を受け付ける。そして装置は、点情報で示される2次元画像の2つの点を結ぶ第2の線分上の点に対し、線分情報で示される第1の線分に基づく深度情報を設定する。
【選択図】図2

Description

本発明は、プログラム、情報処理装置、深度定義方法及び記録媒体に関し、特に2次元画像に対して深度方向の起伏を定義する技術に関する。
近年、電子ゲームを始めとするコンピュータグラフィックスの技術分野においては、3次元モデルを用いた描画表現が主流となってきている。これは例えばアニメーションのように同一のキャラクタや背景を動かしながら、連続した複数の時点におけるフレームを描画する際等、繰り返しの描画や光源演算のような処理に要する時間を削減できることによる。特に電子ゲームのような操作入力に対してリアルタイムにキャラクタの動作等が変化するようなインタラクティブなコンテンツにとっては、事前に3次元モデルやアニメーションデータ等を用意しておけば、様々な視点位置や方向からの描画表現に対応することが可能である。通常このような3次元グラフィックスは、デザイナ等により用意された複数枚の2次元画像(カット)を基に3次元モデルが構築され、該モデルにテクスチャを適用することにより描画がなされる。
一方で、このようなテクスチャ適用により描画される3次元グラフィックスでは、デザイナ等により用意された初期のカットと異なる印象を与える場合がある。3次元グラフィックスは、基本的にテクスチャが適用された3次元モデルを特定の視点について「正しく」描画するものであるため、2次元画像で描かれたカットのように、特定の視線方向における効果的な「見せ方」の表現を再現することは困難であった。このため、2次元画像特有の表現の魅力を優先し、2次元画像を主にゲーム画面において使用するゲームコンテンツ等も一定の支持を保っている。
特許文献1には、デザイナ等により描かれた2次元画像の雰囲気や魅力を保ったまま、3次元的なアニメーションを表現(3次元的表現)可能な描画技術が開示されている。具体的には特許文献1では、2次元画像を髪、眉、目、輪郭(顔)等、それぞれのパーツに分解した後、2次元画像の見た目に合わせて輪郭のパーツに基準となる曲面を簡易的に割り当てる。そしてその他のパーツの2次元画像を表現する顔の方向に応じて回転させた輪郭の球面に合わせて幾何変形及び移動させ、さらに種々の調整を適用可能とすることで、元々の2次元画像の印象を崩壊させずに、異なる方向からのデザイナ所望の表現を実現している。即ち、単にテクスチャを適用して描画する手法とは異なり、特許文献1に記載の手法はデザイナ所望の表現が実現されるように、2次元画像を変形させる手法を採用している。
特開2009−104570号公報 特開2003−085588号公報
ところで、所定の方向からの2次元表現を提示する2次元画像についての特許文献1のような各種パーツの変形は、基準となるパーツの並進や回転等に応じて行われるが、基準となるパーツに対して定義する曲面を構築する必要がある。これは3次元グラフィックスにおける3次元モデルの構築と同様の作業になるが、2次元表現の魅力を活かすためには、2次元画像のカットごとに球面の定義、即ち2次元画像ごとの深度方向の情報を定義する必要がある。つまり、3次元グラフィックスの場合は1つの3次元モデルにより様々な方向からの表現を生成可能であるが、離散的に定義された方向ごとに好適な表現を示す2次元画像から3次元的表現を生成する場合には、例えば輪郭形状等が異なるため共通の3次元モデルを使用することは好ましくない。
これに対し、特許文献2には2次元画像内の人物像に対して3次元形状を簡易的に定義するモデリング手法が開示されている。しかしながら特許文献2に記載のモデリング手法は、予め人物像の3次元標準形状データが用意され、これを画像に合わせて変形するものであったため、必ずしもデザイナが所望する3次元形状とならない場合があった。また特に、特許文献2に記載の手法は実写画像について3次元形状を定義する手法であるため、デザイナ等によって描かれた絵のようなキャラクタ画像には、例えば顔における目の位置や大きさ等が現実の人物像とは異なり得るため、簡単に適用することができない。
また3次元モデリングは、球体や直方体のような基本的な図形を組み合わせ、さらに凹凸を表現するために、様々な方向に回転させながら起伏を調整する必要があるが、このようなモデリングツールの使用には専門的な知識が必要となる。従って、開発実情として2次元画像のデザイナと3次元モデリングのデザイナとが異なることも多く、2次元画像のデザイナが所望する起伏や輪郭が必ずしも表現されない可能性があった。
本発明は、上述の問題点に鑑みてなされたものであり、2次元画像に対して該画像の深度方向の起伏の情報を直感的に定義するプログラム、情報処理装置、深度定義方法及び記録媒体を提供することを目的とする。
前述の目的を達成するために、本発明のプログラムは、コンピュータに、深度情報の定義対象である2次元画像を取得する処理と、取得した2次元画像に対して、該画像上の2つの点を指定する点情報と、深度の基準となる第1の線分を示す線分情報の入力を受け付ける処理と、点情報で示される2次元画像の2つの点を結ぶ第2の線分上の点に対し、線分情報で示される第1の線分に基づく深度情報を設定する処理と、を実行させることを特徴とする。
このような構成により本発明によれば、2次元画像に対して該画像の深度方向の起伏の情報を簡易的に定義することが可能となる。
本発明の実施形態に係るPC100の機能構成を示したブロック図 本発明の実施形態1のPC100において実行される深度定義処理を例示したフローチャート 本発明の実施形態に係る深度情報の定義手法を説明するための図 本発明の実施形態に係る深度情報の正負を決定する手法の一例を示した図 本発明の実施形態2に係る深度情報の定義手法を説明するための図 本発明の実施形態2のPC100において実行される深度定義処理を例示したフローチャート 本発明の変形例1または2に係る、対応点探索のために規定される直線を例示した図 本発明の変形例3に係る深度情報の再編集の態様を説明するための図 本発明の変形例3に係る深度情報の再編集において深度値を整合させる態様を説明するための図 本発明の変形例4に係る推定に基づく深度情報の定義手法を説明するための図 本発明の実施形態3に係る、対象画像の表示領域面に捉われない深度情報の定義手法を説明するための図
[実施形態1]
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、情報処理装置の一例としての、所定のキャラクタに係る2次元画像に対して、該キャラクタの深度情報を設定するプログラムを実行可能なPCに、本発明を適用した例を説明する。しかし、本発明は、キャラクタに限らず、2次元画像に表現される平面的な情報に対して深度情報を設定することが可能な任意の機器に適用可能である。
《PC100の構成》
図1は、本発明の実施形態に係るPC100の機能構成を示すブロック図である。
制御部101は、例えばCPU等の制御装置であり、PC100が有する各ブロックの動作を制御する。具体的には制御部101は、記憶媒体102に格納されているオペレーティングシステムに係るプログラムや、後述の深度定義用のアプリケーションに係るプログラム等を読み出し、メモリ103に展開して実行することにより、各ブロックの動作を制御する。
記憶媒体102は、例えば書き換え可能なROM等の不揮発性メモリや、PC100に着脱可能に接続されたHDD等の記憶装置である。また、記憶媒体102は、例えば光学ドライブ等の所定の読み書き可能なインタフェースを介してアクセス可能なゲームプログラムを記録したディスク等の記録媒体を含んでいてもよい。記憶媒体102は、上述したプログラムだけでなく、各ブロックの動作において必要なパラメータ等の情報、ゲーム画像の生成に用いられる各種データ等を記憶する。
メモリ103は、例えばRAM等の揮発性メモリであってよい。メモリ103は、記憶媒体102から読み出されたプログラム等を展開する展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。
取得部104は、深度情報の定義対象である2次元画像を取得する。取得部104は、例えばユーザの操作入力に基づいて選択された2次元画像を記憶媒体102、もしくはPC100に接続された外部機器から該当の画像データを読み出し、メモリ103に展開する。
深度定義部105は、深度情報の定義対象である2次元画像について、ユーザによりなされた操作入力に基づいて該2次元画像に対応する深度情報を定義する。深度情報の定義は、例えば2次元画像の画素ごとに深度値を設定することにより実現されるものであってもよいし、所定の分解能(解像度)を有する深度マップもしくは3次元モデルを構成することにより実現されるものであってもよい。
表示制御部106は、例えばGPUを含むものであってもよく、表示部107の表示領域に表示される画面の生成及び更新を制御する。本実施形態では表示制御部106は、深度対象の定義対象である2次元画像が指定された場合、該画像の少なくとも一部を含む画面データを構成し、表示部107に伝送して表示させる。表示部107は、例えばLCD等の表示装置である。本実施形態では表示部107は、PC100が有する構成要素であるものとして説明するが、本発明の実施はこれに限られるものではない。表示部107は、PC100と筐体を同じに構成されるものである必要はなく、PC100に着脱可能に装着される外部の表示装置であってもよい。
操作入力部108は、例えばマウス、キーボード、ペンタブレット等、PC100が有するユーザインタフェースである。操作入力部108は、各種インタフェースによりなされた操作入力を検出すると、該操作入力に対応する制御信号を制御部101に出力する。または操作入力部108は、該操作入力対応するイベントの発生を制御部101に通知する。
《深度定義処理》
このような構成をもつ本実施形態のPC100で実行される、2次元画像に対して深度情報を定義する深度定義処理について、図2のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えば記憶媒体102に記憶されている対応する処理プログラムを読み出し、メモリ103に展開して実行することにより実現することができる。なお、本深度定義処理は、例えば深度設定機能を含む画像処理アプリケーションの開始後、深度情報の定義対象である2次元画像(対象画像)が取得部104を用いて取得され、深度設定機能の選択が行われた際に開始されるものとして説明する。
S201で、制御部101は、対象画像に対する線分入力がなされたか否かを判断する。線分入力は、操作入力部108により検出された操作入力に基づいて判定されるものであり、例えばペンタブレットやマウスにより操作入力が受け付けられる場合は、連続する点(座標)入力を結合することにより規定される軌跡の情報を含む。無論、線分入力は軌跡に基づくものである必要はなく、例えばアンカーポイント及び方向線やノットベクトル及び制御点を規定する離散的な複数の点入力や方向を含むものであってもよい(ベクタデータ等)。線分入力により規定される線分は、起伏形状を表現するためには曲線(折れ線を含む)であることが好ましいが、直線であっても処理可能である。制御部101は、線分入力がなされたと判断した場合は処理をS202に移し、なされていないと判断した場合は本ステップの処理を繰り返す。
S202で、制御部101は、入力がなされた線分(参照線分)の情報を例えばメモリ103に格納する。格納される線分の情報は、該線分の始点及び終点の座標(端点情報)と、該線分上に所定の間隔で存在する点または該線分を所定の数に分割して規定される点の座標群とで構成されるものあってもよい。あるいは、格納される線分の情報は、線分を多項式近似した関数の情報と端点情報とで構成されるものであってもよい。前者の場合は、座標群の補間により参照線分を再現することが可能であるものとする。
S203で、深度定義部105は制御部101の制御の下、深度を定義する対象画像上の基準線分を決定する。本実施形態では深度定義部105は、参照線分の端点情報に基づき、参照線分の両端点を結ぶことで定義される直線を基準線分として決定する。
S204で、深度定義部105は、基準線分について深度情報の定義を行う点(深度定義点)を決定する。なお、本実施形態では深度定義点は、基準線分の両端を除く該線分上の位置について所定の間隔で存在するように決定するものとする。深度定義点に両端点を含めてもよいが、参照線分の端点と同一であり、本実施形態の深度定義処理では後述のS205において深度値は0となるため、処理の簡略化の観点から本実施形態の深度定義処理では両端点は深度定義点から除外する。
また本実施形態では、基準線分上に所定間隔をおいて存在する点を深度定義点として設定するものとして説明するが、例えば基準線分上に存在する2次元画像の画素の各々について等、決定される深度定義点は基準線分上であれば任意の位置に任意の数決定されるものであってもよい。あるいは深度定義点は、深度情報に基づいて定義される深度マップや3次元モデルの分解能に応じて決定されるものであってもよい。
S205で、深度定義部105は、S204において決定した各深度定義点に対応する参照線分上の対応点を特定し、深度定義点と対応点との距離に応じて該深度定義点の深度値を設定し、格納する。深度値の格納は、本実施形態では対象画像に関連付けられた深度マップの、対応する座標の深度値を更新することにより行われるものとするが、上述したように深度情報の構成はこれに限られるものではない。
参照線分上の各深度定義点の対応点は、参照線分と、該深度定義点を通り、かつ対象画像面内で基準線分と直交する直線との交点であるものとする。即ち、図3(a)に示されるように、対象画像300に対して入力がなされた参照線分301により、その両端点302a及びbを結ぶ基準線分303に対する深度情報が定義される。このとき、基準線分303上の各深度定義点304の深度値は、図3(b)に示されるように、各深度定義点を通る平行な直線であり基準線分303に直交する直交線群305と、参照線分301との交点との距離に応じて設定される。従って、対象画像300の基準線分303の位置に対して、図3(c)のような深度方向の起伏を定義することができる(図は2次元画像と起伏との関係を理解するための例示に過ぎない)。
深度値は、各深度定義点とその対応点との距離そのものであってもよいし、予め定められた係数を乗じた値としてもよい。即ち、基準線分上の深度定義点P(xt,yt)について設定される深度値D(xt,yt)は、該点Pに対応する対応点がR(xt,yt)である場合、係数kを用いて
D(xt,yt)=k×|P(xt,yt)−R(xt,yt)|
として算出されるものであってもよい。
また深度情報により定義される深度値は、対象画像が表示される画面手前方向への膨らみ(隆起)を示すものに限らず、画面奥方向への凹み(陥没等)を示すものであってよい。このような深度値の正負(表示面を0)は、予め正負のいずれの方向に対する深度を定義する線分入力であるかを設定することによりなされてもよいし、上述した係数が正の値であるか負の値であるかに応じて決定されるものであってもよい。また、深度方向の正負を指示する際に特定の入力を必要とせず、図4(a)に示されるように基準線分を境界としていずれの方向に対応点が存在するかにより、図4(b)のように深度方向の正負を決定するものとしてもよい。
このようにすることで、本実施形態の深度定義処理により、2次元画像に対して簡単な操作入力により、直感的にユーザが所望する深度情報を定義することができる。
[実施形態2]
上述した実施形態では対象画像の領域内に入力された参照線分の端点を結ぶ直線を基準線分とし、該線分上の点について参照線分に応じた深度情報を定義するものとして説明した。しかしながら、2次元画像は図3を用いて説明したような、例えばキャラクタの正対方向からの像が描かれたものだけでない。即ち、2次元画像に描かれる像はデザイナによって構図やパースが定められるものであるため、必ずしも正対方向の場合のように対象画像内の直線に対して深度情報を定義することは、デザイナが所望する深度情報を直感的に定義できない可能性がある。例えば図5(a)に示されるような「うねり」を有する、毛束感のある髪型の根元から毛先までの深度情報を定義する場合、直線501を基準線分として深度情報を定義するよりは、図5(b)のようにうねりに合わせた曲線502を基準線分として深度情報を定義する方が、所望の深度表現を直感的に設定することができる。
本実施形態のPC100では、このような深度定義に係る利便性を向上するために、参照線分とは別に基準線分の入力を受け付けて深度情報を定義する方法について説明する。なお、以下の深度定義処理では、ユーザにとって好適であろう手順を考慮して、基準線分、参照線分の順に入力を受け付けるものとして説明するが、各線分の入力順はこれに限られる必要はないことは容易に理解されよう。また基準線分、参照線分とは、例えば2ストロークの軌跡入力の第1ストローク及び第2ストロークのいずれであるかにより判別されるものであってもよいし、入力線分の役割を切り替える別の操作入力により判別されるものとしてもよい。
《深度定義処理》
以下、本実施形態の深度定義処理について、図6のフローチャートを参照して詳細を説明する。なお、本実施形態の深度定義処理において、実施形態1の同処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下では本実施形態において特徴的な処理についてのみ説明する。
S601で、制御部101は、対象画像に対して基準線分に係る線分入力がなされたか否かを判断する。制御部101は、基準線分に係る線分入力がなされたと判断した場合は処理をS602に移し、なされていないと判断した場合は処理を本ステップの処理を繰り返す。
S602で、制御部101は、入力がなされた基準線分の情報を格納し、処理をS201に移す。上述した実施形態1では、基準線分を規定するために用いた端点情報は参照線分に係る線分入力に基づいて出力するものとして説明したが、本実施形態の深度定義処理では基準線分の入力を受け付けるため、端点情報は基準線分の始点と終点とに基づいて決定する。また本実施形態の深度定義処理ではS201で受け付けられる参照線分は、入力された基準線分の終点または始点から他方の端点に至る線分入力により規定されるものとする。即ち、基準線分と参照線分の入力が連続した2ストロークの入力により行われる場合、基準線分の入力後、ユーザは該基準線分の終点から参照線分に係る線分入力を開始し、入力位置を基準線分の始点へと至らせることにより参照線分に係る線分入力を完了することができる。
なお、本実施形態の深度定義処理では、上述したように参照線分の入力を先に受け付けるため、実施形態1の深度定義処理のS203の処理を除いてS201以降の処理を実行するものとする。
このようにすることで、本実施形態の深度定義処理により、2次元画像上に規定された任意の形状の基準線分に対して深度情報を定義することができるため、よりユーザの所望する深度情報を簡易に定義することができる。
[変形例1]
上述した実施形態2では各深度定義点に係る対応点を、実施形態1と同様に各深度定義点を通り、かつ基準線分に直交する直線に基づいて決定するものとして説明した。しかしながら、例えば基準線分が曲線である場合には、参照線分において対応点が離散的となり、デザイナによっては直感的でないとの印象を受ける可能性もある。また例えば基準線分が折れ線である場合には、変曲点におけるルール付けがなければ直交という概念が定義できない場合もある。
従って、本変形例では、深度定義点に係る対応点の決定においては、基準線分ではなく、実施形態1のように端点情報によって規定される直線と直交し、かつ各深度定義点を通過する直線を用い、図7(a)に示されるように該直線と参照線分との交点を対応点とする。このようにすることで、基準線分の形状がいずれであるかに依らず、端点情報によって構成される平行な直交線群により対応点が決定されるため、深度情報の定義においてより直感的な操作感をユーザに提示できる。
[変形例2]
実施形態1及び2、変形例1では、基準線分もしくは端点情報に基づいて規定される直線に直交する線分に基づいて深度定義点の対応点を決定するものとして説明したが、対応点の探索に用いる直線は基準線分等と直交している必要はない。例えば該基準線分等となす角度を予め設定可能とし、図7(b)に示されるように該角度に基づいて規定した直線について対応点の探索を行うよう構成してもよい。
[変形例3]
なお、深度情報の定義に用いられた参照線分や基準線分は、深度情報の定義後も参照できるよう、対象画像に関連付けてその情報が例えば記憶媒体102に保持されるものであってよい。これらの線分は、深度定義処理に係る対象画像の表示中に常時重畳して表示されている必要はなく、例えば対応する領域へのマウスオーバー等の操作入力によって可視状態となるよう、通常は不可視の状態に表示制御されてよい。
また、既に定義した深度情報に係る参照線分や基準線分は、再編集可能に構成されてよい。その場合、該線分を規定し直す、特定の点等(深度定義点、対応点、端点や各線分の規定に用いられた点やベクトル等)を移動する、深度値設定に係る係数の変更、深度方向正負の変更、対応点探索に係る線分の傾斜角変更等が可能であってよい。また図8(a)に示されるように、既に参照線分801に基づいて深度情報が定義された基準線分802上にさらに追加して参照線分803を入力することで、該参照線分803に応じた深度値の加減算がなされるよう構成してもよい。加減算は例えば図8(b)に示されるように、参照線分802に参照線分803を加味した新たな参照線分804に基づく深度値の設定がなされるものであってよい(図は加算時)。
また深度情報の定義は様々な方向に基準線分を規定して行うことができるが、既に深度情報が定義された基準線分と交差する基準線分について深度情報の定義が行われる場合には、深度値の加減算以外の処理を行ってもよい。例えば、両者の深度値が整合するよう少なくともいずれかの基準成分の深度値設定に係る参照線分の適用率(上述の係数)を変更すればよい。具体的には図9(a)に示されるように、既に複数の基準線分901について参照線分902に基づく深度情報が定義されている場合に、さらに基準線分903及び参照線分904による深度情報の定義がなされる場合を考える。例えば基準線分903と各基準線分901との交点に位置する深度定義点については、参照線分904上の対応点に基づいて決定される深度値を優先して設定を行ってよい。この場合、図9(b)に示されるように基準線分901上の同位置にある深度定義点について深度値の不整合が生じ得るため、基準線分901についての深度値設定に用いる係数を変更し、図9(c)のように深度情報の調整を行えばよい。なお、いずれの基準線分の深度値を優先させるかは、各ユーザによって選択可能であってよい。またこの優先単位は、基準線分単位で指定されるものであってもよいし、深度定義点単位で指定可能に構成されてよい。このようにすることで、例えば端部が面状である、即ち、特定の基準線分において、端点の位置であっても0以外の深度値を有する形状を定義することができる。
また、上述したような深度情報の定義や再編集において、デザイナの所望する深度表現となっているかが確認できるよう、表示制御部106は、深度定義処理により定義された深度情報に基づく3次元形状を、対象画像とともに表示するようにしてもよい。3次元形状は、通常の3次元モデルビューワと同様に、該形状の表示インタフェースに対する操作入力に応じて、並進や回転操作が可能に構成されてよい。
[変形例4]
また特許文献1に記載の技術では、3次元アニメーション表現を行うために、キャラクタ等が描かれている2次元画像を部位ごとに分離してパーツとして定義している。このような場合、1以上の基準線分について深度情報が定義されれば、パーツの領域の形状から、例えば半円筒状や半楕円体等の形状が推定可能である。従って、領域について深度情報の定義がなされた1以上の基準線分に基づいて、領域内の他の位置に規定されるであろう基準線分及び参照線分を推定し、深度情報を与えることも可能である。
具体的には例えば図10(a)に示されるような形状(腕1000)のパーツに対して領域1001が設定されている場合、基準線分1002について参照線分1003による深度情報の定義が行われたとする。この場合、領域1001は図面下方向(垂直下向き)に向かって水平方向の幅が小さくなっている台形状となっているため、基準線分1002に係る深度情報の定義が行われたことで垂直方向の他の位置についても幅を増減させた、平行な基準線分に係る深度情報の定義づけが行われることが好適であると推定できる。従って、図10(b)に示されるようにユーザによる操作入力がなくとも、複数の基準線分1004と、各々の幅に応じて参照線分1003を相似変形した参照線分1005を、垂直方向に所定の間隔を有して規定する。そして各基準線分1004について対応する参照線分1005に基づいた深度情報を定義する。
これにより、ユーザによる深度定義に係る操作をより簡略化することができ、利便性の向上が図れる。なお、図10(a)及び(b)の例では領域1001が垂直方向に長手方向を示す台形状であったため、推定に基づいて決定する基準線分1004は基準線分1002に平行であるものとしたが、本発明はこれに限られるものではない。領域が湾曲形状である場合には、該領域の曲率に応じて定まる曲線と深度情報が定義された基準線分とがなす角に応じて、推定に基づいて決定する基準線分の方向が決定されるものであってもよい。深度定義部105は、例えば領域の曲率を定める中心点から放射状に延びる複数の直線を該領域内に規定した後、該直線を上記なす角に応じて回転させることで、推定に基づいて決定する基準線分を規定してもよい。
また、このような形状認識に基づく操作入力を要しない深度情報の定義(推定)は、例えば画像に設定されている透明度やレイヤ情報等によって、パーツ等の領域の形状が明確に把握可能な態様を想定して説明したが、これに限られるものである必要はない。例えば、画像内の境界部分の情報、コントラスト差等の色情報を画像処理によって取得することで形状認識あるいは推定し、操作入力を要さず深度情報を定義するか否かを決定するものであってもよい。もちろん、形状の認識は予め分離されたパーツ等の1つの画像について行われる必要はなく、画像中の領域について部分的に形状が認識可能である場合には、1つの画像について複数の形状が存在するものとして処理が行われてよい。
[実施形態3]
これまで説明してきた実施形態及び変形例では、基本的には基準線分の端点は対象画像の表示面と同じ深度値に拘束されるものとして説明した。即ち、参照線分の両端と基準線分の両端とが一致する操作入力により深度情報が定義されるものとしていたため、基準線分の端点を深度定義点としたとしても、参照線分上の対応する点が深度定義点と一致するため、深度値が0となる。
一方で、キャラクタ画像等では、例えば図11(a)のように2次元画像の表示面より手前(または奥)にパーツの端部(指先等)が存在するようなパースで描かれるものも当然存在する。このような場合、例えば基準線分1101について参照線分1102を規定したとしても、指先に相当する点1103の深度値が0となるため、デザイナの所望する深度表現がなされない。従って、本実施形態では端点情報で示される端点の少なくともいずれかに、対象画像の表示面に深度値を拘束するか否かの情報を示す属性情報をさらに付加可能な構成とする。例えば図11(b)に示されるように、基準線分1101を点1103から点1104の軌跡として入力後、点1104から、点1103と離間した位置にある点1105までの軌跡として参照線分1106を入力することで、基準線分1101の端点のうちの点1103について深度値を拘束を解除する属性情報を付加する構成としてもよい。これにより深度定義部105は、基準線分1101上の深度定義点に対応する参照線分1106上の点の決定において深度定義点1103の対応点を点1105とし、点1103と点1105との距離に応じて点1103に設定する深度値を決定すればよい。また、基準線分1101上の他の深度定義点についての対応点の決定は、各深度定義点を通り、かつ基準線分1101と直交する線分と参照線分1106との交点が存在しない可能性がある。このため深度定義部105は、例えば対応点の探索に用いる直線を、点1105と点1103とを結ぶ直線に平行であるものとして決定すればよい。
なお、図11を用いて説明した手順は例示であり、基準線分と参照線分の入力順や軌跡の入力方向はこれに限定されるものではない。また本実施形態では基準線分の端点と参照線分の端点の座標とが一致しない場合に属性情報を付加するものとして説明したが、これを明示するために例えば図11(b)において参照線分1106の入力後、さらに点1105から点1103への軌跡入力や、属性情報を付加するための操作入力を要するよう構成してもよい。
また属性情報は、基準情報の片方の端点のみに付加可能に構成する必要はなく、例えば参照線分の両端点とも基準情報の端点と一致しない場合に、基準情報の両端点に属性情報を付加してもよい。この場合、参照線分のいずれの端点が基準線分の端点と対応するかを指定するための入力をさらに受け付けてもよい。
[変形例5]
上記実施形態及び変形例では、ユーザの利便性を考慮して線分入力は対象画像上、即ち対象画像の表示される領域に対する指示入力によりなされるものとして説明したが、本発明の実施はこれに限られるものではない。例えば、対象画像の表示倍率において基準線分の長さが短い場合、所望の形状の参照線分を入力することは、特に複雑な起伏を示す深度情報を定義したい場合等において困難となり得る。従って、例えば端点情報、基準線分のみを対象画像の表示される領域に対する指示入力によりなされるものとし、参照線分は異なる領域において任意のスケールで入力されるものであってもよい。この場合、制御部101は、入力された参照線分を、両端点が基準線分の対応する端点と一致するように、回転/伸縮処理を適用し、参照線分の情報として格納する。
なお、実施形態1のように基準線分の入力を要しない態様(参照線分の端点を基準線分の規定に使用する態様)である場合、本変形例の組み合わせにおいては対象画像の表示領域には基準線分を規定するための端点に係る指示入力を受け付け、制御部101は別途入力された参照線分を同様に回転/伸縮処理すればよい。
[まとめ]
以上説明した種々の態様は、適宜記載の要素を組み合わせて深度情報の定義を行うものとして構成されてもよい。また変形例5に記載したように、深度情報を定義する基準線分に係る端点情報は、参照線分に係る入力に基づいて取得されるものである必要はなく、参照線分とは別の入力で取得されるものであってよい。さらに基準線分が直線である場合には基準線分の入力がなされる必要はなく、端点情報と参照線分の入力のみで深度情報の定義を行うものであってもよい。
[その他の実施形態]
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係る情報処理装置は、1以上のコンピュータを該情報処理装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供/配布することができる。
100:PC、101:制御部、102:記憶媒体、103:メモリ、104:取得部、105:深度定義部、106:表示制御部、107:表示部、108:操作入力部

Claims (14)

  1. コンピュータに、
    深度情報の定義対象である2次元画像を取得する処理と、
    取得した前記2次元画像に対して、該画像上の2つの点を指定する点情報と、深度の基準となる第1の線分を示す線分情報の入力を受け付ける処理と、
    前記点情報で示される前記2次元画像の前記2つの点を結ぶ第2の線分上の点に対し、前記線分情報で示される前記第1の線分に基づく深度情報を設定する処理と、
    を実行させることを特徴とするプログラム。
  2. 前記第1の線分は、連続する操作入力に基づく入力位置の軌跡であることを特徴とする請求項1に記載のプログラム。
  3. 前記点情報により示される前記2つの点は、前記第1の線分の端点であることを特徴とする請求項1または2に記載のプログラム。
  4. 前記プログラムは、前記第2の線分に係る入力する処理を前記コンピュータにさらに実行させることを特徴とする請求項1乃至3のいずれか1項に記載のプログラム。
  5. 前記設定する処理は、前記第2の線分上の点について、該点と前記第1の線分上の対応する点とで定まる距離に応じた深度情報を設定することを特徴とする請求項1乃至4のいずれか1項に記載のプログラム。
  6. 前記第2の線分上の点に対応する前記第1の線分上の点は、前記2次元画像面内において前記第2の線分上の点から所定の方向に伸びる直線と前記第1の線分上の交点であることを特徴とする請求項5に記載のプログラム。
  7. 前記入力を受け付ける処理は、前記線分情報が深度方向の正負のいずれの方向に対する深度を定める情報であるかを示す正負情報の入力をさらに受け付け、
    前記設定する処理は、前記正負情報に基づいて前記第2の線分上の点に対して深度情報を設定する
    ことを特徴とする請求項1乃至6のいずれか1項に記載のプログラム。
  8. 前記設定する処理は、前記第2の線分上の点に対して既に深度情報が設定されている場合に、既に設定された深度情報で示される値に対して前記第1の線分に基づく値を加算して新たな深度情報を設定することを特徴とする請求項1乃至7のいずれか1項に記載のプログラム。
  9. 前記入力を受け付ける処理は、前記線分情報の適用率を示す情報をさらに受け付け、
    前記設定する処理は、前記第2の線分上の点に対して前記適用率を示す情報に基づいた深度情報を設定することを特徴とする請求項1乃至8のいずれか1項に記載のプログラム。
  10. 前記プログラムは、前記2次元画像について同一のパーツに対応する領域を定義する処理を前記コンピュータにさらに実行させ、
    前記設定する処理は、前記定義する処理により定義された同一のパーツに対応する領域について、深度情報が設定された複数の前記第2の線分に基づいて該領域内の他の点の深度情報を設定する
    ことを特徴とする請求項1乃至9のいずれか1項に記載のプログラム。
  11. 前記プログラムは、
    前記設定する処理により設定された深度情報に基づく3次元形状を構成する処理と、
    前記構成する処理により構成された前記3次元形状を前記2次元画像とともに表示させる処理と、
    を前記コンピュータにさらに実行させることを特徴とする請求項1乃至10のいずれか1項に記載のプログラム。
  12. 深度情報の定義対象である2次元画像を取得する取得手段と、
    前記取得手段により取得された前記2次元画像に対して、該画像上の2つの点を指定する点情報と、深度の基準となる第1の線分を示す線分情報の入力を受け付ける入力手段と、
    前記点情報で示される前記2次元画像の前記2つの点を結ぶ第2の線分上の点に対し、前記線分情報で示される前記第1の線分に基づく深度情報を設定する設定手段と、
    を有することを特徴とする情報処理装置。
  13. 深度情報の定義対象である2次元画像を取得する取得工程と、
    前記取得工程において取得された前記2次元画像に対して、該画像上の2つの点を指定する点情報と、深度の基準となる第1の線分を示す線分情報の入力を受け付ける入力工程と、
    前記点情報で示される前記2次元画像の前記2つの点を結ぶ第2の線分上の点に対し、前記線分情報で示される前記第1の線分に基づく深度情報を設定する設定工程と、
    を有することを特徴とする深度定義方法。
  14. 請求項1乃至11のいずれか1項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2015133122A 2015-07-01 2015-07-01 プログラム、情報処理装置、深度定義方法及び記録媒体 Active JP5920858B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015133122A JP5920858B1 (ja) 2015-07-01 2015-07-01 プログラム、情報処理装置、深度定義方法及び記録媒体
CN201680002231.3A CN106716500B (zh) 2015-07-01 2016-05-23 一种信息处理装置及深度定义方法
PCT/JP2016/065161 WO2017002483A1 (ja) 2015-07-01 2016-05-23 プログラム、情報処理装置、深度定義方法及び記録媒体
US15/435,024 US10297036B2 (en) 2015-07-01 2017-02-16 Recording medium, information processing apparatus, and depth definition method
HK17105955.3A HK1232330A1 (zh) 2015-07-01 2017-06-15 程序、信息處理裝置、深度定義方法及記錄介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015133122A JP5920858B1 (ja) 2015-07-01 2015-07-01 プログラム、情報処理装置、深度定義方法及び記録媒体

Publications (2)

Publication Number Publication Date
JP5920858B1 JP5920858B1 (ja) 2016-05-18
JP2017016439A true JP2017016439A (ja) 2017-01-19

Family

ID=55974042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015133122A Active JP5920858B1 (ja) 2015-07-01 2015-07-01 プログラム、情報処理装置、深度定義方法及び記録媒体

Country Status (5)

Country Link
US (1) US10297036B2 (ja)
JP (1) JP5920858B1 (ja)
CN (1) CN106716500B (ja)
HK (1) HK1232330A1 (ja)
WO (1) WO2017002483A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7086362B1 (ja) 2021-03-29 2022-06-20 株式会社セルシス 情報処理システム、情報処理方法および情報処理プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6473214B1 (ja) * 2017-11-24 2019-02-20 株式会社Live2D プログラム、記録媒体及び描画方法
CN109240561B (zh) * 2018-08-20 2021-01-08 广州视源电子科技股份有限公司 旋转元素的吸附元素选择方法和装置、旋转吸附方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085588A (ja) 2001-06-28 2003-03-20 Shiyuusaku Furushima 三次元形状モデリング方法
JP2009104570A (ja) 2007-10-23 2009-05-14 Cybernoids Co Ltd 画像の形成用のデータ構造及び画像の形成方法
JP4541397B2 (ja) * 2007-11-05 2010-09-08 日本電信電話株式会社 擬似的3次元画像生成装置、擬似的3次元画像生成方法及び擬似的3次元画像生成プログラム
JP5817300B2 (ja) * 2011-08-02 2015-11-18 大日本印刷株式会社 奥行き製作支援装置、奥行き製作支援方法、およびプログラム
US9202309B2 (en) * 2011-09-01 2015-12-01 Adobe Systems Incorporated Methods and apparatus for digital stereo drawing
KR101862543B1 (ko) * 2011-09-08 2018-07-06 삼성전자 주식회사 깊이정보 생성장치, 깊이정보 생성방법 및 그 저장매체
JP5857606B2 (ja) * 2011-10-11 2016-02-10 大日本印刷株式会社 奥行き製作支援装置、奥行き製作支援方法、およびプログラム
JP5994320B2 (ja) * 2012-03-26 2016-09-21 大日本印刷株式会社 奥行き制作支援装置、奥行き制作支援方法、及びプログラム
JP5966837B2 (ja) * 2012-10-05 2016-08-10 大日本印刷株式会社 奥行き制作支援装置、奥行き制作支援方法、およびプログラム
JP6182930B2 (ja) * 2013-03-28 2017-08-23 大日本印刷株式会社 奥行き制作支援装置、奥行き制作方法、及びプログラム
CN103686139B (zh) * 2013-12-20 2016-04-06 华为技术有限公司 帧图像转换方法、帧视频转换方法及装置
KR101748637B1 (ko) * 2014-08-05 2017-06-20 한국전자통신연구원 깊이 맵 생성 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7086362B1 (ja) 2021-03-29 2022-06-20 株式会社セルシス 情報処理システム、情報処理方法および情報処理プログラム
JP2022152058A (ja) * 2021-03-29 2022-10-12 株式会社セルシス 情報処理システム、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
US20170161918A1 (en) 2017-06-08
HK1232330A1 (zh) 2018-01-05
CN106716500B (zh) 2020-05-05
WO2017002483A1 (ja) 2017-01-05
US10297036B2 (en) 2019-05-21
CN106716500A (zh) 2017-05-24
JP5920858B1 (ja) 2016-05-18

Similar Documents

Publication Publication Date Title
US20220084279A1 (en) Methods for manipulating objects in an environment
US10860838B1 (en) Universal facial expression translation and character rendering system
US9697635B2 (en) Generating an avatar from real time image data
JP5813948B2 (ja) プログラム及び端末装置
US8154544B1 (en) User specified contact deformations for computer graphics
JP4226639B1 (ja) 画像処理装置、画像処理方法、ならびに、プログラム
JP2019512118A (ja) 2つのタイプのインクベクトルデータを生成して選択的に出力する方法及びシステム
JP2011048586A (ja) 画像処理装置および画像処理方法、並びにプログラム
US9799102B2 (en) Smoothing images using machine learning
CN110322571B (zh) 一种页面处理方法、装置及介质
JP5920858B1 (ja) プログラム、情報処理装置、深度定義方法及び記録媒体
US10275947B2 (en) Modifying a simulated character by direct manipulation
JP6714357B2 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
US20220245874A1 (en) Method of converting and replaying styles of vector images
JP4407434B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN111739134B (zh) 虚拟角色的模型处理方法、装置及可读存储介质
US20230377268A1 (en) Method and apparatus for multiple dimension image creation
JP6062589B1 (ja) プログラム、情報処理装置、影響度導出方法、画像生成方法及び記録媒体
JP7145359B1 (ja) 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法
JP7475625B2 (ja) 3次元空間における入力受付および入力表示方法、プログラム、および3次元空間における入力受付および入力表示装置
JP2020013390A (ja) 情報処理装置、情報処理プログラム及び情報処理方法
WO2022127852A1 (zh) 手指触摸操作显示方法及装置
US20230298283A1 (en) Gesture based tactile interaction in extended reality using form factor of a physical object
US8379030B1 (en) Computer graphics variable transformation interface
WO2022261097A1 (en) Computer-assisted graphical development tools

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160405

R150 Certificate of patent or registration of utility model

Ref document number: 5920858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250