JP2022054254A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2022054254A JP2022054254A JP2020161332A JP2020161332A JP2022054254A JP 2022054254 A JP2022054254 A JP 2022054254A JP 2020161332 A JP2020161332 A JP 2020161332A JP 2020161332 A JP2020161332 A JP 2020161332A JP 2022054254 A JP2022054254 A JP 2022054254A
- Authority
- JP
- Japan
- Prior art keywords
- target data
- data
- image
- image processing
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims 2
- 238000000034 method Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000005286 illumination Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 観察条件を変えるためにユーザが情報を入力することなく、複数の観察条件における物体の質感を提示するための処理を提供することを目的とする。
【解決手段】 画像処理装置であって、対象データを取得する取得手段と、前記対象データが物体の質感情報を有するか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記対象データに対応する画像を表示手段に表示する表示制御手段と、を有し、前記表示制御手段は、前記対象データが物体の質感情報を有する場合、前記対象データに対応する、観察条件が異なる複数の画像を含む動画像又は連続静止画像を前記表示手段に表示する。
【選択図】 図３
【解決手段】 画像処理装置であって、対象データを取得する取得手段と、前記対象データが物体の質感情報を有するか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記対象データに対応する画像を表示手段に表示する表示制御手段と、を有し、前記表示制御手段は、前記対象データが物体の質感情報を有する場合、前記対象データに対応する、観察条件が異なる複数の画像を含む動画像又は連続静止画像を前記表示手段に表示する。
【選択図】 図３
Description
本発明は、物体の質感を表現するための画像処理技術に関する。
インターネットショッピングの普及により、商品の色や形だけでなく質感についても、ＰＣやタブレット端末、スマートフォンの画面上に表現することへの要求が高まっている。物体の素材や塗装などの質感を表現するために、３ＤＣＧの様々な手法が用いられている。特許文献１は、光源、物体、視点の位置に応じて、物体の質感を表現する２次元画像を生成する技術を開示している。
しかしながら、特許文献１においては、複数の観察条件において物体の質感を確認したい場合、観察条件を変える度にユーザが光源情報や視点情報などを入力する必要がある。
本発明は、観察条件を変えるためにユーザが情報を入力することなく、複数の観察条件における物体の質感を提示するための処理を提供することを目的とする。
上記課題を解決するために、本発明に係る画像処理装置は、対象データを取得する取得手段と、前記対象データが物体の質感情報を有するか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記対象データに対応する画像を表示手段に表示する表示制御手段と、を有し、前記表示制御手段は、前記対象データが物体の質感情報を有する場合、前記対象データに対応する、観察条件が異なる複数の画像を含む動画像又は連続静止画像を前記表示手段に表示することを特徴とする。
本発明によれば、観察条件を変えるためにユーザが情報を入力することなく、複数の観察条件における物体の質感を提示することができる。
以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
［第１実施形態］
＜画像処理装置のハードウェア構成＞
図１は、画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インタフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインタフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１２などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１２などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１４が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０が接続される。ＳＡＴＡ Ｉ／Ｆ１０６には、シリアルバス１１１を介して、ＨＤＤ１１２や各種記録メディアの読み書きを行う汎用ドライブ１１３が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１２や汎用ドライブ１１３にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインタフェース）をディスプレイ１１４に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。
＜画像処理装置のハードウェア構成＞
図１は、画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インタフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインタフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１２などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１２などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１４が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０が接続される。ＳＡＴＡ Ｉ／Ｆ１０６には、シリアルバス１１１を介して、ＨＤＤ１１２や各種記録メディアの読み書きを行う汎用ドライブ１１３が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１２や汎用ドライブ１１３にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインタフェース）をディスプレイ１１４に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。
＜画像処理装置の機能構成＞
図２は、画像処理装置１の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２またはＨＤＤ１１２に格納されたプログラムを読み出して実行することによって、図２に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていても良い。
図２は、画像処理装置１の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２またはＨＤＤ１１２に格納されたプログラムを読み出して実行することによって、図２に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていても良い。
画像処理装置１は、取得部２０１と、判定部２０２と、生成部２０３と、表示制御部２０４と、を有する。取得部２０１は、対象データとして、物体の質感情報を有するデータ、もしくは、２次元の静止画像データを取得する。本実施形態における質感情報を有するデータは、３Ｄモデル形式のデータであり、ｗａｖｅｆｒｏｎｔ ＯＢＪ形式で記述されている。ｗａｖｅｆｒｏｎｔ ＯＢＪ形式のデータを用いてレンダリングを行う際には、３Ｄテクスチャ形式であるＭＴＬ形式ファイルが参照される。また、２次元の静止画像データは、ＪＰＧ形式などの画像データである。
判定部２０２は、取得部２０１が取得した対象データが、物体の質感情報を有するデータであるか否かを判定する。生成部２０３は、判定部２０２により物体の質感情報を有すると判定された対象データに対して、観察条件が異なる複数のフレームを含むＭＰ４形式などの動画像データを生成する。表示制御部２０４は、判定部２０２が質感情報を有するデータであると判定した対象データに対して、生成部２０３が生成した、観察条件が異なる複数のフレームを含む動画像データを表示（自動的に再生）する。表示制御部２０４は、判定部２０２が質感情報を有するデータでないと判定した対象データに対して、対象データを２次元の静止画として表示する。
＜画像処理装置が実行する処理の流れ＞
以下、図３を参照して画像処理装置１が実行する処理の詳細を説明する。図３のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。Ｓ３０１において、取得部２０１は、対象データを取得する。本実施形態における取得部２０１は、ユーザの指示入力に応じて、ＨＤＤ１１２などの記憶装置から４種類の対象データを取得する。
以下、図３を参照して画像処理装置１が実行する処理の詳細を説明する。図３のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。Ｓ３０１において、取得部２０１は、対象データを取得する。本実施形態における取得部２０１は、ユーザの指示入力に応じて、ＨＤＤ１１２などの記憶装置から４種類の対象データを取得する。
Ｓ３０２において、取得部２０１は、対象データに対して、１ｂｉｔの信号である質感フラグ（ｆｌｇ）をＯＦＦ（ｆｌｇ＝０）に設定する。質感フラグは、取得部２０１により取得された各対象データに付与される。Ｓ３０３において、判定部２０２は、Ｓ３０１において取得された対象データが質感情報を有するデータであるか否かを判定する。Ｓ３０４において、判定部２０２は、対象データが質感情報を有するデータであると判定した場合に、判定された対象データに対応する質感フラグをＯＮ（ｆｌｇ＝１）に設定（更新）する。
Ｓ３０５において、生成部２０３は、質感フラグがＯＮの対象データに対して、観察条件が異なる複数のフレームを含む動画像データを生成する。動画像データの生成には、公知のバンプマッピングやレイトレーシング、フォトンマッピングなどの手法を用いることができる。尚、Ｓ３０３において対象データが質感情報を有するデータでないと判定された場合は、Ｓ３０４及びＳ３０５の処理をスキップする。
Ｓ３０６において、表示制御部２０４は、対象データに対応する質感フラグに基づいて、動画像データが表す動画像の表示、もしくは、静止画像データが表す静止画像の表示を行う。表示制御部２０４は、対象データの質感フラグがＯＮ（ｆｌｇ＝１）である場合、Ｓ３０５において生成された動画像データが表す動画像をディスプレイ１１４に表示する。表示制御部２０４は、対象データの質感フラグがＯＦＦ（ｆｌｇ＝０）である場合、Ｓ３０１において取得された静止画像データが表す２次元の静止画像をそのままディスプレイ１１４に表示する。Ｓ３０７において、表示制御部２０４は、取得された全ての対象データに対して表示が完了したか否かを判定する。取得された全ての対象データに対して表示が完了していない場合には、次の対象データに対してＳ３０２以降の処理を行う。取得された全ての対象データに対して表示が完了した場合には、処理を終了する。
＜表示制御部による表示＞
図４を用いて表示制御部２０４における処理の詳細を説明する。図４はディスプレイ１１４上に表示されるＵＩの例を示す図である。ウィンドウ４０１は、画像を表示するための表示領域である。表示画像４０２、表示画像４０３、表示画像４０４、表示画像４０５は、Ｓ３０１において取得された４種類の対象データそれぞれに対して表示された画像である。図４の例においては、色や質感の異なる４種類の物体が表示されており、物体表面におけるハイライト領域は、物体表面に照明が映り込んでいることを示している。図４（ａ）はある時刻Ａにおける表示結果を示し、図４（ｂ）は時刻Ａとは異なる時刻Ｂにおける表示結果を示している。表示画像４０２及び表示画像４０５は、Ｓ３０３において質感情報を有すると判定された対象データに対応する表示結果であり、観察条件が異なる複数のフレームを含む動画像である。表示画像４０３及び表示画像４０４は、Ｓ３０３において質感情報を有しないと判定された対象データに対応する表示結果であり、２次元の静止画像である。表示画像４０２及び表示画像４０５について、図４（ａ）と図４（ｂ）とを比較すると、表示時刻に応じて物体表面のハイライト領域の位置が変化している。これは、観察条件（照明の方向）を変えてレンダリングした結果を表示時間に応じて表示しているためである。
図４を用いて表示制御部２０４における処理の詳細を説明する。図４はディスプレイ１１４上に表示されるＵＩの例を示す図である。ウィンドウ４０１は、画像を表示するための表示領域である。表示画像４０２、表示画像４０３、表示画像４０４、表示画像４０５は、Ｓ３０１において取得された４種類の対象データそれぞれに対して表示された画像である。図４の例においては、色や質感の異なる４種類の物体が表示されており、物体表面におけるハイライト領域は、物体表面に照明が映り込んでいることを示している。図４（ａ）はある時刻Ａにおける表示結果を示し、図４（ｂ）は時刻Ａとは異なる時刻Ｂにおける表示結果を示している。表示画像４０２及び表示画像４０５は、Ｓ３０３において質感情報を有すると判定された対象データに対応する表示結果であり、観察条件が異なる複数のフレームを含む動画像である。表示画像４０３及び表示画像４０４は、Ｓ３０３において質感情報を有しないと判定された対象データに対応する表示結果であり、２次元の静止画像である。表示画像４０２及び表示画像４０５について、図４（ａ）と図４（ｂ）とを比較すると、表示時刻に応じて物体表面のハイライト領域の位置が変化している。これは、観察条件（照明の方向）を変えてレンダリングした結果を表示時間に応じて表示しているためである。
尚、表示制御部２０４は、表示される動画像同士について、再生開始フレームとフレームレートとを同期させ、同一の観察条件で表示する。これにより、異なる物体間で、複数の観察条件における色や質感を比較することができる。ボタン４０６は、動画と静止画とを切り替えるためのボタンである。表示制御部２０４は、ボタン４０６の押下を受け付けると、表示される動画像の再生と停止とを切り替える。
＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、対象データを取得し、対象データが物体の質感情報を有するか否かを判定する。判定結果に基づいて、対象データに対応する画像を表示する。対象データが物体の質感情報を有する場合、対象データに対応する、観察条件が異なる複数の画像を含む動画像を表示する。これにより、観察条件を変えるためにユーザが情報を入力することなく、複数の観察条件における物体の質感を提示することができる。
以上説明したように、本実施形態における画像処理装置は、対象データを取得し、対象データが物体の質感情報を有するか否かを判定する。判定結果に基づいて、対象データに対応する画像を表示する。対象データが物体の質感情報を有する場合、対象データに対応する、観察条件が異なる複数の画像を含む動画像を表示する。これにより、観察条件を変えるためにユーザが情報を入力することなく、複数の観察条件における物体の質感を提示することができる。
＜変形例＞
本実施形態においては、観察条件として照明の方向を変化させたが、照明と物体との距離や物体の向き、観察方向、観察距離など、ＣＧレンダリングにおいて変更可能なパラメータであれば、これらのいずれの条件を変更しても良い。また、複数の条件を複合的に変更しても良い。
本実施形態においては、観察条件として照明の方向を変化させたが、照明と物体との距離や物体の向き、観察方向、観察距離など、ＣＧレンダリングにおいて変更可能なパラメータであれば、これらのいずれの条件を変更しても良い。また、複数の条件を複合的に変更しても良い。
［第２実施形態］
第１実施形態においては、質感情報を有するデータに対して、観察条件が異なる複数のフレームを含む動画像を生成し、自動的に再生した。本実施形態においては、質感情報を有するデータに対して、観察条件を設定し、設定した観察条件に基づいて動画を再生する。尚、本実施形態における画像処理装置のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
第１実施形態においては、質感情報を有するデータに対して、観察条件が異なる複数のフレームを含む動画像を生成し、自動的に再生した。本実施形態においては、質感情報を有するデータに対して、観察条件を設定し、設定した観察条件に基づいて動画を再生する。尚、本実施形態における画像処理装置のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。
＜画像処理装置の機能構成＞
図５は、画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、取得部２０１と、観察条件設定部５０１と、判定部２０２と、生成部２０３と、表示制御部２０４と、を有する。観察条件設定部５０１は、観察条件の変え方を設定する。図６を用いて観察条件設定部５０１の処理の詳細を説明する。図６は観察条件を設定するために表示されるＵＩの例を示す図である。ウィンドウ６０１は、観察条件を設定するための設定領域である。領域６０２は照明方向を設定するための領域であり、領域６０３は物体の向きを設定するための領域である。領域６０４は観察方向を設定するための領域であり、領域６０５は観察距離を設定するための領域である。
図５は、画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、取得部２０１と、観察条件設定部５０１と、判定部２０２と、生成部２０３と、表示制御部２０４と、を有する。観察条件設定部５０１は、観察条件の変え方を設定する。図６を用いて観察条件設定部５０１の処理の詳細を説明する。図６は観察条件を設定するために表示されるＵＩの例を示す図である。ウィンドウ６０１は、観察条件を設定するための設定領域である。領域６０２は照明方向を設定するための領域であり、領域６０３は物体の向きを設定するための領域である。領域６０４は観察方向を設定するための領域であり、領域６０５は観察距離を設定するための領域である。
領域６０２において照明方向の変え方を設定する場合、ユーザは領域６０２における開始ボタンを押下し、マウスや指などを用いたドラッグ操作により光源６０６を任意方向に連続的に移動させた後に、領域６０２における停止ボタンを押下する。領域６０３において物体の向きの変え方を設定する場合、ユーザは領域６０３における開始ボタンを押下し、マウスや指などを用いたドラッグ操作により物体の座標軸６０７を任意方向に連続的に回転させた後に、領域６０３における停止ボタンを押下する。領域６０４において観察方向の変え方を設定する場合、ユーザは領域６０４における開始ボタンを押下し、マウスや指などを用いたドラッグ操作により観察位置を示すカメラ６０８を任意方向に連続的に移動させた後に、領域６０４における停止ボタンを押下する。領域６０５において観察距離の変え方を設定する場合、ユーザは領域６０５における開始ボタンを押下し、マウスや指などを用いたドラッグ操作により観察距離を示すスライダー６０９の位置を任意に変更した後に、領域６０５における停止ボタンを押下する。
観察条件設定部５０１は、開始ボタン及び停止ボタンの押下に応じて、その間にユーザにより指示された観察条件の変化を時間軸に沿って保存する。ウィンドウ６０１における設定完了ボタンが押下されると、観察条件設定部５０１は、観察条件の設定を完了する。尚、設定される観察条件は１つであっても複数であっても良い。また、変更を加えなかった項目は初期値がそのまま適用される。
＜画像処理装置が実行する処理の流れ＞
以下、図７を参照して画像処理装置１が実行する処理の詳細を説明する。図７のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。尚、Ｓ３０１～Ｓ３０４、Ｓ３０６、Ｓ３０７の処理は第１実施形態と同等の処理であるため説明を省略する。
以下、図７を参照して画像処理装置１が実行する処理の詳細を説明する。図７のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。尚、Ｓ３０１～Ｓ３０４、Ｓ３０６、Ｓ３０７の処理は第１実施形態と同等の処理であるため説明を省略する。
Ｓ７０１において、観察条件設定部５０１は、対象データに対して、観察条件の変え方を設定する。本実施形態における観察条件設定部５０１は、複数の対象データに対して同一の観察条件の変え方を設定する。Ｓ７０２において、生成部２０３は、設定された観察条件の変え方に基づいて、観察条件が異なる複数のフレームを含む動画像データを生成する。
＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、動画を再生する際の観察条件の変え方を設定し、設定した観察条件の変え方に基づいて動画像データを生成する。これにより、異なる物体間で、ユーザの望んだ順に、複数の観察条件における色や質感を比較することができる。
以上説明したように、本実施形態における画像処理装置は、動画を再生する際の観察条件の変え方を設定し、設定した観察条件の変え方に基づいて動画像データを生成する。これにより、異なる物体間で、ユーザの望んだ順に、複数の観察条件における色や質感を比較することができる。
＜変形例＞
本実施形態においては、複数の対象データに対して同一の観察条件の変え方を設定したが、各対象データに対して別々に観察条件の変え方を設定しても良い。また、１つの対象データに対して、複数の観察条件の変え方を設定しても良い。これにより、１つの物体に対して複数の観察条件における色や質感を同時に確認し、比較することができる。
本実施形態においては、複数の対象データに対して同一の観察条件の変え方を設定したが、各対象データに対して別々に観察条件の変え方を設定しても良い。また、１つの対象データに対して、複数の観察条件の変え方を設定しても良い。これにより、１つの物体に対して複数の観察条件における色や質感を同時に確認し、比較することができる。
また、本実施形態においては、対象データを取得した後に観察条件を設定したが、処理の順番は上記の一例に限られない。例えば、観察条件の設定を先に行ってから、対象データを取得しても良い。また、対象データの取得と観察条件の設定とを並行して行っても良い。また、質感フラグの更新後に、観察条件の設定を行っても良い。
［その他の実施形態］
上述した実施形態においては、質感情報を有する対象データに対して動画像データを生成し表示したが、動画像データではなく、ＧＩＦアニメーションなどの連続静止画像データを生成し表示しても良い。この場合、連続静止画像データに含まれる複数の静止画像は、それぞれが異なる観察条件に対応している。
上述した実施形態においては、質感情報を有する対象データに対して動画像データを生成し表示したが、動画像データではなく、ＧＩＦアニメーションなどの連続静止画像データを生成し表示しても良い。この場合、連続静止画像データに含まれる複数の静止画像は、それぞれが異なる観察条件に対応している。
また、上述した実施形態における質感情報を有するデータは、ｗａｖｅｆｒｏｎｔ ＯＢＪ形式で記述されていたが、Ａｕｔｏｄｅｓｋ ＦＢＸ形式など、他の形式のデータであっても良い。
また、上述した実施形態においては、生成部２０３が判定部２０２による判定結果に基づいて動画像データを生成したが、予めＣＧレンダリングされた連続静止画像や、観察条件を異ならせながら物体を撮像して得られた動画や連続静止画像を用いても良い。この場合、Ｓ３０１において、取得部２０１は、予めＣＧレンダリング又は撮像により得られた対象データに併せて質感フラグＯＮの情報を取得する。静止画像には、併せて質感フラグＯＦＦの情報を取得する。これにより、判定部２０２及び生成部２０３における処理を行わずに、表示制御部２０４による表示を行うことができる。
また、上述した実施形態は、ＨＴＭＬファイルに自動記述するプログラムとして提供することが可能である。質感情報を有するデータについてはＸ３Ｄ形式のファイルを生成することによりＨＴＭＬファイルから参照することができる。ＨＴＭＬファイルを生成することにより、インターネットに公開してブラウザ上で表示することが可能となる。
本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１ 画像処理装置
２０１ 取得部
２０２ 判定部
２０４ 表示制御部
２０１ 取得部
２０２ 判定部
２０４ 表示制御部
Claims (10)
- 対象データを取得する取得手段と、
前記対象データが物体の質感情報を有するか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記対象データに対応する画像を表示手段に表示する表示制御手段と、を有し、
前記表示制御手段は、前記対象データが物体の質感情報を有する場合、前記対象データに対応する、観察条件が異なる複数の画像を含む動画像又は連続静止画像を前記表示手段に表示することを特徴とする画像処理装置。 - 前記観察条件は、照明の方向、物体の向き、観察方向、観察距離、物体と照明との距離のうち少なくとも１つであることを特徴とする請求項１に記載の画像処理装置。
- 前記表示制御手段は、前記対象データが物体の質感情報を有しない場合、前記対象データに対応する静止画像を前記表示手段に表示することを特徴とする請求項１又は請求項２に記載の画像処理装置。
- 前記判定手段による判定結果に基づいて、動画像データ又は静止画像データを生成する生成手段をさらに有し、
前記表示制御手段は、前記生成手段により生成された動画像データ又は静止画像データが表す画像を前記表示手段に表示することを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。 - 前記対象データに対応する動画像を表示する際の観察条件の変え方を設定する設定手段をさらに有し、
前記表示制御手段は、前記設定された観察条件の変え方に基づいて、前記対象データに対応する動画像を前記表示手段に表示することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。 - 前記設定手段は、ユーザの指示に基づいて、時間軸に沿った観察条件の変え方を設定することを特徴とする請求項５に記載の画像処理装置。
- 前記表示制御手段は、前記対象データに対応する複数の動画像を前記表示手段に表示する場合、前記複数の動画像の間で再生開始フレームとフレームレートとを同期させることを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
- 物体の質感情報を有する第１データと、物体の質感情報を有しない第２データと、を取得する取得手段と、
前記第１データに対応する、観察条件が異なる複数のフレームを含む動画像と、前記第２データに対応する静止画像と、を表示手段に表示する表示制御手段と、
を有することを特徴とする画像処理装置。 - コンピュータを請求項１乃至請求項８いずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 対象データを取得する取得ステップと、
前記対象データが物体の質感情報を有するか否かを判定する判定ステップと、
前記判定ステップにおける判定結果に基づいて、前記対象データに対応する画像を表示手段に表示する表示制御ステップと、を有し、
前記表示制御ステップにおいて、前記対象データが物体の質感情報を有する場合、前記対象データに対応する、観察条件が異なる複数の画像を含む動画像又は連続静止画像を前記表示手段に表示することを特徴とする画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020161332A JP2022054254A (ja) | 2020-09-25 | 2020-09-25 | 画像処理装置、画像処理方法及びプログラム |
| US17/481,028 US11842505B2 (en) | 2020-09-25 | 2021-09-21 | Apparatus, method, and storage medium |
| CN202111112873.8A CN114257735A (zh) | 2020-09-25 | 2021-09-23 | 图像处理装置、图像处理方法和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020161332A JP2022054254A (ja) | 2020-09-25 | 2020-09-25 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022054254A true JP2022054254A (ja) | 2022-04-06 |
Family
ID=80790171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020161332A Pending JP2022054254A (ja) | 2020-09-25 | 2020-09-25 | 画像処理装置、画像処理方法及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11842505B2 (ja) |
| JP (1) | JP2022054254A (ja) |
| CN (1) | CN114257735A (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022054254A (ja) * | 2020-09-25 | 2022-04-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005122719A (ja) | 2003-09-24 | 2005-05-12 | Fuji Photo Film Co Ltd | コンピュータグラフィックスシステム、コンピュータグラフィックス再現方法およびプログラム |
| US20050168465A1 (en) * | 2003-09-24 | 2005-08-04 | Setsuji Tatsumi | Computer graphics system, computer graphics reproducing method, and computer graphics program |
| US8433124B2 (en) * | 2010-01-07 | 2013-04-30 | De La Rue North America Inc. | Systems and methods for detecting an optically variable material |
| US8890073B2 (en) * | 2011-03-28 | 2014-11-18 | Northrop Grumman Guidance And Electronics Company, Inc. | Systems and methods for detecting and/or identifying materials based on electromagnetic radiation |
| US10019962B2 (en) * | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| US10127722B2 (en) * | 2015-06-30 | 2018-11-13 | Matterport, Inc. | Mobile capture visualization incorporating three-dimensional and two-dimensional imagery |
| JP2016071733A (ja) * | 2014-09-30 | 2016-05-09 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| US9400916B1 (en) * | 2015-10-02 | 2016-07-26 | Silk Id Systems, Inc. | System and method for detecting an organic body for authentication |
| CN111212724B (zh) * | 2017-10-14 | 2022-06-17 | 惠普发展公司，有限责任合伙企业 | 处理3d对象模型 |
| WO2019089825A1 (en) * | 2017-11-02 | 2019-05-09 | AMP Robotics Corporation | Systems and methods for optical material characterization of waste materials using machine learning |
| CN108001494A (zh) * | 2018-01-05 | 2018-05-08 | 同方威视技术股份有限公司 | 行李车 |
| US20200027106A1 (en) * | 2018-07-23 | 2020-01-23 | Rok Mobile International Ltd. | Sweepstakes campaign system and uses thereof |
| US11067448B2 (en) * | 2018-10-05 | 2021-07-20 | Parsons Corporation | Spectral object detection |
| US11403811B1 (en) * | 2019-02-28 | 2022-08-02 | Apple Inc. | Estimating optical parameters of surfaces |
| US11257272B2 (en) * | 2019-04-25 | 2022-02-22 | Lucid VR, Inc. | Generating synthetic image data for machine learning |
| WO2021066882A1 (en) * | 2019-10-03 | 2021-04-08 | Google Llc | Neural light transport |
| CN112785682A (zh) * | 2019-11-08 | 2021-05-11 | 华为技术有限公司 | 模型的生成方法、模型的重建方法及装置 |
| DE102020111163A1 (de) * | 2020-04-23 | 2021-10-28 | CREATE 3D GmbH | Digitaler Stil- und Ausstattungsgenerator |
| JP2022054254A (ja) * | 2020-09-25 | 2022-04-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2020
- 2020-09-25 JP JP2020161332A patent/JP2022054254A/ja active Pending
-
2021
- 2021-09-21 US US17/481,028 patent/US11842505B2/en active Active
- 2021-09-23 CN CN202111112873.8A patent/CN114257735A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN114257735A (zh) | 2022-03-29 |
| US11842505B2 (en) | 2023-12-12 |
| US20220101545A1 (en) | 2022-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8286102B1 (en) | System and method for image processing using multi-touch gestures | |
| JP4879326B2 (ja) | ３次元画像を合成するシステム及び方法 | |
| WO2021135320A1 (zh) | 一种视频的生成方法、装置及计算机系统 | |
| JP7353782B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN106447756B (zh) | 用于生成用户定制的计算机生成动画的方法和系统 | |
| CN113660528A (zh) | 一种视频合成方法、装置、电子设备和存储介质 | |
| CN111787240B (zh) | 视频生成方法、装置和计算机可读存储介质 | |
| JP7467780B2 (ja) | 画像処理方法、装置、デバイス及び媒体 | |
| KR20160016812A (ko) | 조밀한 모션 필드들을 통한 기저 비디오 시퀀스로의 이미지 편집들 전파 | |
| JP2022054254A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2017111719A (ja) | 映像処理装置、映像処理方法、及び映像処理プログラム | |
| JP6494358B2 (ja) | 再生制御装置、再生制御方法 | |
| CN111158840B (zh) | 图像轮播方法及装置 | |
| JP5473096B2 (ja) | イメージベースドビジュアルハルにおける凹状表面のモデリング | |
| KR102448551B1 (ko) | 노드 기반 그래프에 의해 구성되는 알고리즘을 이용한 영상 처리 방법 및 장치 | |
| JP2020527814A (ja) | 実物体の相互作用的な３ｄ表現を作成および表示するためのシステムおよび方法 | |
| JP6182930B2 (ja) | 奥行き制作支援装置、奥行き制作方法、及びプログラム | |
| CN114913277A (zh) | 一种物体立体交互展示方法、装置、设备及介质 | |
| JP5994320B2 (ja) | 奥行き制作支援装置、奥行き制作支援方法、及びプログラム | |
| JP2013085133A (ja) | 奥行き製作支援装置、奥行き製作支援方法、およびプログラム | |
| JP5817300B2 (ja) | 奥行き製作支援装置、奥行き製作支援方法、およびプログラム | |
| JP5966837B2 (ja) | 奥行き制作支援装置、奥行き制作支援方法、およびプログラム | |
| US20240119668A1 (en) | Image processing apparatus, method for controlling the same, and storage medium | |
| JP5460277B2 (ja) | モノクロ動画の着色装置及びモノクロ動画の着色方法 | |
| JP2005084088A (ja) | 画像比較表示方法及びその装置並びに画像比較表示プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230922 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240416 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240612 |