JP2017134775A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2017134775A JP2017134775A JP2016016372A JP2016016372A JP2017134775A JP 2017134775 A JP2017134775 A JP 2017134775A JP 2016016372 A JP2016016372 A JP 2016016372A JP 2016016372 A JP2016016372 A JP 2016016372A JP 2017134775 A JP2017134775 A JP 2017134775A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- processing apparatus
- image processing
- specific
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 90
- 238000003672 processing method Methods 0.000 title 1
- 238000006243 chemical reaction Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 25
- 239000003550 marker Substances 0.000 claims description 15
- 230000005484 gravity Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 description 40
- 230000005540 biological transmission Effects 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 15
- 238000005259 measurement Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 画像処理装置100の送受信部101は、視点を示す視点情報を取得し、視点変換部103は、前記視点情報に基づく傾きを補正するための処理を行い、画像出力部104は、送受信部101が取得した視点情報とに基づいて特定視点画像を生成し出力する。
【選択図】 図1
Description
図1は、本実施形態に係る画像処理システムの構成を示すブロック図である。図1に示すように、画像処理システムは相互に通信可能な画像処理装置100及び撮像装置200を備える。なお、本実施形態では画像処理装置100と撮像装置200が別々のデバイスとして構成されている場合を中心に説明するが、画像処理装置100と撮像装置200が一体となって構成されていてもよい。
次に、画像処理装置100の処理フローについて説明する。図3は、画像処理装置100の動作を説明するためのフローチャートである。図3の処理は、画像処理装置100と撮像装置200との間で通信を行うための接続が確立されたタイミングで開始される。ただし、図3の処理の開始タイミングは上記タイミングに限定されない。図3の処理は、CPU301がROM302に格納されたプログラムをRAM303に展開して実行することで実現される。
式(1)では、視点情報の基準となる座標系における基準方向420を表す単位ベクトルAが、回転行列Rを掛けることで、視点情報から特定される視点(仮想カメラ)を基準とする座標系におけるベクトルに変換される。視点情報の基準となる座標系は、例えば2次元マーカー220を基準とする座標系230である。式(1)において、sはスケールファクタである。式(2)では、式(1)によって求まるAxとAyから、角度αが計算される。
以上のように、視点変換部103は、送受信部101が取得した視点情報に対して、回転行列R’によって表される、視線を軸とする回転角に関する変換を行う。この変換により、視点情報に基づく画像410の傾きが補正される。その結果、行列P’によって表される変換後の視点情報に基づく特定視点画像において、基準方向420と目標方向430とが一致する。
上記において、画像処理装置100が出力画像内における基準方向を目標方向に一致させる場合の例を説明したが、画像処理装置100は出力画像において基準方向と目標方向とが近づくような制御を行えばよい。例えば、視点変換部103は送受信部101が取得した視点情報から視線の方向を特定する。そして視点変換部103は、視線の方向と方向特定部102が特定した基準方向との関係に応じた程度で傾きを補正するための処理を行って特定視点画像を生成してもよい。このような制御により、出力画像内における基準方向と目標方向とを常に一致させる場合よりも、出力画像がユーザーにとってより見やすい画像となる場合がある。
変換後の視点情報を表す行列P’は、式(6)で計算された回転行列R’を式(4)に適用することによって計算される。なお、視点情報の変換の程度を調整するための係数kは式(5)で定められるものに限らない。例えば式(7)に示すように、基準方向と視線の方向とがなす角の大きさに比例するように係数kが定められても良い。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC等)によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
101 送受信部
102 方向特定部
103 視点変換部
104 画像出力部
Claims (13)
- 視点を示す視点情報を取得する取得手段と、
前記取得手段が取得した視点情報に基づいて特定視点画像を生成する生成手段であって、前記視点情報に基づく傾きを補正するための処理を行って前記特定視点画像を生成する生成手段と、
前記生成手段が生成した前記特定視点画像を出力する出力手段とを有することを特徴とする画像処理装置。 - 前記生成手段による前記傾きを補正するための処理は、前記特定視点画像の目標方向に前記特定視点画像の画像内における基準方向を近づける処理であることを特徴とする請求項1に記載の画像処理装置。
- 前記目標方向は前記特定視点画像の下方向であり、前記基準方向は前記特定視点画像の画像内における重力方向であることを特徴とする請求項2に記載の画像処理装置。
- 前記第1取得手段が取得した視点情報から視線の方向を特定する特定手段を有し、
前記生成手段は、前記基準方向と前記特定手段が特定した視線の方向との関係に応じた程度で前記傾きを補正するための処理を行って前記特定視点画像を生成することを特徴とする請求項2又は3に記載の画像処理装置。 - 前記特定手段は、前記第1取得手段が取得した視点情報から視線を軸とする回転角を特定し、
前記生成手段は、前記基準方向に対応するベクトルと前記特定手段が特定した視線の方向に対応するベクトルとが成す角の大きさが所定の範囲内である場合に、前記角の大きさが前記所定の範囲外である場合よりも、前記回転角に基づく前記傾きをより大きく補正するための処理を行って前記特定視点画像を生成することを特徴とする請求項4に記載の画像処理装置。 - 前記生成手段は、前記第1取得手段が取得した視点情報に含まれる前記傾きに関する情報を補正する変換処理を行い、当該変換処理が行われた視点情報に基づいて前記特定視点画像を生成することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
- 前記生成手段は、前記第1取得手段が取得した視点情報に基づく第1の特定視点画像を生成し、前記第1の特定視点画像を回転させる処理を行って前記傾きが前記第1の特定視点画像よりも補正された第2の特定視点画像を生成し、
前記出力手段は、前記生成手段が生成した前記第2の特定視点画像を出力することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。 - 前記第1取得手段は、視点の位置、視線の方向、及び視線を軸とする回転角を示す前記視点情報として、視点を指定するためにユーザーにより操作される機器の位置情報及び姿勢情報を取得することを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
- 前記第1取得手段は、マーカーが撮像された撮像画像に基づいて前記視点情報を取得し、
前記視点情報に基づく前記傾きは、前記撮像画像内におけるマーカーの傾きに基づいて定まることを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。 - 複数の方向から撮像された複数の撮像画像を取得する第2取得手段を有し、
前記生成手段は、前記取得手段が取得した視点情報と前記第2取得手段が取得した撮像画像とに基づいて前記特定視点画像を生成することを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。 - 視点を示す視点情報を取得する第1取得工程と、
前記第1取得工程において取得された視点情報に基づいて特定視点画像を生成する生成工程であって、前記視点情報に基づく傾きを補正するための処理を行って前記特定視点画像を生成する生成工程と、
前記生成工程において生成された特定視点画像を出力する出力工程とを有することを特徴とする画像処理方法。 - 前記生成工程における前記傾きを補正するための処理は、前記特定視点画像の目標方向に前記特定視点画像の画像内における基準方向を近づける処理であることを特徴とする請求項11に記載の画像処理方法。
- コンピュータを、請求項1乃至10の何れか1項に記載の画像処理装置として動作させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016016372A JP2017134775A (ja) | 2016-01-29 | 2016-01-29 | 画像処理装置、画像処理方法及びプログラム |
US15/414,340 US10218920B2 (en) | 2016-01-29 | 2017-01-24 | Image processing apparatus and control method for generating an image by viewpoint information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016016372A JP2017134775A (ja) | 2016-01-29 | 2016-01-29 | 画像処理装置、画像処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020123244A Division JP7030906B2 (ja) | 2020-07-17 | 2020-07-17 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017134775A true JP2017134775A (ja) | 2017-08-03 |
JP2017134775A5 JP2017134775A5 (ja) | 2019-03-07 |
Family
ID=59385838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016016372A Pending JP2017134775A (ja) | 2016-01-29 | 2016-01-29 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10218920B2 (ja) |
JP (1) | JP2017134775A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4054186A1 (en) | 2021-02-26 | 2022-09-07 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019125303A (ja) * | 2018-01-19 | 2019-07-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN110766807B (zh) * | 2019-09-25 | 2023-02-03 | 稿定(厦门)科技有限公司 | 3d图形旋转方法、介质、设备及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003204547A (ja) * | 2001-10-15 | 2003-07-18 | Matsushita Electric Ind Co Ltd | 車両周囲監視装置およびその調整方法 |
JP2013017165A (ja) * | 2011-06-10 | 2013-01-24 | Panasonic Corp | 撮像装置 |
JP2013061870A (ja) * | 2011-09-14 | 2013-04-04 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び電子機器 |
JP2013214252A (ja) * | 2012-04-04 | 2013-10-17 | Nintendo Co Ltd | 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置 |
WO2015087730A1 (ja) * | 2013-12-10 | 2015-06-18 | 株式会社日立国際電気 | 監視システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006025137A1 (ja) * | 2004-09-01 | 2006-03-09 | Sony Computer Entertainment Inc. | 画像処理装置、ゲーム装置および画像処理方法 |
JP5756322B2 (ja) * | 2011-04-08 | 2015-07-29 | 任天堂株式会社 | 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム |
JP5559765B2 (ja) * | 2011-12-14 | 2014-07-23 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、及びプログラム |
US9286725B2 (en) * | 2013-11-14 | 2016-03-15 | Nintendo Co., Ltd. | Visually convincing depiction of object interactions in augmented reality images |
JP6674192B2 (ja) * | 2014-05-28 | 2020-04-01 | ソニー株式会社 | 画像処理装置と画像処理方法 |
US9754416B2 (en) * | 2014-12-23 | 2017-09-05 | Intel Corporation | Systems and methods for contextually augmented video creation and sharing |
-
2016
- 2016-01-29 JP JP2016016372A patent/JP2017134775A/ja active Pending
-
2017
- 2017-01-24 US US15/414,340 patent/US10218920B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003204547A (ja) * | 2001-10-15 | 2003-07-18 | Matsushita Electric Ind Co Ltd | 車両周囲監視装置およびその調整方法 |
JP2013017165A (ja) * | 2011-06-10 | 2013-01-24 | Panasonic Corp | 撮像装置 |
JP2013061870A (ja) * | 2011-09-14 | 2013-04-04 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び電子機器 |
JP2013214252A (ja) * | 2012-04-04 | 2013-10-17 | Nintendo Co Ltd | 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置 |
WO2015087730A1 (ja) * | 2013-12-10 | 2015-06-18 | 株式会社日立国際電気 | 監視システム |
Non-Patent Citations (2)
Title |
---|
大川原 友樹、外3名: ""ユーザの仮想カメラ操作を考慮した位置姿勢補正による自由視点映像の生成"", 電子情報通信学会技術研究報告, vol. 113, no. 470, JPN6019049814, 27 February 2014 (2014-02-27), JP, pages 261 - 266, ISSN: 0004179005 * |
谷藤 誠、菅谷 保之: ""複合現実感システムのためのテクスチャの局所特徴を用いたマーカー識別と方向推定"", 画像の認識・理解シンポジウム(MIRU2011)論文集, vol. 2011, JPN6019049812, 20 July 2011 (2011-07-20), JP, pages 1161 - 1168, ISSN: 0004179004 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4054186A1 (en) | 2021-02-26 | 2022-09-07 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
US11847735B2 (en) | 2021-02-26 | 2023-12-19 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
US20170223281A1 (en) | 2017-08-03 |
US10218920B2 (en) | 2019-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11914147B2 (en) | Image generation apparatus and image generation method using frequency lower than display frame rate | |
US11151790B2 (en) | Method and device for adjusting virtual reality image | |
KR102046032B1 (ko) | 화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체 | |
JP3805231B2 (ja) | 画像表示装置及びその方法並びに記憶媒体 | |
JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
US10901213B2 (en) | Image display apparatus and image display method | |
JPWO2021076757A5 (ja) | ||
JP2016225865A (ja) | 俯瞰画像生成装置 | |
JP2017134775A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020129823A (ja) | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム | |
WO2015141214A1 (ja) | 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法 | |
JP2017166993A (ja) | 演算装置、制御装置およびプログラム | |
JP7030906B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN114201028B (zh) | 扩增实境系统与其锚定显示虚拟对象的方法 | |
JP2015201734A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
US20180278902A1 (en) | Projection device, content determination device and projection method | |
JP2021131490A (ja) | 情報処理装置、情報処理方法、プログラム | |
TW202040506A (zh) | 虛擬實境視角補償方法、非暫時性電腦可讀取媒體及虛擬實境裝置 | |
JP7465133B2 (ja) | 情報処理装置、情報処理方法 | |
US11954269B2 (en) | Information processing apparatus, information processing method, and program for generating location data | |
WO2021075113A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN108090933B (zh) | 二维平面标定方法和装置 | |
CN113168191A (zh) | 云台控制方法、手持云台及计算机可读存储介质 | |
JP2007088660A (ja) | 画像表示装置および画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200221 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200421 |