JP2016081425A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2016081425A JP2016081425A JP2014214542A JP2014214542A JP2016081425A JP 2016081425 A JP2016081425 A JP 2016081425A JP 2014214542 A JP2014214542 A JP 2014214542A JP 2014214542 A JP2014214542 A JP 2014214542A JP 2016081425 A JP2016081425 A JP 2016081425A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fisheye
- coordinate system
- center point
- fisheye image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000006243 chemical reaction Methods 0.000 claims abstract description 47
- 230000006837 decompression Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Abstract
Description
特許文献1の撮像装置は、2個の魚眼レンズを用いて撮影された2つの魚眼画像を、横軸360度、縦軸180度の球面座標系フォーマットに変換し、球面座標系フォーマット上で表示領域を切り出している。
図6(a)は、全球面カメラで撮影された画像をスマートフォンなどの端末に表示した状態を示す図である。そのために、2個の魚眼レンズによって撮影された2個の魚眼画像を、メルカトル図法のような地球儀を地図へ投影する一般的な投影法を用いて、球面座標系フォーマットへ変換し、図6(b)に示すような球面座標画像601を生成する。
特許文献1の技術のように、メルカトル図法を用いて球面座標系フォーマットを生成してから表示領域の切り出しを行うと、高緯度ほど大きい領域を切り出す必要があり、処理するデータ量が大きくなってしまうという問題がある。更に、動画撮影や静止画ライブビューを考慮すると、毎フレームにおいて、表示領域外も含めて全面を座標変換すると、処理時間が増大してフレームレートに間に合わなくなったり、カメラ本体内部で発生する熱が既定値を超えたりすることが予測される。
また、本発明の画像処理装置は、魚眼画像を取得する取得手段と、前記取得手段により取得された魚眼画像を、前記魚眼画像の中心点を回転軸として回転させてから、回転させた魚眼画像の一部の領域を球面座標系に変換する変換手段と、を有し、前記変換手段は、前記回転させた魚眼画像の中心点を通る水平線を含む領域を、前記球面座標系に変換することを特徴とする。
図1は、撮像装置100の構成を示す図である。
撮像装置100は、魚眼レンズ101、102、撮像素子103、A/D変換回路104、信号処理回路105、バス106、DRAM107、メモリコントローラ108、圧縮伸長回路109、メモリカード110、メモリカードI/F111を有する。また、撮像装置100は、変換回路112、CPU113、入力部114、表示部115、表示出力制御回路116、不揮発性メモリ117等を有する。
撮像素子103は、光学像を電気信号に変換するCCDやCMOS素子等である。
A/D変換回路104は、撮像素子103から出力されるアナログ画像信号をデジタル画像信号に変換する。
信号処理回路105は、デジタル画像信号に補間処理や色変換処理、特定のサイズへ変倍する変倍処理等の画像処理を施す。
バス106は、各モジュールを接続する。
メモリコントローラ108は、DRAM107にアクセスする各モジュールのバスアービトレーションを行う。
圧縮伸長回路109は、DRAM107を一時バッファとして用い、JPEG圧縮方式やMPEG圧縮方式等で魚眼画像を圧縮伸長する。
メモリカードI/F111は、SDカードやCFカード等のメモリカード110のインターフェースである。
CPU113は、各回路を制御する。
入力部114は、ユーザが撮影や再生の開始および停止を操作したり、表示領域の移動や拡大縮小を指示することによってCPU113が表示領域の位置情報として表示領域の中心座標およびサイズ情報を取得したりする。入力部114には、タッチパネルを用いることができる。
表示出力制御回路116は、表示画像を表示部115へ出力する。
不揮発性メモリ117は、CPU113に実行させるためのプログラムを格納する。
入力部114から動画撮影の開始の指示が入力されると、撮像装置100により以下の処理を開始し、動画撮影の停止の指示が入力されるまで繰り返す。
図2(a)に示すように、魚眼レンズ101および魚眼レンズ102から入射する被写体の光信号は撮像素子103に結像される。
図2(b)に示すように、180度以上の画角を有する、魚眼画像201および魚眼画像202が隣り合うように結像される。
メモリカード110に圧縮された動画データは、読み出されてDRAM107を介して圧縮伸長回路109において伸長される。伸長された画像データ203は、変換回路112に入力される。変換回路112に入力された画像データ203から表示画像が生成され、表示出力制御回路116によって表示部115に表示される。
以下、図3を参照して具体的に説明する。
図3(a)は、魚眼レンズ101および102によって得られた魚眼画像201および202に経線と緯線とを付加した図であり、それぞれ魚眼画像300および301とする。ここで、魚眼画像300の一部である表示領域303を拡大表示する場合を考える。また、表示領域303は、魚眼画像300上で、水平線と、魚眼画像300の中心点から表示領域303の中心座標へ引いた線とのなす角θに位置する。
また、魚眼画像305に表示領域がある場合も同様に、魚眼画像202の中心点を回転軸とし、表示領域を角度(−θ)だけ回転させる。魚眼画像305において角度(−θ)となる理由は、魚眼画像201および魚眼画像202を撮影した魚眼レンズ101および魚眼レンズ102が180度の背中合わせになっており、空間的にそれぞれ対称となっているためである。
なお、回転処理の方法としては公知の技術を用いることができる。例えば、図3(c)に示すように、表示領域303をブロック分割し、ブロックごとに角度θだけ回転処理することで、回転後の表示領域306とすることができる。
図3(a)に示すように、表示部115に表示されるデフォルトの表示領域302の中心を魚眼画像300の中心とし、経度αおよび緯度βとした時の座標(α、β)は(0、0)であるとする。ここで、表示部115に表示された画像をスライドさせて表示位置を移動させた結果、表示領域303へ移動し、表示領域303の中心座標を(α、β)とする。
θ=tan-1(sinβ/cosα)
図4(a)は、平面座標系フォーマットである魚眼画像300および301を、メルカトル図法に基づいて球面座標系フォーマットに変換した図であり、球面座標画像401とする。
この変換に用いられる演算式は、以下のように与えられる。
平面座標系における経度α、緯度βとしたときの座標(α、β)が、球面座標系における座標(x,y)に写されるものとする。ただし、−180度≦α≦180度、−90度≦β≦90度である。
x=α
y=log(tan(π/4+β/2))
球面座標画像401上の表示領域407は、表示領域303に相当する座標位置を図示している。
この逆変換に用いられる演算式は、以下のように与えられる。
球面座標系における座標(x,y)が、平面座標系における経度α、緯度βとしたときの座標(α、β)に写されるものとする。ただし、−180度≦α≦180度、−90度≦β≦90度である。
α=x
β=2tan-1expy−π/2
このとき、表示領域408の中心座標を魚眼画像の中心点とし、片側の魚眼画像に相当する範囲を逆座標変換領域403として示す。
なお、図3および図4では、表示領域が含まれない領域も図示したが、これは本実施形態の説明を容易にするために記載したものである。実際に処理する必要があるのは、表示領域のみで十分であることは言うまでもない。
ステップS501では、CPU113は入力部114から再生開始の指示があるか否かを判定し、再生開始の指示があった場合にはステップS502に進む。
ステップS503では、CPU113は入力部114から表示位置の移動を指示するスライド指示があるか否かを判定する。スライド指示があった場合にはステップS504に進み、CPU113はスライド量から移動量を取得する。このときの移動量は、経度αおよび緯度βの座標(α,β)で表されるものとする。
ステップS508では、CPU113は位置情報から表示領域を回転させる角度θを算出する。具体的には、図3(a)に示すように、水平線と、魚眼画像300の中心点から変更後の表示領域303の中心座標へ引いた線のなす角θを算出する。
ステップS510では、CPU113は変換回路112を介して、回転された平面座標系の表示領域306を球面座標系に座標変換し、表示領域408とする。
ステップS511において、CPU113は変換回路112を介して、球面座標系に変換された表示領域408の中心座標を、平面座標系における魚眼画像の中心点となるように逆座標変換し、表示領域406とする。
ステップS513において、CPU113は入力部114から再生終了の指示があるか否かを判定し、再生終了の指示があった場合には処理を終了し、再生終了の指示がない場合にはステップS403に戻る。
例えば、上述したステップS501における再生開始時の表示領域のデフォルト位置は、魚眼画像201または魚眼画像202全面であってもよく、魚眼画像201または202の中心部分を切り出した画角であってもよい。あるいは、デフォルト位置は図2(b)に示す画像データ203であってもよい。また、処理負荷を軽減するために表示領域のみを回転させる例を用いて説明を行ったが、魚眼画像全体を回転させてから表示領域のみを球面座標系に座標変換してもよい。回転処理の負荷は増加するが、高緯度の領域を切り出す必要がないため、球面座標系に変換する際のデータ量は削減することは可能である。
また、上述した実施形態では、画像処理装置を撮像装置100に適用した場合を例にして説明したが、この場合に限定されず、動画撮影、動画再生または静止画ライブビューが可能な機器であれば適用可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (10)
- 魚眼画像を取得する取得手段と、
前記取得手段により取得された魚眼画像の一部を切り出した画像を、回転させてから球面座標系に変換する変換手段と、を有し、
前記変換手段は、前記切り出した画像を、前記魚眼画像の中心点を回転軸として、前記魚眼画像の中心点を通る水平線に近づくように回転させることを特徴とする画像処理装置。 - 前記変換手段は、前記切り出した画像を、前記魚眼画像の中心点および前記切り出した画像の中心点を結んだ線と、水平線との角度だけ回転させることを特徴とする請求項1に記載の画像処理装置。
- 前記変換手段は、回転および変換された前記切り出した画像の中心点を魚眼画像の中心点とし、球面座標系から平面座標系へ逆変換することによって表示画像を生成することを特徴とする請求項1または2に記載の画像処理装置。
- 魚眼画像を取得する取得手段と、
前記取得手段により取得された魚眼画像を、前記魚眼画像の中心点を回転軸として回転させてから、回転させた魚眼画像の一部の領域を球面座標系に変換する変換手段と、を有し、
前記変換手段は、前記回転させた魚眼画像の中心点を通る水平線を含む領域を、前記球面座標系に変換することを特徴とする画像処理装置。 - 前記変換手段は、変換された前記一部の領域の画像の中心点を魚眼画像の中心点とし、球面座標系から平面座標系へ逆変換することによって表示画像を生成することを特徴とする請求項1または2に記載の画像処理装置。
- 圧縮された前記魚眼画像を伸長する伸長手段を更に有し、
前記取得手段が前記伸長手段によって伸長された前記魚眼画像を前記変換手段に出力することにより、前記変換手段が回転および変換することを特徴とする請求項1ないし5の何れか1項に記載の画像処理装置。 - 魚眼画像を取得する取得ステップと、
前記取得ステップにより取得された魚眼画像の一部を切り出した画像を、回転させてから球面座標系に変換する変換ステップと、を有し、
前記変換ステップでは、前記切り出した画像を、前記魚眼画像の中心点を回転軸として、前記魚眼画像の中心点を通る水平線に近づくように回転させることを特徴とする画像処理方法。 - 魚眼画像を取得する取得ステップと、
前記取得ステップにより取得された魚眼画像を、前記魚眼画像の中心点を回転軸として回転させてから、回転させた魚眼画像の一部の領域を球面座標系に変換する変換ステップと、を有し、
前記変換ステップでは、前記回転させた魚眼画像の中心点を通る水平線を含む領域を、前記球面座標系に変換することを特徴とする画像処理方法。 - 魚眼画像を取得する取得ステップと、
前記取得ステップにより取得された魚眼画像の一部を切り出した画像を、回転させてから球面座標系に変換する変換ステップと、をコンピュータに実行させ、
前記変換ステップでは、前記切り出した画像を、前記魚眼画像の中心点を回転軸として、前記魚眼画像の中心点を通る水平線に近づくように回転させることを特徴とするプログラム。 - 魚眼画像を取得する取得ステップと、
前記取得ステップにより取得された魚眼画像を、前記魚眼画像の中心点を回転軸として回転させてから、回転させた魚眼画像の一部の領域を球面座標系に変換する変換ステップと、をコンピュータに実行させ、
前記変換ステップでは、前記回転させた魚眼画像の中心点を通る水平線を含む領域を、前記球面座標系に変換することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014214542A JP6541327B2 (ja) | 2014-10-21 | 2014-10-21 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014214542A JP6541327B2 (ja) | 2014-10-21 | 2014-10-21 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016081425A true JP2016081425A (ja) | 2016-05-16 |
JP6541327B2 JP6541327B2 (ja) | 2019-07-10 |
Family
ID=55956325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014214542A Expired - Fee Related JP6541327B2 (ja) | 2014-10-21 | 2014-10-21 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6541327B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600548A (zh) * | 2016-10-20 | 2017-04-26 | 广州视源电子科技股份有限公司 | 鱼眼摄像头图像处理方法和系统 |
CN109104562A (zh) * | 2017-06-21 | 2018-12-28 | 佳能株式会社 | 信息处理设备、信息处理方法和记录介质 |
US10535147B2 (en) | 2016-11-18 | 2020-01-14 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for processing image thereof |
JP2021089326A (ja) * | 2019-12-02 | 2021-06-10 | 株式会社ニコン | 光学装置、全天球カメラ及び全天球カメラの製造方法 |
CN114693691A (zh) * | 2022-03-23 | 2022-07-01 | 成都智元汇信息技术股份有限公司 | 一种双源双视角基于坐标映射的切图方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10999527B1 (en) | 2020-02-14 | 2021-05-04 | Gopro, Inc. | Generation of enhanced panoramic visual content |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007318597A (ja) * | 2006-05-29 | 2007-12-06 | Opt Kk | 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム |
WO2011114610A1 (ja) * | 2010-03-18 | 2011-09-22 | パナソニック株式会社 | 全方位画像処理装置および全方位画像処理方法 |
-
2014
- 2014-10-21 JP JP2014214542A patent/JP6541327B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007318597A (ja) * | 2006-05-29 | 2007-12-06 | Opt Kk | 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム |
WO2011114610A1 (ja) * | 2010-03-18 | 2011-09-22 | パナソニック株式会社 | 全方位画像処理装置および全方位画像処理方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600548A (zh) * | 2016-10-20 | 2017-04-26 | 广州视源电子科技股份有限公司 | 鱼眼摄像头图像处理方法和系统 |
CN106600548B (zh) * | 2016-10-20 | 2020-01-07 | 广州视源电子科技股份有限公司 | 鱼眼摄像头图像处理方法和系统 |
US10535147B2 (en) | 2016-11-18 | 2020-01-14 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for processing image thereof |
CN109104562A (zh) * | 2017-06-21 | 2018-12-28 | 佳能株式会社 | 信息处理设备、信息处理方法和记录介质 |
JP2021089326A (ja) * | 2019-12-02 | 2021-06-10 | 株式会社ニコン | 光学装置、全天球カメラ及び全天球カメラの製造方法 |
JP7408053B2 (ja) | 2019-12-02 | 2024-01-05 | 株式会社ニコン | 全天球カメラ |
CN114693691A (zh) * | 2022-03-23 | 2022-07-01 | 成都智元汇信息技术股份有限公司 | 一种双源双视角基于坐标映射的切图方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6541327B2 (ja) | 2019-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200296282A1 (en) | Imaging system, imaging apparatus, and system | |
JP6541327B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6673381B2 (ja) | 画像処理装置 | |
JP6927382B2 (ja) | 撮像システム、方法、プログラム、動画表示装置および画像処理装置。 | |
JP6044328B2 (ja) | 画像処理システム、画像処理方法およびプログラム | |
JP6337888B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5906028B2 (ja) | 画像処理装置、画像処理方法 | |
US8855441B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
US10437545B2 (en) | Apparatus, system, and method for controlling display, and recording medium | |
JP5743016B2 (ja) | 画像を生成する装置および方法 | |
US10362231B2 (en) | Head down warning system | |
JP6669959B2 (ja) | 画像処理装置、撮影装置、画像処理方法、画像処理プログラム | |
TW201447814A (zh) | 即時影像處理方法及其裝置 | |
US20230247292A1 (en) | Methods and apparatus for electronic image stabilization based on a lens polynomial | |
TWI615808B (zh) | 全景即時影像處理方法 | |
US20220230275A1 (en) | Imaging system, image processing apparatus, imaging device, and recording medium | |
JP2019080174A (ja) | 画像処理装置、撮像システム、通信システム、画像処理方法、およびプログラム | |
JP6394682B2 (ja) | 方法および画像処理装置 | |
KR101237975B1 (ko) | 영상 처리 장치 | |
JP2020080194A (ja) | 画像処理システム、画像処理方法およびプログラム | |
TWI576789B (zh) | 影像處理方法、非暫態電腦可讀取記錄媒體及電子裝置 | |
JP6705477B2 (ja) | 画像処理システム、画像処理方法およびプログラム | |
JP6828604B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR20190118076A (ko) | 카메라 시스템 및 그의 영상처리방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190611 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6541327 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |