JP2018006926A - 画像処理システム、画像処理方法及びプログラム - Google Patents
画像処理システム、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2018006926A JP2018006926A JP2016129368A JP2016129368A JP2018006926A JP 2018006926 A JP2018006926 A JP 2018006926A JP 2016129368 A JP2016129368 A JP 2016129368A JP 2016129368 A JP2016129368 A JP 2016129368A JP 2018006926 A JP2018006926 A JP 2018006926A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- correction table
- rotation angle
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 107
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012937 correction Methods 0.000 claims abstract description 108
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 31
- 230000001133 acceleration Effects 0.000 claims abstract description 30
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 24
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000005484 gravity Effects 0.000 abstract description 9
- 238000003860 storage Methods 0.000 description 27
- 101150013335 img1 gene Proteins 0.000 description 16
- 101150071665 img2 gene Proteins 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 7
- 230000010365 information processing Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000003705 background correction Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】手振れ等によって重力以外の加速度がかかる場合でも出力画像の傾きを少なくする。【解決手段】撮像装置1と、撮像装置に接続される画像処理装置2とを有する画像処理システム10が、画像を圧縮して圧縮画像を生成し、撮像装置の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも1つの傾きを検出し、光軸回りの回転角、垂直軸回りの回転角及び水平軸回りの回転角のうち、少なくとも1つの回転角を検出し、出力画像を出力するのに起点となるキーフレームで、出力画像を生成するのに用いられる変換テーブルを傾きに基づいて修正して修正テーブルを生成する。キーフレーム以外のフレームで、回転角に基づいて修正テーブルを更に修正して、第2修正テーブルを生成する。キーフレームでは、修正テーブルに基づいて、出力画像を生成し、かつ、キーフレーム以外のフレームでは、第2修正テーブルに基づいて、出力画像を生成する。【選択図】図1
Description
本発明は、画像処理システム、画像処理方法及びプログラムに関する。
従来、複数の画像を合わせて、広範囲を撮像する方法が知られている。
この方法では、例えば、動画表示装置が、まず、撮像装置で撮像した複数の画像データ、画像撮像時の傾きに関する情報及び撮像装置固有の付加情報を受け付け、傾きに関する情報及び付加情報に基づいて、各画像データの座標変換を行う。そして、動画表示装置は、座標変換された画像データから動画データを生成する。このようにして、基準方向に対して検出された撮像手段の傾きに応じて補正された動画データを生成する方法が知られている(例えば、特許文献1等)。
しかしながら、従来の方法では、傾きを示す傾き角に基づく補正、いわゆる天頂補正(以下単に「天頂補正」という。)が行われても、手振れ等が発生する場合がある。よって、手振れ等によって重力以外の加速度がかかるため、出力画像が傾いて出力される場合があることが課題となる。
本発明の1つの側面は、出力画像の傾きを少なくすることを目的とする。
一態様における、画像を撮像する撮像装置と、前記撮像装置に接続される1以上の画像処理装置とを有する画像処理システムは、
前記画像を圧縮して圧縮画像を生成する圧縮部と、
前記撮像装置の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも1つの傾きを検出する第1検出部と、
前記光軸回りの回転角、前記垂直軸回りの回転角及び前記水平軸回りの回転角のうち、少なくとも1つの回転角を検出する第2検出部と、
出力画像を出力するのに起点となるキーフレームで、前記画像を変換して前記出力画像を生成するのに用いられる変換テーブルを前記傾きに基づいて修正して修正テーブルを生成する修正テーブル生成部と、
前記キーフレーム以外のフレームで、前記回転角に基づいて前記修正テーブルを更に修正して、前記画像を変換して前記出力画像を生成するのに用いられる第2修正テーブルを生成する第2修正テーブル生成部と、
前記キーフレームであると、前記修正テーブルに基づいて、前記出力画像を生成し、かつ、前記キーフレーム以外のフレームであると、前記第2修正テーブルに基づいて、前記出力画像を生成する画像生成部と
を備える。
前記画像を圧縮して圧縮画像を生成する圧縮部と、
前記撮像装置の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも1つの傾きを検出する第1検出部と、
前記光軸回りの回転角、前記垂直軸回りの回転角及び前記水平軸回りの回転角のうち、少なくとも1つの回転角を検出する第2検出部と、
出力画像を出力するのに起点となるキーフレームで、前記画像を変換して前記出力画像を生成するのに用いられる変換テーブルを前記傾きに基づいて修正して修正テーブルを生成する修正テーブル生成部と、
前記キーフレーム以外のフレームで、前記回転角に基づいて前記修正テーブルを更に修正して、前記画像を変換して前記出力画像を生成するのに用いられる第2修正テーブルを生成する第2修正テーブル生成部と、
前記キーフレームであると、前記修正テーブルに基づいて、前記出力画像を生成し、かつ、前記キーフレーム以外のフレームであると、前記第2修正テーブルに基づいて、前記出力画像を生成する画像生成部と
を備える。
出力画像の傾きを少なくすることができる。
以下、本発明の実施の形態について説明する。
<第1実施形態>
図1は、本発明の一実施形態に係る画像処理システムの全体構成の一例を示す全体図である。例えば、画像処理システム10は、図示するように、撮像装置の例である全天球カメラ1と、全天球カメラ1に無線又は有線で接続される画像処理装置の例であるスマートフォン2とを有する。なお、全天球カメラ1及びスマートフォン2の詳細は、後述する。
図1は、本発明の一実施形態に係る画像処理システムの全体構成の一例を示す全体図である。例えば、画像処理システム10は、図示するように、撮像装置の例である全天球カメラ1と、全天球カメラ1に無線又は有線で接続される画像処理装置の例であるスマートフォン2とを有する。なお、全天球カメラ1及びスマートフォン2の詳細は、後述する。
ユーザは、画像処理システム10を用いる場合には、まず、全天球カメラ1によって、ユーザの周囲を撮像する。そして、全天球カメラ1によって撮像された画像は、スマートフォン2に送信される。続いて、送信された画像に対して画像処理が行われ、出力画像が表示される。
画像処理システム10が有する全天球カメラ1及びスマートフォン2は、例えば、以下のようなハードウェア構成の装置である。
<撮像装置のハードウェア構成例>
図2は、本発明の一実施形態に係る画像処理システムが有する撮像装置のハードウェア構成例を示すブロック図である。図示するように、全天球カメラ1は、第1撮像素子1H1、第2撮像素子1H2、画像処理回路1H3、主記憶装置1H4、補助記憶装置1H5、加速度センサ1H6及びジャイロセンサ1H7を有する。また、全天球カメラ1は、CPU(Central Processing Unit)1H8、外部ストレージ1H9、出力装置1H10、ネットワークI/F(interface)1H11、入出力I/F1H12、入力装置1H13及び動画圧縮回路1H14を有する。
図2は、本発明の一実施形態に係る画像処理システムが有する撮像装置のハードウェア構成例を示すブロック図である。図示するように、全天球カメラ1は、第1撮像素子1H1、第2撮像素子1H2、画像処理回路1H3、主記憶装置1H4、補助記憶装置1H5、加速度センサ1H6及びジャイロセンサ1H7を有する。また、全天球カメラ1は、CPU(Central Processing Unit)1H8、外部ストレージ1H9、出力装置1H10、ネットワークI/F(interface)1H11、入出力I/F1H12、入力装置1H13及び動画圧縮回路1H14を有する。
第1撮像素子1H1及び第2撮像素子1H2は、光学センサ及びレンズ等である。すなわち、第1撮像素子1H1及び第2撮像素子1H2は、光を受光して撮像を行い、それぞれ画像を生成する。
画像処理回路1H3は、第1撮像素子1H1及び第2撮像素子1H2が生成するそれぞれの画像に対して画像処理を行う。すなわち、画像処理回路1H3は、第1撮像素子1H1及び第2撮像素子1H2に接続され、第1撮像素子1H1及び第2撮像素子1H2で撮像されたそれぞれの画像を示す画像信号を第1撮像素子1H1及び第2撮像素子1H2から入力する。また、画像処理回路1H3は、ISP(Image Signal Processor)等を有する。そして、画像処理回路1H3は、入力される画像に対して、シェーディング補正、ベイヤ補間、ホワイトバランス補正及びガンマ補正等の画像処理を行う。
主記憶装置1H4は、DRAM(Dynamic Random Access Memory)等のメモリである。すなわち、主記憶装置1H4は、画像処理等の各処理を行う上で記憶領域を実現する装置である。
補助記憶装置1H5は、データを記憶する装置である。なお、データを記憶する記憶装置は、例えば、ROM(Read−Only Memory)等でもよい。また、記憶されるデータは、プログラム及びパラメータ等である。
加速度センサ1H6は、例えば、3軸の加速度を検出するセンサである。なお、各軸についての詳細は、後述する。
ジャイロセンサ1H7は、各軸に対する回転を検出するセンサである。なお、ジャイロセンサ1H7が検出する回転角の詳細は、後述する。
CPU1H8は、各処理を実現させるための演算及びデータの加工を行う演算装置である。また、CPU1H8は、各ハードウェアを制御する制御装置である。
外部ストレージ1H9は、外部ストレージI/F等によって接続されるメモリカード等の記録媒体である。そして、外部ストレージ1H9には、プログラム等のデータが記憶され、データが全天球カメラ1に対して入出力される。
出力装置1H10は、例えば、ディスプレイ等である。例えば、出力装置1H10は、第1撮像素子1H1及び第2撮像素子1H2によって撮像され、画像処理回路1H3により画像処理された画像等を表示する。
ネットワークI/F1H11は、外部装置と通信を行う通信装置等である。例えば、ネットワークI/F1H11は、無線NIC(Network Interface Card)等である。
入出力I/F1H12は、例えば、USB(Universal Serial Bus)コネクタ等である。すなわち、入出力I/F1H12は、外部装置と接続し、接続される外部装置とデータを送受信する装置である。
入力装置1H13は、全天球カメラ1に対するユーザの操作を入力する装置である。例えば、入力装置1H13は、スイッチ等である。
動画圧縮回路1H14は、入力される画像を圧縮又は伸張する処理を行う回路である。例えば、動画圧縮回路1H14は、所定の規格で定められるファイル形式の動画となるように、画像を圧縮又は伸張する処理を行う。
なお、全天球カメラ1は、図示するハードウェア構成に限られない。すなわち、全天球カメラ1は、例えば、撮像素子、演算装置、制御装置及び記憶装置等を更に有するハードウェア構成等でもよい。
全天球カメラ1は、電源がオンになると、制御プログラム等を主記憶装置1H4にロードする。そして、CPU1H8がプログラムに基づいて動作する。このようにして、処理を実行し、各機能を実現する。
<画像処理装置のハードウェア構成例>
図3は、本発明の一実施形態に係る画像処理システムが有する画像処理装置のハードウェア構成例を示すブロック図である。例えば、スマートフォン2は、CPU2H1、主記憶装置2H2、補助記憶装置2H3、入力装置2H4、外部ストレージ2H5、出力装置2H6、ネットワークI/F2H7及び入出力I/F2H8を有する。
図3は、本発明の一実施形態に係る画像処理システムが有する画像処理装置のハードウェア構成例を示すブロック図である。例えば、スマートフォン2は、CPU2H1、主記憶装置2H2、補助記憶装置2H3、入力装置2H4、外部ストレージ2H5、出力装置2H6、ネットワークI/F2H7及び入出力I/F2H8を有する。
CPU2H1は、各処理を実現させるための演算及びデータの加工を行う演算装置である。また、CPU2H1は、各ハードウェアを制御する制御装置である。
主記憶装置2H2は、RAM(Random Access Memory)等のメモリである。すなわち、主記憶装置2H2は、画像処理等の各処理を行う上で記憶領域を実現する装置である。
補助記憶装置2H3は、ハードディスク等である。また、補助記憶装置2H3は、プログラム等のデータを記憶する。
入力装置2H4は、スマートフォン2に対するユーザの操作を入力する装置である。
外部ストレージ2H5は、外部ストレージI/F等によって接続されるSD(登録商標)カード等の記録媒体である。
出力装置2H6は、ユーザに対して処理結果及び画像等を出力する装置である。なお、入力装置2H4及び出力装置2H6は、タッチパネル等のように、一体であってもよい。
ネットワークI/F2H7は、外部装置と通信を行う通信装置等である。例えば、ネットワークI/F2H7は、無線NIC等である。
入出力I/F2H8は、例えば、USBコネクタ等である。すなわち、入出力I/F2H8は、外部装置と接続し、接続される外部装置とデータを送受信する装置である。
スマートフォン2は、電源がオンになると、補助記憶装置2H3から制御プログラム等を主記憶装置2H2にロードする。そして、CPU2H1がプログラムに基づいて動作する。このようにして、処理を実行し、各機能を実現する。
<全体処理例>
図4は、本発明の一実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。
図4は、本発明の一実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。
<撮像例>(ステップS101)
ステップS101では、画像処理システムは、全天球カメラによって撮像を行う。そして、全天球カメラによって画像処理が行われた後、撮像されたそれぞれの画像は、スマートフォンに送られる。以下、全天球カメラによって撮像される画像を「第1画像」及び「第2画像」という。なお、「第1画像」及び「第2画像」は、画像処理が行われた後の画像でもよい。
ステップS101では、画像処理システムは、全天球カメラによって撮像を行う。そして、全天球カメラによって画像処理が行われた後、撮像されたそれぞれの画像は、スマートフォンに送られる。以下、全天球カメラによって撮像される画像を「第1画像」及び「第2画像」という。なお、「第1画像」及び「第2画像」は、画像処理が行われた後の画像でもよい。
第1画像及び第2画像に基づいて、画像処理システムは、最終的には、以下のように出力画像を生成する。
図5は、本発明の一実施形態に係る画像処理システムによる出力画像の生成例を示す図である。図示するように、全天球カメラが有する第1撮像素子1H1及び第2撮像素子1H2によって、第1画像IMG1及び第2画像IMG2が、まず、撮像される。そして、画像処理システムは、図示するように、第1画像IMG1及び第2画像IMG2を結合して出力画像IMGOUTを生成する。
図示するように、第1画像IMG1及び第2画像IMG2が、例えば、180度以上の広範囲を撮像した画像であると、出力画像IMGOUTは、360度等の広範囲を表示することができる画像となる。すなわち、出力画像IMGOUTは、いわゆる全天球画像等である。
図示するように、広範囲を示す第1画像IMG1及び第2画像IMG2を生成するため、例えば、魚眼レンズ等が光学系に用いられる。魚眼レンズを用いた光学系と、第1画像IMG1及び第2画像IMG2とは、例えば、以下のような射影関係となる。
図6は、本発明の一実施形態に係る射影関係の一例を示す図である。図6(A)は、第1撮像素子及び第2撮像素子の断面図である。一方で、図6(B)は、第1画像及び第2画像を示す図である。
魚眼レンズを用いて撮像されると、各画像は、図6(A)に示すように、光の光軸に対する入射角度φに応じた像高となるように生成される。像高を「h」とすると、入射角度φと、像高hとの関係は、所定の投影モデルに応じた射影関数で示すことができる。なお、射影関数は、レンズによって異なる。例えば、いわゆる等距離射影方式と呼ばれる投影モデルの魚眼レンズが用いられる場合には、焦点距離を「f」とすると、射影関数は、下記(1)式のようになる。
魚眼レンズが採用されると、図6(B)に示すように、画像の対角線よりイメージサークル径が小さくなる場合が多い。以下の説明では、図6(B)に示すような第1画像及び第2画像が用いられる例で説明する。
<圧縮動画の生成例>(ステップS102)
図4に戻り、ステップS102では、画像処理システムは、圧縮動画を生成する。例えば、動画圧縮形式は、H.264/MPEG−4 AVC(MPEG−4 Part 10 Advanced Video Coding)、H.265/HEVC(High Efficiency Video Coding)、Motion JPEG(Joint Photographic Exports Group)又はMotion JPEG2000等である。また、Motion JPEG及びMotion JPEG2000等の連続した静止画として、動画を生成する形式が採用されると、出力画像を高品質な動画にすることができる。一方で、H.264/MPEG−4 AVC又はH.265/HEVC等の形式が採用されると、画像を時間軸方向に圧縮することができるため、処理効率を高くすることができる。そのため、H.264/MPEG−4 AVC又はH.265/HEVC等の形式が採用されると、外部ストレージ等への書き込みの遅延を少なくすることができる。
図4に戻り、ステップS102では、画像処理システムは、圧縮動画を生成する。例えば、動画圧縮形式は、H.264/MPEG−4 AVC(MPEG−4 Part 10 Advanced Video Coding)、H.265/HEVC(High Efficiency Video Coding)、Motion JPEG(Joint Photographic Exports Group)又はMotion JPEG2000等である。また、Motion JPEG及びMotion JPEG2000等の連続した静止画として、動画を生成する形式が採用されると、出力画像を高品質な動画にすることができる。一方で、H.264/MPEG−4 AVC又はH.265/HEVC等の形式が採用されると、画像を時間軸方向に圧縮することができるため、処理効率を高くすることができる。そのため、H.264/MPEG−4 AVC又はH.265/HEVC等の形式が採用されると、外部ストレージ等への書き込みの遅延を少なくすることができる。
動画は、例えば、GOP(Group Of Picture)等によって圧縮される。GOPによって圧縮された動画は、いわゆるIピクチャと、Pピクチャと、Bピクチャとを含む構成となる。具体的には、Iピクチャは、動画の再生において、起点となる画像であり、フレーム内予測符号化等によって符号化される画像である。また、Pピクチャは、前のIピクチャ又はPピクチャに基づいて、フレーム間予測によって符号化される画像である。さらに、Bピクチャは、前(順方向)、後(逆方向)又は前後両方(双方向)のピクチャを利用してフレーム間予測により符号化される画像である。
GOPでは、少なくとも1つのIピクチャがあるため、GOPの単位でフレームを展開すると、出力画像を生成できる最小限のフレームが展開される。
以下の説明では、Iピクチャを示すフレームをIDR(Instantaneous Decoder Refresh)フレームとして使用する例で説明する。
すなわち、IDRフレームは、撮像された画像の内容をすべて示すフレームである。動画は、キーフレームと、キーフレーム以外のフレームとに分けられる。また、キーフレームは、他のフレームを参照しなくとも、出力画像を出力できるフレームであり、撮像される被写体及び背景等をすべて示すフレームである。なお、キーフレームは、Iフレームと呼ばれる場合もある。すなわち、キーフレームは、Iピクチャを示すフレームである。そして、キーフレームは、動画を出力するのに、キーフレーム以外のフレームでは参照されるフレームとなり、出力画像を出力するのに起点となるフレームである。そして、IDRフレーム方式が採用されると、キーフレーム以外のフレームにおいて、参照されるフレームが保証され、参照先となるフレームがない等のエラーが起きない方式となる。
一方で、圧縮された動画には、キーフレーム以外のフレームとして、Pフレーム及びBフレームが含まれる。Pフレームは、キーフレームとの差分を示す。したがって、Pフレームに基づいて出力画像を出力する場合には、キーフレームを参照して、動画は、再生される。すなわち、Pフレームは、Pピクチャを示すフレームである。
また、Bフレームは、前後のキーフレーム、Pフレーム及びBフレームとの差分を示す。したがって、Bフレームに基づいて出力画像を出力する場合には、前後のキーフレーム、Pフレーム及びBフレームを参照して、動画は、再生される。すなわち、Bフレームは、Bピクチャを示すフレームである。
なお、動画のフレーム構成例の詳細は、後述する。
<IDRフレームであるか否かの判断例>(ステップS103)
ステップS103では、画像処理システムは、IDRフレームであるか否かを判断する。すなわち、上記のように、圧縮された動画に基づいて出力画像が出力される場合は、キーフレームの例であるIDRフレームと、IDRフレーム以外のフレームとのいずれかのフレームである。したがって、画像処理システムがIDRフレームであると判断すると、画像処理システムは、ステップS104に進む。一方で、画像処理システムがIDRフレーム以外のフレームであると判断すると、画像処理システムは、ステップS107に進む。
ステップS103では、画像処理システムは、IDRフレームであるか否かを判断する。すなわち、上記のように、圧縮された動画に基づいて出力画像が出力される場合は、キーフレームの例であるIDRフレームと、IDRフレーム以外のフレームとのいずれかのフレームである。したがって、画像処理システムがIDRフレームであると判断すると、画像処理システムは、ステップS104に進む。一方で、画像処理システムがIDRフレーム以外のフレームであると判断すると、画像処理システムは、ステップS107に進む。
<加速度センサデータの入力例>(ステップS104)
ステップS104では、画像処理システムは、加速度センサデータを入力する。以下、加速度センサがグローバル座標系の3軸について加速度をそれぞれ計測する例で説明する。
ステップS104では、画像処理システムは、加速度センサデータを入力する。以下、加速度センサがグローバル座標系の3軸について加速度をそれぞれ計測する例で説明する。
例えば、ユーザの真上方向、すなわち、いわゆる重力方向と、全天球カメラの真上方向とが異なると、全天球カメラは、傾きがある状態である。一方で、ユーザの真上方向、すなわち、いわゆる重力方向と、全天球カメラの真上方向とが一致すると、全天球カメラは、傾きがない状態である。
以下、重力方向、すなわち、重力ベクトルに対する傾きの角度を「傾き角α」とする。また、XY平面における傾斜角度を「傾き角β」とする。なお、傾き角α及び傾き角βの詳細は、後述する。
加速度センサデータが入力されると、例えば、下記(2)式に基づいて、傾き角α及び傾き角βは、算出される。
<加速度センサデータに基づいて変換テーブルを修正して修正テーブルを生成する例>(ステップS105)
ステップS105では、画像処理システムは、加速度センサデータに基づいて変換テーブルを修正して修正テーブルを生成する。なお、変換テーブル及び修正テーブルは、図5に示すように、第1画像IMG1及び第2画像IMG2に基づいて出力画像IMGOUTを生成する変換に用いられるテーブルである。変換テーブル及び修正テーブルの詳細は、後述する。
ステップS105では、画像処理システムは、加速度センサデータに基づいて変換テーブルを修正して修正テーブルを生成する。なお、変換テーブル及び修正テーブルは、図5に示すように、第1画像IMG1及び第2画像IMG2に基づいて出力画像IMGOUTを生成する変換に用いられるテーブルである。変換テーブル及び修正テーブルの詳細は、後述する。
修正テーブルは、上記(2)式を計算すると求まる傾き角α及び傾き角βに基づいて、変換テーブルを修正すると生成できるテーブルである。
<修正テーブルに基づく出力画像の生成例>(ステップS106)
ステップS106では、画像処理システムは、修正テーブルに基づいて出力画像を生成する。すなわち、画像処理システムは、図5に示すように、修正テーブルを用いて、第1画像IMG1及び第2画像IMG2に基づいて出力画像IMGOUTを生成する。
ステップS106では、画像処理システムは、修正テーブルに基づいて出力画像を生成する。すなわち、画像処理システムは、図5に示すように、修正テーブルを用いて、第1画像IMG1及び第2画像IMG2に基づいて出力画像IMGOUTを生成する。
修正テーブルが用いられると、傾き角α及び傾き角βが補正される。すなわち、修正テーブルが用いられると、画像処理システムは、傾き角α及び傾き角βを補正する天頂補正を行うことができる。
図7は、本発明の一実施形態に係る画像処理システムによる補正例を示す図である。例えば、図7(A)及び図7(B)に示す第1画像IMG1及び第2画像IMG2が撮像された場合(図4に示すステップS101)を例に説明する。
修正テーブルが用いられると、図7(A)及び図7(B)に示す第1画像IMG1及び第2画像IMG2は、歪曲収差等が補正されて図7(C)及び図7(D)に示すような状態となる。そして、図7(C)及び図7(D)に示す画像を組み合わせると、図7(E)に示すような出力画像IMGOUTを生成することができる。
<ジャイロセンサデータの入力例>(ステップS107)
図4に戻り、ステップS107では、画像処理システムは、ジャイロセンサデータを入力する。以下、ジャイロセンサがグローバル座標系の3軸についてそれぞれの回転角をそれぞれ計測する例で説明する。ジャイロセンサが検出する回転角の詳細は、後述する。
図4に戻り、ステップS107では、画像処理システムは、ジャイロセンサデータを入力する。以下、ジャイロセンサがグローバル座標系の3軸についてそれぞれの回転角をそれぞれ計測する例で説明する。ジャイロセンサが検出する回転角の詳細は、後述する。
なお、ジャイロセンサは、時間分解能が加速度センサより高いのが望ましい。つまり、ジャイロセンサは、加速度センサより高周波数でセンシングされるのが望ましい。IDRフレームと、IDRフレーム以外のフレームとの比率は、IDRフレーム以外のフレームの方が大きい場合が多い。したがって、ジャイロセンサは、IDRフレーム以外のフレームに対して用いられるジャイロセンサデータを生成するため、IDRフレームに対して用いられる加速度センサデータより高速で生成されるのが望ましい。
また、手振れ等は、全天球カメラを傾ける動作より高速である場合が多い。そのため、ジャイロセンサは、手振れ等の高速な動作を検出するため、高周波数でセンシングされるのが望ましい。
<ジャイロセンサデータに基づいて修正テーブルを修正して第2修正テーブルを生成する例>(ステップS108)
ステップS108では、画像処理システムは、ジャイロセンサデータに基づいて修正テーブルを修正して第2修正テーブルを生成する。まず、IDRフレームが用いられると、IDRフレーム以外のフレームで参照されるIピクチャを示すフレームが保証される。そのため、ステップS108となる場合(ステップS103でNO)は、前にステップS105が行われた後となる。そして、ステップS105で生成された修正テーブルが保存されると、ステップS108が行われる場合には、前のIDRフレームで用いられた修正テーブルが存在する。
ステップS108では、画像処理システムは、ジャイロセンサデータに基づいて修正テーブルを修正して第2修正テーブルを生成する。まず、IDRフレームが用いられると、IDRフレーム以外のフレームで参照されるIピクチャを示すフレームが保証される。そのため、ステップS108となる場合(ステップS103でNO)は、前にステップS105が行われた後となる。そして、ステップS105で生成された修正テーブルが保存されると、ステップS108が行われる場合には、前のIDRフレームで用いられた修正テーブルが存在する。
そして、画像処理システムは、ジャイロセンサデータに基づいて、ジャイロセンサデータが示す回転角の傾きを補正するように、修正テーブルを更に修正して第2修正テーブルを生成する。
<第2修正テーブルに基づく出力画像の生成例>(ステップS109)
ステップS109では、画像処理システムは、第2修正テーブルに基づいて出力画像を生成する。このようにすると、画像処理システムは、ステップS106と同様に、歪曲収差等を補正し、図7(E)に示すような出力画像IMGOUTを生成することができる。
ステップS109では、画像処理システムは、第2修正テーブルに基づいて出力画像を生成する。このようにすると、画像処理システムは、ステップS106と同様に、歪曲収差等を補正し、図7(E)に示すような出力画像IMGOUTを生成することができる。
第2修正テーブルは、修正テーブルを更に修正して生成するテーブルであるため、加速度センサデータに基づく補正が行われたテーブルである。さらに、第2修正テーブルは、ジャイロセンサデータに基づく補正が行われたテーブルであるため、第2修正テーブルが用いられると、手振れ等の傾きを補正することができる。
<圧縮画像、加速度センサデータ及びジャイロセンサデータの組み合わせ例>
図8は、本発明の一実施形態に係る画像処理システムによって生成される圧縮動画の一例を示す図である。例えば、圧縮動画は、全天球カメラで圧縮され、圧縮された圧縮動画の各フレームは、図示するように、傾き角を示すデータ、すなわち、加速度センサデータと、IDRフレームのデータとが組み合わせとなってスマートフォンに入力されるのが望ましい。さらに、圧縮された圧縮動画の各フレームは、図示するように、角速度を示すデータ、すなわち、ジャイロセンサデータと、IDRフレーム以外のフレームのデータとが組み合わせとなってスマートフォンに入力されるのが望ましい。
図8は、本発明の一実施形態に係る画像処理システムによって生成される圧縮動画の一例を示す図である。例えば、圧縮動画は、全天球カメラで圧縮され、圧縮された圧縮動画の各フレームは、図示するように、傾き角を示すデータ、すなわち、加速度センサデータと、IDRフレームのデータとが組み合わせとなってスマートフォンに入力されるのが望ましい。さらに、圧縮された圧縮動画の各フレームは、図示するように、角速度を示すデータ、すなわち、ジャイロセンサデータと、IDRフレーム以外のフレームのデータとが組み合わせとなってスマートフォンに入力されるのが望ましい。
つまり、加速度センサデータは、IDRフレームと同期するようにサンプリングされるのが望ましい。一方で、ジャイロセンサデータは、IDRフレーム以外のフレーム同期するようにサンプリングされるのが望ましい。
また、図示するように角速度を示すデータが入力される場合には、回転角は、前に入力された角速度を累計して計算される。なお、回転角は、他の方法で検出されてもよい。
<傾き角例>
図9は、本発明の一実施形態に係る傾き角の一例を示す図である。図示するように、x1軸、y1軸及びz1軸で示すグローバル座標系と、x0軸、y0軸及びz0軸で示すカメラ座標系とがある。グローバル座標系は、z1軸が重力方向、すなわち、重力ベクトルとなる座標系である。したがって、z1軸は、ユーザの真上、すなわち、天頂を示す。また、グローバル座標系は、全天球カメラの姿勢に係わらず、固定された座標系である。
図9は、本発明の一実施形態に係る傾き角の一例を示す図である。図示するように、x1軸、y1軸及びz1軸で示すグローバル座標系と、x0軸、y0軸及びz0軸で示すカメラ座標系とがある。グローバル座標系は、z1軸が重力方向、すなわち、重力ベクトルとなる座標系である。したがって、z1軸は、ユーザの真上、すなわち、天頂を示す。また、グローバル座標系は、全天球カメラの姿勢に係わらず、固定された座標系である。
一方で、カメラ座標系は、全天球カメラの姿勢によって変動する座標系である。図示するように、カメラ座標系は、傾き角α及び傾き角β、すなわち、グローバル座標系に対する全天球カメラの傾きによって決定される座標系である。
なお、傾き角αが「0」であると、x0軸と、x1軸とは一致する。同様に、傾き角βが「0」であると、z0軸と、z1軸とは一致する。そして、x0軸と、x1軸とが一致し、かつ、z0軸と、z1軸とが一致する、すなわち、傾き角α及び傾き角βがともに「0」である状態は、全天球カメラがグローバル座標系と、カメラ座標系とが一致している状態である。つまり、傾き角α及び傾き角βがともに「0」である状態は、全天球カメラに傾きがない状態である。
したがって、傾き角α及び傾き角βが補正されると、出力画像は、全天球カメラに傾きがない状態で撮像された場合とほぼ同じ画像になる。
上記(2)式における「Ax」は、図示する「x0」方向成分の値である。また、「Ay」は、図示する「y0」方向成分の値である。さらに、「Az」は、図示する「z0」方向成分の値である。したがって、図4に示すステップS104で加速度センサデータが入力されると、画像処理システムは、上記(2)式を計算して、図示する傾き角α及び傾き角βを算出することができる。
なお、上記の例では、加速度センサデータに基づいて、図示する傾き角α及び傾き角βが補正される例を説明したが、画像処理システムは、他の軸について補正してもよい。
<変換テーブル、修正テーブル及び第2修正テーブル例>
図10は、本発明の一実施形態に係る画像処理システムが用いるテーブルの一例を示す図である。例えば、変換テーブル、修正テーブル及び第2修正テーブルは、図10(A)に示すように、変換後の座標値と、変換前の座標値との関係を示すテーブルである。なお、説明では、テーブルは、図示するように、テーブル状のデータ構造である例で説明しているが、テーブルは、以下のように、画像を変換させるのに用いられるデータであればよい。
図10は、本発明の一実施形態に係る画像処理システムが用いるテーブルの一例を示す図である。例えば、変換テーブル、修正テーブル及び第2修正テーブルは、図10(A)に示すように、変換後の座標値と、変換前の座標値との関係を示すテーブルである。なお、説明では、テーブルは、図示するように、テーブル状のデータ構造である例で説明しているが、テーブルは、以下のように、画像を変換させるのに用いられるデータであればよい。
図10(B)に示すように、出力画像IMGは、図10(A)に示すようなテーブルに基づいて、第1画像IMG1及び第2画像IMG2、すなわち、撮像によって生成される画像が有する各画素を参照して生成される画像である。具体的には、図示する例では、図10(A)に示すように、出力画像IMGOUTの座標値が(Θ,Φ)である各画素は、第1画像IMG1又は第2画像IMG2の座標値が(x,y)である各画素を参照して生成される。図10(B)に示すように、テーブルに基づいて変換が行われると、歪曲収差等の歪みが補正される。
変換テーブルは、主に、全天球カメラの真上と、ユーザの真上とが一致した状態、つまり、全天球カメラに傾き等がない状態において、出力画像IMGOUTを生成するのに用いられるテーブルである。なお、変換テーブルは、用いられるレンズあらかじめ入力されるデータである。
一方で、修正テーブルは、全天球カメラの真上と、ユーザの真上とが異なる状態、つまり、全天球カメラに傾きがある状態において、傾きを補正して、全天球カメラに傾き等がない状態で撮像された場合と同じような出力画像IMGOUTを生成するのに用いられるテーブルである。すなわち、修正テーブルが用いられると、いわゆる天頂補正が行われる。
他にも、第2修正テーブルは、手振れ等によって、全天球カメラに傾きがある状態において、手振れ等による傾きを補正して、全天球カメラに傾き等がない状態で撮像された場合と同じような出力画像IMGOUTを生成するのに用いられるテーブルである。
修正テーブルは、具体的には、以下のような修正によって生成される。まず、以下の説明では、グローバル座標系の座標値と、カメラ座標系の座標値とを扱う。
図11は、本発明の一実施形態に係るグローバル座標系及びカメラ座標系の一例を示す図である。図9と同様に、カメラ座標系は、図11(A)に示すように、全天球カメラの傾きによって変動する座標系である。一方で、グローバル座標系は、図11(B)に示すように、重力方向と、垂直方向(図では、z1軸で示す方向である。)とが一致し、固定された座標系である。以下、カメラ座標系の座標値を(Θ0,Φ0)とし、グローバル座標系の座標値を(Θ1,Φ1)とする。
変換テーブルの修正には、パラメータとして、グローバル座標系の座標値である(Θ1,Φ1)が入力される。そして、画像処理システムは、計算によって、(Θ1,Φ1)をカメラ座標系の座標値である(Θ0,Φ0)に変換する。すなわち、変換テーブルの修正は、下記(3)式乃至(7)式に基づいて、(Θ1,Φ1)を(Θ0,Φ0)に変換する計算である。
傾き角αに係る変換は、3次元直交座標において行われる。そのため、上記(3)式に基づいて、まず、(Θ1,Φ1)が、(x1,y1,z1)に変換される。次に、傾き角βに係る変換を上記(4)式に基づいて行う。図9に示すように、傾き角βは、水平軸回りの傾きである。上記(4)式のように、傾き角βに基づく変換が行われると、グローバル座標系の(x1,y1,z1)は、カメラ座標系の(x0,y0,z0)に変換される。すなわち、上記(4)式は、グローバル座標系を水平軸回りに、傾き角β回転させる変換である。
次に、カメラ座標系の3次元直交座標値である(x0,y0,z0)を球面座標に変換する。具体的には、上記(5)式及び(6)式に基づいて、(x0,y0,z0)が(Θ'0,Φ0)に変換される。
続いて、傾き角αに基づく変換が、上記(7)式に基づいて行われる。上記(7)式に示すように、上記(6)式で計算される(Θ'0)から傾き角αが減算されると、傾き角αに係る変換がされる。すなわち、上記(5)式によって、(Φ0)が計算され、かつ、上記(6)式及び(7)式に基づいて(Θ0)が計算されて、カメラ座標系における球面座標(Θ0,Φ0)が計算される。
また、例えば、光軸回り(ローリング)の回転角と、水平軸回り(ヨーイング)の回転角とを補正する修正テーブルの修正は、下記(8)式に基づいて、(Θ1,Φ1)を(Θ0,Φ0)に変換する計算である。
上記(3)式乃至(7)式による変換によって、グローバル座標系と、カメラ座標系とが一致し、かつ、回転角は、球面座標における緯度(Θ)及び経度(Φ)の加算で補正できる。そのため、上記(8)式のように、簡単な計算によって、修正テーブルの修正は、実現させることができる。
<各軸及び各回転角の例>
図12は、本発明の一実施形態に係る各軸及び回転角の一例を示す図である。図示する垂直軸、すなわち、Z軸回りの回転角を「Yaw角」とする。また、図示する水平軸、すなわち、X軸回りの回転角を「Pitch角」とする。さらに、図示する光軸、すなわち、Y軸回りの回転角を「Roll角」とする。
図12は、本発明の一実施形態に係る各軸及び回転角の一例を示す図である。図示する垂直軸、すなわち、Z軸回りの回転角を「Yaw角」とする。また、図示する水平軸、すなわち、X軸回りの回転角を「Pitch角」とする。さらに、図示する光軸、すなわち、Y軸回りの回転角を「Roll角」とする。
つまり、Yaw角は、いわゆる横揺れ(ヨーイング)の検出結果を示す。また、Pitch角は、いわゆる縦揺れ(ピッチング)の検出結果を示す。
ジャイロセンサは、図示するYaw角、Pitch角及びRoll角のうち、少なくとも1つの回転角を検出する。なお、望ましくは、Pitch角及びRoll角が検出されるのが望ましい。図1に示すように、全天球カメラが棒状の形状であると、撮像の際に、Pitch角及びRoll角の手振れが発生する場合が多い。そこで、Pitch角及びRoll角が検出され、Pitch角及びRoll角の手振れ等が補正されると、出力画像は、より傾きが少なくなる。
<機能構成例>
図13は、本発明の一実施形態に係る画像処理システムの機能構成を示す機能ブロック図である。例えば、画像処理システム10は、撮像装置の例である全天球カメラ1と、画像処理装置の例であるスマートフォン2を有する。画像処理システム10が有する各装置は、例えば、図示するように、各機能を有する。具体的には、全天球カメラ1は、第1撮像部10F1と、第2撮像部10F2と、圧縮部10F3と、第1検出部10F4と、第2検出部10F5とを備える。一方で、スマートフォン2は、修正テーブル生成部10F6と、第2修正テーブル生成部10F7と、画像生成部10F8とを備える。なお、機能構成は、図示する構成に限られない。
図13は、本発明の一実施形態に係る画像処理システムの機能構成を示す機能ブロック図である。例えば、画像処理システム10は、撮像装置の例である全天球カメラ1と、画像処理装置の例であるスマートフォン2を有する。画像処理システム10が有する各装置は、例えば、図示するように、各機能を有する。具体的には、全天球カメラ1は、第1撮像部10F1と、第2撮像部10F2と、圧縮部10F3と、第1検出部10F4と、第2検出部10F5とを備える。一方で、スマートフォン2は、修正テーブル生成部10F6と、第2修正テーブル生成部10F7と、画像生成部10F8とを備える。なお、機能構成は、図示する構成に限られない。
第1撮像部10F1及び第2撮像部10F2は、撮像によって第1画像IMG1及び第2画像IMG2をそれぞれ生成する。なお、第1撮像部10F1及び第2撮像部10F2は、例えば、第1撮像素子1H1(図2)及び第2撮像素子1H2(図2)等によって実現される。
圧縮部10F3は、第1画像IMG1及び第2画像IMG2等の画像を圧縮して、第1圧縮画像CIMG1及び第2圧縮画像CIMG2等の圧縮画像を生成する。なお、圧縮部10F3は、例えば、動画圧縮回路1H14(図2)等によって実現される。
第1検出部10F4は、全天球カメラ1の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも1つの傾きを検出する。そして、第1検出部10F4による検出結果は、例えば、加速度センサデータDGRとなってスマートフォン2に送られる。なお、第1検出部10F4は、例えば、加速度センサ1H6(図2)等によって実現される。
第2検出部10F5は、光軸回りの回転角、垂直軸回りの回転角及び水平軸回りの回転角のうち、少なくとも1つの回転角を検出する。そして、第2検出部10F5による検出結果は、例えば、ジャイロセンサデータDAGとなってスマートフォン2に送られる。なお、第2検出部10F5は、例えば、ジャイロセンサ1H7(図2)等によって実現される。
修正テーブル生成部10F6は、キーフレームで、第1画像IMG1及び第2画像IMG2等の画像を変換して出力画像IMGOUTを生成するのに用いられる変換テーブルTCHを傾きに基づいて修正して修正テーブルTCRを生成する。なお、修正テーブル生成部10F6は、例えば、CPU2H1(図3)等によって実現される。
第2修正テーブル生成部10F7は、キーフレーム以外のフレームで、第1画像IMG1及び第2画像IMG2等の画像を変換して出力画像IMGOUTを生成するのに用いられる修正テーブルTCRを回転角に基づいて修正して第2修正テーブルTCR2を生成する。なお、第2修正テーブル生成部10F7は、例えば、CPU2H1(図3)等によって実現される。
画像生成部10F8は、キーフレームであると、修正テーブルTCRに基づいて、出力画像IMGOUTを生成する。一方で、画像生成部10F8は、キーフレーム以外のフレームであると、第2修正テーブルTCR2に基づいて、出力画像IMGOUTを生成する。なお、画像生成部10F8は、例えば、CPU2H1(図3)等によって実現される。
画像処理システム10は、圧縮部10F3によって、圧縮画像を生成することができる。圧縮画像は、キーフレームと、キーフレーム以外のフレームとによって構成される動画である。
画像処理システム10は、第1検出部10F4が生成する加速度センサデータDGR等に基づいて、修正テーブル生成部10F6によって、修正テーブルTCRを生成することができる。そして、修正テーブルTCRが用いられると、いわゆる天頂補正等によって、画像処理システム10は、キーフレームで、傾きを補正した出力画像IMGOUTを生成することができる。
画像処理システム10は、第2検出部10F5が生成するジャイロセンサデータDAG等に基づいて、第2修正テーブル生成部10F7によって、第2修正テーブルTCR2を生成することができる。そして、第2修正テーブルTCR2が用いられると、いわゆる手振れ補正等によって、画像処理システム10は、キーフレーム以外のフレームで、手振れ等による傾きを補正した出力画像IMGOUTを生成することができる。
また、手振れ等による傾きは、上記説明のように、電子的に補正、すなわち、テーブルを修正する等によって補正されるのが望ましい。例えば、レンズ及び光学センサを物理的に動かして手振れを補正する、いわゆるレンズシフト方式では、レンズ及び光学センサを動作させる装置が必要となる場合が多い。そのため、撮像装置に、補正を行うための装置を搭載するためのスペースを確保する必要がある。
他にも、全天球カメラのように、複数の画像から出力画像を生成する場合では、各画像を撮像するためのレンズ及び光学センサが補正のために動作すると、各画像を結合する際のずれが大きくなる場合が多い。そこで、上記説明のように、テーブルを補正して、手振れ等を含む全天球カメラの傾きが補正されると、出力画像の画質を向上させることができる。
<その他の実施形態>
なお、本発明に係る実施形態は、アセンブラ言語、C言語等の低水準言語又はオブジェクト指向プログラミング言語等の高水準言語で記述されるコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。また、プログラムは、補助記憶装置、フラッシュメモリ又はブルーレイディスク等の光学ディスク等のコンピュータで読み取り可能な記録媒体に格納して頒布することができる。さらに、プログラムは、電気通信回線を通じて頒布することができる。
なお、本発明に係る実施形態は、アセンブラ言語、C言語等の低水準言語又はオブジェクト指向プログラミング言語等の高水準言語で記述されるコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。また、プログラムは、補助記憶装置、フラッシュメモリ又はブルーレイディスク等の光学ディスク等のコンピュータで読み取り可能な記録媒体に格納して頒布することができる。さらに、プログラムは、電気通信回線を通じて頒布することができる。
画像処理装置は、1つの情報処理装置でなくともよい。つまり、本発明に係る実施形態は、1以上の情報処理装置を有する画像処理システムによって実現されてもよい。すなわち、ネットワーク等で接続される複数の情報処理装置によって、各処理は、冗長、分散又は並列に実行されてもよい。
また、各処理の一部又は全部は、例えば、フィールド・プログラマブル・ゲート・アレイ(FPGA)又はASIC(Application Specific Integrated Circuit)等の電子回路で実現されてもよい。さらに、各処理の一部又は全部は、例えば、ファームウェア等で実現されてもよい。
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
10 画像処理システム
1 全天球カメラ
2 スマートフォン
IMG1 第1画像
IMG2 第2画像
IMGOUT 出力画像
TCH 変換テーブル
TCR 修正テーブル
TCR2 第2修正テーブル
1 全天球カメラ
2 スマートフォン
IMG1 第1画像
IMG2 第2画像
IMGOUT 出力画像
TCH 変換テーブル
TCR 修正テーブル
TCR2 第2修正テーブル
Claims (9)
- 画像を撮像する撮像装置と、前記撮像装置に接続される1以上の画像処理装置とを有する画像処理システムであって、
前記画像を圧縮して圧縮画像を生成する圧縮部と、
前記撮像装置の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも1つの傾きを検出する第1検出部と、
前記光軸回りの回転角、前記垂直軸回りの回転角及び前記水平軸回りの回転角のうち、少なくとも1つの回転角を検出する第2検出部と、
出力画像を出力するのに起点となるキーフレームで、前記画像を変換して前記出力画像を生成するのに用いられる変換テーブルを前記傾きに基づいて修正して修正テーブルを生成する修正テーブル生成部と、
前記キーフレーム以外のフレームで、前記回転角に基づいて前記修正テーブルを更に修正して、前記画像を変換して前記出力画像を生成するのに用いられる第2修正テーブルを生成する第2修正テーブル生成部と、
前記キーフレームであると、前記修正テーブルに基づいて、前記出力画像を生成し、かつ、前記キーフレーム以外のフレームであると、前記第2修正テーブルに基づいて、前記出力画像を生成する画像生成部と
を備える画像処理システム。 - 前記撮像装置は、複数の画像を撮像する請求項1に記載の画像処理システム。
- 前記第2検出部は、前記第1検出部より高い時間分解能で検出を行う請求項1又は2に記載の画像処理システム。
- 前記第2検出部は、少なくとも前記光軸回りの回転角及び前記水平軸回りの回転角を検出する請求項1乃至3のいずれか1項に記載の画像処理システム。
- 前記キーフレームは、IDRフレームである請求項1乃至4のいずれか1項に記載の画像処理システム。
- 前記第1検出部は、加速度センサによって前記傾きを検出し、かつ、前記第2検出部は、ジャイロセンサによって前記回転角を検出する請求項1乃至5のいずれか1項に記載の画像処理システム。
- 前記傾き及び前記回転角に基づく補正は、前記変換テーブル又は前記修正テーブルを修正する補正である請求項1乃至6のいずれか1項に記載の画像処理システム。
- 画像を撮像する撮像装置と、前記撮像装置に接続される1以上の画像処理装置とを有する画像処理システムが行う画像処理方法であって、
前記画像処理システムが、前記画像を圧縮して圧縮画像を生成する圧縮手順と、
前記画像処理システムが、前記撮像装置の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも1つの傾きを検出する第1検出手順と、
前記画像処理システムが、前記光軸回りの回転角、前記垂直軸回りの回転角及び前記水平軸回りの回転角のうち、少なくとも1つの回転角を検出する第2検出手順と、
前記画像処理システムが、出力画像を出力するのに起点となるキーフレームで、前記画像を変換して前記出力画像を生成するのに用いられる変換テーブルを前記傾きに基づいて修正して修正テーブルを生成する修正テーブル生成手順と、
前記画像処理システムが、前記キーフレーム以外のフレームで、前記回転角に基づいて前記修正テーブルを更に修正して、前記画像を変換して前記出力画像を生成するのに用いられる第2修正テーブルを生成する第2修正テーブル生成手順と、
前記画像処理システムが、前記キーフレームであると、前記修正テーブルに基づいて、前記出力画像を生成し、かつ、前記キーフレーム以外のフレームであると、前記第2修正テーブルに基づいて、前記出力画像を生成する画像生成手順と
を含む画像処理方法。 - 画像を撮像する撮像装置と、前記撮像装置に接続される1以上の画像処理装置とを有するコンピュータに画像処理方法を実行させるためのプログラムであって、
前記コンピュータが、前記画像を圧縮して圧縮画像を生成する圧縮手順と、
前記コンピュータが、前記撮像装置の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも1つの傾きを検出する第1検出手順と、
前記コンピュータが、前記光軸回りの回転角、前記垂直軸回りの回転角及び前記水平軸回りの回転角のうち、少なくとも1つの回転角を検出する第2検出手順と、
前記コンピュータが、出力画像を出力するのに起点となるキーフレームで、前記画像を変換して前記出力画像を生成するのに用いられる変換テーブルを前記傾きに基づいて修正して修正テーブルを生成する修正テーブル生成手順と、
前記コンピュータが、前記キーフレーム以外のフレームで、前記回転角に基づいて前記修正テーブルを更に修正して、前記画像を変換して前記出力画像を生成するのに用いられる第2修正テーブルを生成する第2修正テーブル生成手順と、
前記コンピュータが、前記キーフレームであると、前記修正テーブルに基づいて、前記出力画像を生成し、かつ、前記キーフレーム以外のフレームであると、前記第2修正テーブルに基づいて、前記出力画像を生成する画像生成手順と
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016129368A JP2018006926A (ja) | 2016-06-29 | 2016-06-29 | 画像処理システム、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016129368A JP2018006926A (ja) | 2016-06-29 | 2016-06-29 | 画像処理システム、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018006926A true JP2018006926A (ja) | 2018-01-11 |
Family
ID=60948156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016129368A Pending JP2018006926A (ja) | 2016-06-29 | 2016-06-29 | 画像処理システム、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018006926A (ja) |
-
2016
- 2016-06-29 JP JP2016129368A patent/JP2018006926A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200296282A1 (en) | Imaging system, imaging apparatus, and system | |
JP6927382B2 (ja) | 撮像システム、方法、プログラム、動画表示装置および画像処理装置。 | |
KR102385360B1 (ko) | 이미지 보정을 수행하는 전자 장치 및 그 동작 방법 | |
JP5920507B1 (ja) | 画像処理システム、画像処理方法およびプログラム | |
JP6677098B2 (ja) | 全天球動画の撮影システム、及びプログラム | |
WO2015081870A1 (zh) | 一种图像处理方法、装置及终端 | |
KR102386385B1 (ko) | 전자 장치 및 전자 장치의 이미지 압축 방법 | |
US9154728B2 (en) | Image processing apparatus, image capturing apparatus, and program | |
US20130176460A1 (en) | Image processing apparatus, image capturing apparatus, and computer program | |
WO2019124248A1 (ja) | 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法 | |
KR102330264B1 (ko) | 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법 | |
JP7031280B2 (ja) | 画像処理装置、画像処理システムおよびプログラム | |
KR102434417B1 (ko) | 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치 | |
US11128814B2 (en) | Image processing apparatus, image capturing apparatus, video reproducing system, method and program | |
JP2020145590A (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP2018006926A (ja) | 画像処理システム、画像処理方法及びプログラム | |
US20200162670A1 (en) | Transmission device, transmission method, reception device, reception method, and imaging device | |
US20230274470A1 (en) | Imaging apparatus, information processing apparatus, control method, and storage medium | |
JP2020088843A (ja) | 撮像システム、端末及びプログラム | |
JP2020078065A (ja) | 撮像装置、情報処理装置、補正量設定方法およびプログラム |