JP2020065114A - 映像処理装置、映像処理方法、及び映像処理プログラム - Google Patents

Abstract

【課題】３６０°映像の画像に含まれるモザイク処理を行う対象オブジェクトを正確かつ歪まずにＶＲ映像にてモザイク処理する。【解決手段】映像処理装置１において、画像分割部１４が、３６０°映像である原画像を分割し、画像補正部１５が、分割画像内の画像形状の歪みを歪みのない形状に補正し、画像処理部１６が、歪み補正後の分割画像を用いてオブジェクト検出装置２により検出された対象オブジェクトの位置に対応する原画像内での対応位置を算出し、その対応位置に形成される原画像内の歪みのある対象オブジェクトを画像処理する。また、画像処理部１６が、モザイク処理用オブジェクトを歪ませて、原画像内の歪みのある対象オブジェクトに付与する。【選択図】図１

Description

本発明は、３６０°映像を画像処理する技術に関する。

現在、ＶＲ（Virtual Reality）映像に関する技術が研究開発されている。図１２は、ＶＲ映像処理システム１００の従来構成を示す図である。ＶＲカメラ３は、３６０°方向の３次元実空間を撮影し、第三者への映像配信を目的として映像処理装置１へ送信する。そして、映像処理装置１の映像入力部１１は、ＶＲカメラ３からの３６０°映像を入力し、その映像のファイル名に関連付けて原映像記憶部１２に記憶する。

その後、第三者のＶＲゴーグル５から映像要求を受けた場合、映像処理装置１の映像出力部１９は、映像要求を受けた３６０°映像を原映像記憶部１２から読み出してＶＲ映像として出力する。このとき、３６０°映像は３６０°方向の３次元実空間を２次元平面の画面に投射した映像であり、水平方向の中央線上の領域から上下の垂直方向に離れた画像領域において画像形状に歪みが生じていることから、映像補正部１８は、３６０°映像内の画像形状の歪みを歪みのない形状に補正（歪み補正）する。

一方、ＶＲゴーグル５は、映像要求に応じたＶＲ映像を映像処理装置１から受信し、ＶＲゴーグル５の向き及び傾きに対応する部分の映像を画面に表示する。ＶＲゴーグル５の画面には、３６０°映像の一部が覗き見る状態で表示される。３６０°映像に対して歪み補正が施されているので、ＶＲゴーグル５には歪みのない映像が表示される。

これにより、ＶＲゴーグル５の視聴者は、３６０°方向のうち自身が向いている方向及び方角の映像を歪みのない形状で正しく見ることができる。例えば、右を向けば右方向の仮想風景、下を向けば下方向の仮想風景を旅行先の視点で見ることができ、家に居ながら旅気分を疑似的に味わうことができる。

なお、ＶＲ映像の仕組みについては、例えば、非特許文献１に記載されている。

"ＶＲの仕組みをわかりやすく解説"、［online］、VR JOURNAL、2018.01.14、［平成30年10月11日検索］、インターネット、＜https://vrjour.jp/mechanism/＞

３６０°映像には、３６０°方向の３次元実空間が隅々まで撮影されているので、個人情報も当然に含まれている。一方、不特定多数に開示予定のＶＲ映像には個人情報を含めるべきでないため、ＶＲ映像の提供元は、個人情報にモザイク処理を施し、かつ、モザイク表示についてもＶＲゴーグル５で正しく表示されることを期待する。

しかしながら、３６０°映像の画像には歪みがあるため、コンピュータは、その画像から個人情報を特定できない。例えば、個人情報が「顔」であっても、画像内の上側や下側に表示された顔は引き伸ばされた状態で表示されているため、「顔」の標準的な形状と乖離することから、コンピュータは、その状態の顔を「顔」として認識できない。

また、個人情報に対して標準的な矩形状のモザイク画像を施したとしても、映像処理装置１の映像補正部１８により３６０°映像の画像全体に対して歪み補正が施されるため、画像内の個人情報については歪みのない形状に変換されて正しく表示される反面、モザイク画像については歪みが生じてしまう。

本発明は、上記事情を鑑みてなされたものであり、３６０°映像の画像において、モザイク処理を行う対象オブジェクトを正確にモザイク処理することを第１の目的とし、正確かつ歪まずにＶＲ映像にてモザイク処理することを第２の目的とする。

本発明の映像処理装置は、３６０°映像である原画像を分割する画像分割部と、分割画像内の画像形状の歪みを歪みのない形状に補正する画像補正部と、歪み補正後の分割画像を用いて検出された対象オブジェクトの位置に対応する前記原画像内での対応位置を算出し、前記対応位置に形成される前記原画像内の歪みのある前記対象オブジェクトを画像処理する画像処理部と、を備えることを特徴とする。

上記映像処理装置において、前記画像処理部は、モザイク処理用オブジェクトを歪ませて前記歪みのある対象オブジェクトに付与することを特徴とする。

上記映像処理装置において、前記画像処理部は、前記対象オブジェクトの形状を表す点の位置を歪み補正前の画像座標系での位置に変換することにより、前記原画像内での対応位置を算出することを特徴とする。

上記映像処理装置において、前記画像補正部は、前記対象オブジェクトの種類と前記対象オブジェクトの形状を表す点の数とをオブジェクト検出装置に対して指定し、前記画像処理部は、指定した数に応じた数の点の位置情報を受け取ることを特徴とする。

上記映像処理装置において、前記画像分割部は、隣り合う分割画像で画像の一部が重なるように前記原画像を分割することを特徴とする。

上記映像処理装置において、前記画像処理を行った３６０°映像をＶＲ（Virtual Reality）映像として出力する映像出力部を更に備えることを特徴とする。

本発明の映像処理方法は、映像処理装置で行う映像処理方法において、３６０°映像である原画像を分割するステップと、分割画像内の画像形状の歪みを歪みのない形状に補正するステップと、歪み補正後の分割画像を用いて検出された対象オブジェクトの位置に対応する前記原画像内での対応位置を算出し、前記対応位置に形成される前記原画像内の歪みのある前記対象オブジェクトを画像処理するステップと、を行うことを特徴とする。

本発明の映像処理プログラムは、上記映像処理装置としてコンピュータを機能させることを特徴とする。

本発明によれば、３６０°映像の画像において、モザイク処理を行う対象オブジェクトを正確にモザイク処理することができる。また、正確かつ歪まずにＶＲ映像にてモザイク処理することができる。

ＶＲ映像処理システムの全体構成を示す図である。 ＶＲ映像処理システムの動作を示すシーケンスである。 ３６０°映像の原画像例を示す図である。 原画像の分割例を示す図である。 分割画像の歪み補正例を示す図である。 歪み補正後の分割画像からの対象オブジェクトの形状点の検出例を示す図である。 歪み補正前の原画像における対象オブジェクトの形状点の例を示す図である。 対象オブジェクトに対するモザイク処理例を示す図である。 モザイク処理後の対象オブジェクトのＶＲ映像例を示す図である。 原画像の分割例（変形例）を示す図である。 歪み補正後の分割画像からの対象オブジェクトの形状点の検出例（変形例）を示す図である。 ＶＲ映像処理システムの従来構成を示す図である。

本発明は、上記課題を解決するため、歪みのある３６０°映像の画像からモザイク処理の対象オブジェクトを検出してモザイクをかけることを目的とする。この目的を達成するため、映像処理装置１は、３６０°映像である原画像を分割し、分割画像内の画像形状の歪みを歪みのない形状に補正して、歪み補正後の分割画像を用いて検出された対象オブジェクトの位置に対応する原画像内での対応位置を算出し、その対応位置に形成される原画像内の歪みのある対象オブジェクトを画像処理（モザイク処理）する。

また、本発明は、上記課題を解決するため、モザイク処理用オブジェクトがＶＲゴーグルに表示される際に正しく表示されるように歪ませてモザイクをかけることを目的とする。この目的を達成するため、映像処理装置１は、モザイク処理用オブジェクトを歪ませて歪みのある対象オブジェクトに付与する。

以下、本発明を実施する一実施の形態について図面を用いて説明する。

＜ＶＲ映像処理システム１００の全体構成＞
図１は、本実施形態に係るＶＲ映像処理システム１００の全体構成を示す図である。ＶＲ映像処理システム１００は、図１に示すように、映像処理装置１と、オブジェクト検出装置２と、ＶＲカメラ３と、ＶＲ映像編集端末４と、ＶＲゴーグル５と、を備えて構成される。映像処理装置１は、オブジェクト検出装置２とともにインターネットのクラウド内に配置されており、オブジェクト検出装置２と、ＶＲカメラ３と、ＶＲ映像編集端末４と、ＶＲゴーグル５とに、通信ネットワークを介して相互通信可能に物理的及び電気的に接続されている。

＜映像処理装置１の機能＞
次に、映像処理装置１の機能について説明する。映像処理装置１は、図１に示したように、映像入力部１１と、原映像記憶部１２と、映像編集要求受付部１３と、画像分割部１４、画像補正部１５と、画像処理部１６と、画像処理映像記憶部１７と、映像補正部１８と、映像出力部１９と、を備えて構成される。

映像入力部１１は、ＶＲカメラ３から送信された３６０°映像を入力する機能を備える。３６０°映像とは、ＶＲカメラ３の本体を中心に３６０°方向の３次元実空間（ＶＲカメラ３の全方位・全天球の実空間）を撮影した映像である。３６０°映像は、例えば、ＶＲカメラ３を移動させながら又は固定した状態で撮影された動画、動画を構成する時系的に連続性のある静止画、連続性のない単独の静止画である。

原映像記憶部１２は、映像入力部１１で入力した３６０°映像を原映像として、３６０°映像のファイル名に関連付けて読み出し可能に記憶する機能を備える。３６０°映像のファイル名は、３６０°映像を識別するための識別子の例である（以下、映像ＩＤとも称する）。原映像記憶部１２は、ＶＲカメラ３から送信される３６０°映像毎に、例えば、３６０°映像の撮影時刻、３６０°映像の入力時刻、３６０°映像の要約文、３６０°映像のタイトル、３６０°映像毎に割り振ったシーケンシャルな数字、を更に関連付けて原映像管理テーブルで管理してもよい。

映像編集要求受付部１３は、ＶＲ映像編集端末４からのアクセスに応じて３６０°映像を編集するために用いる映像編集要求受付画面を提供し、その映像編集要求受付画面で入力された映像編集要求を受け付ける機能を備える。ＶＲ映像編集端末４の操作者は、ＶＲカメラ３の操作者と同一であることが想定され、ＶＲ映像の提供元に相当する。ＶＲ映像の提供元（＝ＶＲ映像編集端末４の操作者）は、撮影した３６０°映像に含まれる個人情報にモザイク処理を施すため、ＶＲ映像編集端末４の画面に表示された映像編集要求受付画面内で、モザイク処理対象の映像ＩＤと、モザイク処理を行う個人情報（以下、対象オブジェクト）の種類と、対象オブジェクトの形状を表す点（以下、形状点）の数と、をそれぞれ指定し、それらの条件を含む映像編集要求を映像処理装置１に送信する。なお、対象オブジェクトの種類とは、例えば、人物の顔、車のナンバー、表札等である。

また、映像編集要求受付部１３は、映像編集要求で指定された映像ＩＤに対応する３６０°映像を原映像記憶部１２から読み出して、その３６０°映像を画像分割部１４と画像処理部１６へそれぞれ送信するとともに、映像編集要求で指定された対象オブジェクトの種別と形状点の指定数とを画像分割部１４を介して画像補正部１５へ送信する機能を備える。

画像分割部１４は、映像編集要求受付部１３から受け取った３６０°映像の画像（以下、原画像とも称する）を複数の画像（以下、分割画像）に分割する機能を備える。３６０°映像の画像が動画像の場合、画像分割部１４は、その動画を構成する複数の静止画をそれぞれ分割する。また、画像分割部１４は、映像編集要求受付部１３から受け取った３６０°映像の画像を、隣り合う分割画像で画像の一部が重なるように分割する機能を備える。なお、３６０°映像の画像は、３６０°方向の３次元実空間を２次元平面の画面に投射した画像であるため、原画像の水平方向の中央線上の領域から上下の垂直方向に離れた画像領域の画像形状には歪みが生じており、分割画像にも対応する位置に画像形状に歪みが生じている。

画像補正部１５は、複数の分割画像内の画像形状の歪みを歪みのない形状に補正（歪み補正）する機能を備える。例えば、画像補正部１５は、分割画像内の画像座標系は極座標であるため、極座標から直交座標へ変換することにより、分割画像内の画像形状の歪みを歪みのない形状に変換する。

また、画像補正部１５は、歪み補正後の複数の分割画像をオブジェクト検出装置２へ送信するとともに、映像編集要求受付部１３から受け取った対象オブジェクトの種類と形状点の指定数とをオブジェクト検出条件として含むオブジェクト検出要求をオブジェクト検出装置２へ送信する機能を備える。

画像処理部１６は、歪み補正後の複数の分割画像を用いてオブジェクト検出装置２により検出された対象オブジェクトの位置に対応する３６０°映像の原画像内での対応位置を算出し、その対応位置に形成される原画像内の歪みのある対象オブジェクトを画像処理する機能を備える。ここでいう画像処理とは、例えば、対象オブジェクトを非可逆的にピクセル単位で見えにくくする画像処理、対象オブジェクトにモザイク処理用オブジェクトを付与する処理等である。モザイク処理用オブジェクトとは、例えば、両目に被せる黒い線、顔に被せる画像等である。

例えば、画像処理部１６は、歪み補正後の分割画像を用いてオブジェクト検出装置２により検出された対象オブジェクトの形状点の位置を、歪み補正前の原画像の画像座標系での位置に変換（直交座標から極座標へ変換）することにより、原画像内で対応する対応位置を算出する。また、画像処理部１６は、直交座標系のモザイク処理用オブジェクトを生成し、その画像座標系を直交座標から極座標へ変換することによりモザイク処理用オブジェクトを歪ませて、原画像内の歪みのある対象オブジェクトに付与する。

画像処理映像記憶部１７は、対象オブジェクトに画像処理（モザイク処理）が施された３６０°映像を当該３６０°映像のファイル名に関連付けて読み出し可能に記憶する機能を備える。画像処理映像記憶部１７は、３６０°映像のファイル名を検索キーに用いて映像編集要求受付部１３の原映像管理テーブルから当該３６０°映像のタイトル等を取得し、画像処理映像管理テーブルとして独自に管理してもよい。

映像補正部１８は、映像出力部１９からの映像補正要求に応じ、ＶＲゴーグル５からの映像要求に対応する画像処理（モザイク処理）後の３６０°映像について、その３６０°映像内の画像形状の歪みを歪みのない形状に補正（歪み補正）する機能を備える。例えば、映像補正部１８は、３６０°映像の原画像内の画像座標系は極座標であるため、極座標から直交座標へ変換することにより、３６０°映像内の画像形状の歪みを歪みのない形状に変換する。

映像出力部１９は、ＶＲゴーグル５から映像要求を受けた場合、その映像要求に対応する画像処理（モザイク処理）後の３６０°映像を画像処理映像記憶部１７から読み出して、３６０°映像内の画像形状の歪みを歪みのない形状に補正するために映像補正要求を映像補正部１８に送信し、映像補正後の３６０°映像をＶＲ（Virtual Reality）映像として映像要求元のＶＲゴーグル５へ出力して送信する機能を備える。

ここまで、映像処理装置１の機能について説明した。本実施形態に係る映像処理装置１は、ＣＰＵ、メモリ、ハードディスク、通信インタフェース、キーボード、マウス等を備えたコンピュータで実現可能である。また、映像処理装置１としてコンピュータを機能させるための映像処理プログラムを作成することも可能であり、その映像処理プログラムの記憶媒体を作成することも可能である。

＜オブジェクト検出装置２の機能＞
次に、オブジェクト検出装置２について説明する。オブジェクト検出装置２は、オブジェクト検出要求元である映像処理装置１からのオブジェクト検出要求に応じ、そのオブジェクト検出要求に含まれるオブジェクト検出条件に合致するオブジェクト検出結果データを返信する機械学習装置、深層学習装置、又はＡＩ（Artificial Intelligence）装置である。このオブジェクト検出装置２は、インターネット上に既に存在し、既存のＡＩ装置等を流用可能である。

本実施形態では、オブジェクト検出装置２は、映像処理装置１から、歪み補正後の複数の分割画像と、オブジェクト検出条件（対象オブジェクトの種類，形状点の指定数）と、を受信した場合、その分割画像から当該種類に合致する対象オブジェクトを検出するとともに、検出した対象オブジェクトの形状点の位置、対象オブジェクトの大きさ等を検出し、指定された形状点の指定数に応じた数の形状点の位置情報、対象オブジェクトの大きさ等を、検出対象である対象オブジェクトの種類に関連付けて返信する機能を備える。

＜ＶＲカメラ３の機能＞
次に、ＶＲカメラ３について説明する。ＶＲカメラ３は、３６０°カメラとも称されるカメラであり、撮影者や車体等の移動体に固定された状態で移動体の移動とともに移動しながら、ＶＲカメラ３の本体を中心に３６０°方向の３次元実空間を撮影し、撮影者による送信指示に応じて撮影した３６０°映像を映像処理装置１へ送信（アップロード）する機能を備える。このとき、映像処理装置１は、１つ以上のＶＲカメラ３から送信される１つ以上の３６０°映像を受信する。ＶＲカメラ３は、既存のＶＲカメラを流用可能である。

＜ＶＲ映像編集端末４の機能＞
次に、ＶＲ映像編集端末４について説明する。ＶＲ映像編集端末４は、ＯＳ（Operating System）上でウェブブラウザや映像編集要求用アプリを実行可能なコンピュータであり、映像処理装置１の映像編集要求受付部１３が提供する映像編集要求受付画面をウェブブラウザ内に表示し、又は映像編集要求用アプリを実行して映像編集要求受付画面をアプリ内に表示して、ＶＲ映像編集端末４の操作者により入力されたモザイク処理を行うためのオブジェクト検出条件を含む映像編集要求を映像処理装置１に送信する機能を備える。ＶＲ映像編集端末４は、汎用のコンピュータ（いわゆるパソコン）を流用可能である。

＜ＶＲゴーグル５の機能＞
次に、ＶＲゴーグル５について説明する。ＶＲゴーグル５は、視聴者により指定された映像ＩＤに係るＶＲ映像を要求するための映像要求を映像処理装置１に送信し、その映像要求に応じて映像処理装置１から返信されたＶＲ映像を受信し、ＶＲゴーグル５の向き及び傾きに対応する部分の映像を画面に表示する機能を備える。映像処理装置１の映像補正部１８により画像処理（モザイク処理）後の３６０°映像に対して歪み補正が施されているので、ＶＲゴーグル５には歪みのない映像が表示される。ＶＲゴーグル５は、例えば、画面（モニタ）が一体化された専用ＶＲゴーグル、スマートフォン端末をゴーグル筐体内に挿入して用いるＶＲゴーグル等、既存のＶＲゴーグルを流用可能である。ＶＲゴーグル５に代えて、コンピュータのウェブブラウザを用いてもよい。

＜ＶＲ映像処理システム１００で行う映像処理動作＞
次に、ＶＲ映像処理システム１００で行う映像処理方法の映像処理動作について説明する。図２は、映像処理動作の処理フローを示す図である。

ステップＳ１０１；
まず、映像処理装置１の映像入力部１１は、ＶＲカメラ３からアップロードされた３６０°映像を入力し、その３６０°映像を当該３６０°映像の映像ＩＤに関連付けて原映像記憶部１２に記憶する。３６０°映像とは、ＶＲカメラ３の本体を中心に３６０°方向の３次元実空間を撮影した映像である。

ステップＳ１０２；
次に、映像編集要求受付部１３は、ＶＲ映像編集端末４からのアクセスに応じて映像編集要求受付画面を提供し、その映像編集要求受付画面で入力された映像編集要求を受け付ける。

具体的には、映像編集要求受付画面には、複数の映像ＩＤが選択可能に表示されており、ＶＲ映像編集端末４の操作者は、その中からモザイク処理を施す映像ＩＤと、モザイク処理を行う対象オブジェクトの種類（本例では「顔」）と、その対象オブジェクトの形状点の数（本例では「６」）と、をそれぞれ指定する。その後、その操作者が画面内の要求ボタンを押し下げると、それらの条件を含む映像編集要求が映像処理装置１に送信される。

映像編集要求を受け付けた後、映像編集要求受付部１３は、指定された映像ＩＤに対応する３６０°映像を原映像記憶部１２から読み出して画像分割部１４と画像処理部１６へそれぞれ送信するとともに、対象オブジェクトの種別（「顔」）と形状点の指定数（「６」）とを画像分割部１４を介して画像補正部１５へ送信する。

ここで、３６０°映像を構成する画像の特徴について説明する。３６０°映像の画像は、３６０°方向の３次元実空間を２次元平面の画面に投射した極座標系の画像であるため、画像水平方向の中央線上の領域から上下の垂直方向に離れた画像領域の画像形状には歪みが生じている。３６０°映像の画像の例を図３に示す。画像の上側や下側に歪みがあることが分かる。左下端の人物Ａと右下端の人物Ｂは同一人物であるが、画像座標系は極座標であるため、２次元平面の画面端では極付近の人物像が横方向に引き伸ばされた状態で表示される。

ステップＳ１０３；
次に、画像分割部１４は、映像編集要求受付部１３から送信された３６０°映像の画像（原画像）をｎ×ｍ（ｎ，ｍ；自然数）に分割する。本例では、図４に示すように、横方向に４分割し、縦方向に５分割する。これにより、原画像よりも小さいサイズの分割画像が形成される。ステップＳ１０３では、球体状の３６０°映像の画像をそのまま丸ごと後段の画像補正部１５で一度に歪み補正（極座標から直交座標へ変換）することは困難であるため、大サイズの原画像を局所的な領域に分割している。

ステップＳ１０４；
次に、画像補正部１５は、複数の分割画像について、それぞれ、極座標変換ｆの逆変換ｆ’を行う既存の数式を用いて、分割画像の画像座標系を極座標から直交座標へ変換する処理を行う。これにより、分割画像内の画像形状の歪みが解消され、画像形状に歪みのない分割画像が形成される。

例えば、図４に示した１列目の各分割画像は、図５に示すような分割画像となる。四隅に示された扇状の黒色領域は、変換処理前の分割画像内にはなかった領域が変換処理により顕在化した状態を表している。ステップＳ１０４では、オブジェクト検出装置２が対象オブジェクトを検出できるように、画像形状の歪みを歪みのない状態に歪み補正している。

ステップＳ１０５；
次に、画像補正部１５は、歪み補正後の複数の分割画像をオブジェクト検出装置２へ送信するとともに、対象オブジェクトの種別（「顔」）と形状点の指定数（「６」）とをオブジェクト検出条件として含むオブジェクト検出要求をオブジェクト検出装置２へ送信する。

ステップＳ１０６，Ｓ１０７；
次に、オブジェクト検出装置２は、映像処理装置１からオブジェクト検出要求を受信すると、歪み補正後の複数の分割画像からオブジェクト検出条件である対象オブジェクトの「顔」を検出し、検出した「顔」の輪郭形状を表す形状点の位置座標を指定数分（「６」つ）検出し、「顔」の領域に対応する大きさを算出して、映像処理装置１へ返信する。複数の分割画像は歪み補正されているので、オブジェクト検出装置２は、対象オブジェクト等を検出可能である。

例えば、図５に示した１列目ａ行目の分割画像については、図６に示すように、「顔」である対象オブジェクトＲを囲む６つの形状点が検出され、その検出結果を示すＲ｛Ｐ_１（０，５），Ｐ_２（０，２０），Ｐ_３（１２，２６），Ｐ_４（１０，２０），Ｐ_５（８，１０），Ｐ_６（３，４），Ｆａｃｅ｝が返信される。

ステップＳ１０８；
次に、画像処理部１６は、オブジェクト検出条件の指定数に応じた形状点の位置座標をオブジェクト検出装置２から受け取り、全ての形状点の位置座標について、極座標変換ｆを行う既存の数式を用いて、直交座標から極座標へ変換する処理を行う。この変換処理は、ステップＳ１０４の逆変換処理に相当するので、図７に示すように、歪み補正前の分割画像又は原画像の画像座標系で対応する位置座標｛Ｐ_１’（０，６），Ｐ_２’（０，２２），Ｐ_３’（１３，２６），Ｐ_４’（１４，２１），Ｐ_５’（２０，１１），Ｐ_６’（９，７）｝が算出される。

ステップＳ１０９；
次に、画像処理部１６は、標準的な矩形状のモザイク処理用オブジェクトの画像を生成し、極座標変換ｆを行う既存の数式を用いて、その画像の画像座標系を直交座標から極座標に変換する処理を行うことで歪みを生じさせ、ステップＳ１０８で極座標変換ｆを行っていた「６」つの形状点の位置座標の上に付与する。その後、画像処理部１６は、モザイク処理が終了したことを映像編集要求受付部１３に伝え、映像編集要求受付部１３は、映像編集終了応答をＶＲ映像編集端末４へ返信する。

例えば、図８に示すように、矩形状のモザイク画像Ｍに対して極座標変換ｆを行うことで末広がりの１／４円弧状のモザイク画像Ｍ’を生成し、極座標変換ｆを行っていた位置座標｛Ｐ_１’，Ｐ_２’，Ｐ_３’，Ｐ_４’，Ｐ_５’，Ｐ_６’｝に重畳する。これにより、歪みのある対象オブジェクトの「顔」に対して、歪みのある形状のモザイク処理用オブジェクトの画像が重畳される。

画像処理部１６は、モザイク処理用オブジェクトとして、例えば、単一数のみからなる線又は点、複数の線又は点で構成される線群又は点群等を用いてもよい。各線又は各点の大きさは異なってもよいし同一でもよい。また、画像処理部１６は、モザイク処理用オブジェクトを付与する代わりに、位置座標｛Ｐ_１’，Ｐ_２’，Ｐ_３’，Ｐ_４’，Ｐ_５’，Ｐ_６’｝で囲まれる領域内の歪みのある画像を非可逆的に見えににくくする画像処理を行ってもよい。

映像処理装置１は、ステップＳ１０３〜ステップＳ１０９を指定された３６０°映像を構成する全ての画像についてそれぞれ行う。その後、画像処理部１６は、モザイク処理を行った３６０°映像を画像処理映像記憶部１７に記憶する。画像処理映像記憶部１７は、その画像処理映像記憶部１７を当該画像処理映像記憶部１７の映像ＩＤに関連付けて記憶する。映像処理装置１は、ＶＲ映像編集端末４から映像編集要求を受け付ける毎にステップＳ１０２〜ステップＳ１０９を行う。

ステップＳ１１０；
その後、ＶＲゴーグル５から映像要求を受けた場合、映像出力部１９は、その映像要求に対応するモザイク処理後の３６０°映像を画像処理映像記憶部１７から読み出して、映像補正部１８に映像補正要求を送信する。

そして、映像出力部１９は、映像補正要求に基づき極座標変換ｆの逆変換ｆ’が行われた３６０°映像をＶＲ映像としてＶＲゴーグル５へ送信する。これにより、図９に示すように、ＶＲゴーグル５で見たときに、歪みのない人物Ａの「顔」に対して、歪みのない正しい状態のモザイク画像Ｍが表示され、違和感のないモザイクを所望の対象オブジェクトにかけることができる。

＜映像処理動作の処理フローの変形例＞
次に、前述した映像処理動作の処理フローの変形例について説明する。

ステップＳ１０３では、３６０°映像の原画像を、隣り合う分割画像で画像の一部が重ならないように分割する場合について説明した。一方、画像分割部１４は、図１０に示すように、隣り合う分割画像で画像の一部が重なるように３６０°映像の原画像を分割してもよい。この分割方法を用いることにより、例えば２つの分割画像内に同一の人物Ａがそれぞれ含まれるので、オブジェクト検出装置２で行う対象オブジェクトの検出精度を向上できる。

ステップＳ１０３で隣り合う分割画像で画像の一部が重なるように原画像を分割していた場合、図１１に示すように、同一の対象オブジェクトが隣接する２つの分割画像にそれぞれ含まれるので、ステップＳ１０７では、当該同一の対象オブジェクトに対して分割画像毎に異なる位置座標が返信される。例えば、Ｒ_１｛Ｐ_１１（０，５），Ｐ_１２（０，２０），Ｐ_１３（１２，２６），Ｐ_１４（１０，２０），Ｐ_１５（８，１０），Ｐ_１６（３，４），Ｆａｃｅ｝，Ｒ_２｛Ｐ_２１（０，５），Ｐ_２２（０，１０），Ｐ_２３（８，１０），Ｐ_２４（７，８），Ｐ_２５（６，０），Ｐ_２６（３，０），Ｆａｃｅ｝が返信される。

このとき、ステップＳ１０８でＲ_１とＲ_２をそれぞれ極座標変換ｆすることにより、元の原画像Ｉでは、対象オブジェクトの座標位置及び位置が一意に特定される。例えば、Ｐ_１４とＰ_２４が対象オブジェクトの同一位置を示す場合、それぞれを極座標変換ｆすることにより、Ｒ_１｛Ｐ_１４（１０，２０）｝×｛ｆ｝→Ｉ｛Ｐ_４’（１４，２１）｝、Ｒ_２｛Ｐ_２４（７，８）｝×｛ｆ｝→Ｉ｛Ｐ_４’（１４，２１）｝となり、歪みのある元の原画像Ｉにおいて同一の位置を示すことになり、分割画像にそれぞれ含まれていた各対象オブジェクトが元の原画像Ｉでは位置及び大きさが統合されることになる。

＜実施形態の効果＞
最後に、本実施形態の効果について説明する。

本実施形態によれば、画像分割部１４が、３６０°映像である原画像を分割し、画像補正部１５が、分割画像内の画像形状の歪みを歪みのない形状に補正し、画像処理部１６が、歪み補正後の分割画像を用いてオブジェクト検出装置２により検出された対象オブジェクトの位置に対応する原画像内での対応位置を算出し、その対応位置に形成される原画像内の歪みのある対象オブジェクトを画像処理するので、３６０°映像の画像に含まれるモザイク処理の対象オブジェクトを正確にモザイク処理することができる。

また、本実施形態によれば、画像処理部１６が、モザイク処理用オブジェクトを歪ませて歪みのある対象オブジェクトに付与するので、３６０°映像の画像に含まれるモザイク処理の対象オブジェクトを正確かつ歪まずにＶＲ映像にてモザイク処理することができる。

１…映像処理装置
１１…映像入力部
１２…原映像記憶部
１３…映像編集要求受付部
１４…画像分割部
１５…画像補正部
１６…画像処理部
１７…画像処理映像記憶部
１８…映像補正部
１９…映像出力部
２…オブジェクト検出装置
３…ＶＲカメラ
４…ＶＲ映像編集端末
５…ＶＲゴーグル

Claims (8)

1. ３６０°映像である原画像を分割する画像分割部と、
   分割画像内の画像形状の歪みを歪みのない形状に補正する画像補正部と、
   歪み補正後の分割画像を用いて検出された対象オブジェクトの位置に対応する前記原画像内での対応位置を算出し、前記対応位置に形成される前記原画像内の歪みのある前記対象オブジェクトを画像処理する画像処理部と、
   を備えることを特徴とする映像処理装置。
2. 前記画像処理部は、
   モザイク処理用オブジェクトを歪ませて前記歪みのある対象オブジェクトに付与することを特徴とする請求項１に記載の映像処理装置。
3. 前記画像処理部は、
   前記対象オブジェクトの形状を表す点の位置を歪み補正前の画像座標系での位置に変換することにより、前記原画像内での対応位置を算出することを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記画像補正部は、前記対象オブジェクトの種類と前記対象オブジェクトの形状を表す点の数とをオブジェクト検出装置に対して指定し、
   前記画像処理部は、
   指定した数に応じた数の点の位置情報を受け取ることを特徴とする請求項１乃至３のいずれかに記載の映像処理装置。
5. 前記画像分割部は、
   隣り合う分割画像で画像の一部が重なるように前記原画像を分割することを特徴とする請求項１乃至４のいずれかに記載の映像処理装置。
6. 前記画像処理を行った３６０°映像をＶＲ（Virtual Reality）映像として出力する映像出力部を更に備えることを特徴とする請求項１乃至５のいずれかに記載の映像処理装置。
7. 映像処理装置で行う映像処理方法において、
   ３６０°映像である原画像を分割するステップと、
   分割画像内の画像形状の歪みを歪みのない形状に補正するステップと、
   歪み補正後の分割画像を用いて検出された対象オブジェクトの位置に対応する前記原画像内での対応位置を算出し、前記対応位置に形成される前記原画像内の歪みのある前記対象オブジェクトを画像処理するステップと、
   を行うことを特徴とする映像処理方法。
8. 請求項１乃至６のいずれかに記載の映像処理装置としてコンピュータを機能させることを特徴とする映像処理プログラム。

Images