JP2019062262A - 情報処理装置、システム、およびそれらの制御方法、プログラム - Google Patents

Abstract

【課題】同じ被写体を異なる視点で撮影した２つの映像を、被写体の対応関係が直感的に分かりやすいよう、表示するための仕組みを提供することを目的とする。【解決手段】映像を扱う情報処理装置であって、同じ被写体を挟んだ２点のアングルの映像のうち、第１のアングルの映像の所定の領域に、同じ時期に撮影された当該所定の領域に対応する第２のアングルの映像の一部を、合わせた映像である表示映像を生成する表示映像生成手段を備えることを特徴とする。【選択図】 図１１

Description

本願発明は、情報処理装置、システム、およびそれらの制御方法、プログラムに関する。

近年、高性能化と低価格化に伴って、監視カメラやネットワークカメラの普及が加速している。

その一例として、特許文献１に示されるような、電車等の公共交通機関内を監視する監視カメラがある。このようなカメラで撮影された映像（画像。動画や静止画）は、車内暴力、痴漢あるいは痴漢冤罪等の、車内トラブルの証拠資料としての役割が期待されている。

さらに、特許文献１によれば、公共交通機関の車内広告のような撮影の障害物があった場合においても、画像(映像)に映り込んだ「鏡の画像」(鏡像)を、拡大した画像(映像)である「鏡画像」を並べて表示し、監視カメラの死角をカバーすることができる。

特開２０１３−３１１０８号公報

しかしながら、特許文献１は、画像(映像)と斜め方向から映り込んだ鏡像とを、単に並列に並べて表示しているだけである。そのため、２つの画像(映像)に写っている同じ被写体の対応関係が、直感的に分かりにくいという問題がある。

本発明は、同じ被写体を異なる視点で撮影した２つの映像を、被写体の対応関係が直感的に分かりやすいよう、表示するための仕組みを提供することを目的とする。

本発明は、映像を扱う情報処理装置であって、同じ被写体を挟んだ２点のアングルの映像のうち、第１のアングルの映像の所定の領域に、当該第１のアングルの映像の撮影された時期と同じ時期に撮影された第２のアングルの映像の一部であって、当該所定の領域に対応する第２のアングルの映像の一部を、合わせた映像である表示映像を生成する表示映像生成手段を備えることを特徴とする。

このように設けることで、同じ被写体を異なる視点で撮影した２つの映像を、被写体の対応関係が分かりやすく表示するための仕組みを提供することができる。

本発明のシステムの一例を示した構成図 本発明のハードウエアの構成の一例を示した構成図 ハイアングル映像を得るための監視カメラ１３０の構成の一例を示した構成図 図３のそれぞれの監視カメラ１３０で撮影された映像と、それらを合成した映像の一例を示した構成図 本発明の情報処理フローの一例について示した構成図 ステップＳ５０４または、ステップＳ１００１で行われる情報処理フロー一例を示した構成図 表示映像の生成にあたり、どのような条件で画質優先領域１１０３や切換表示領域１１０４を設定するかを、ユーザから受付けるための画面の一例を示した構成図 情報処理装置１２０で管理されるデータテーブルの一例を示した構成図 監視カメラ１３０から得られた映像の一例と、その映像を基に生成された映像の一例とを示した構成図 ステップＳ５０７の表示処理に関するサブフローの一例を示した構成図 情報処理端末１１０の表示部２１０に表示する、表示映像の一例を示した構成図 映像内の搭乗者１４０と、画質の設定についての関連の一例を示した構成図 図１１の変形応用例の一例を示した構成図 図１１の変形応用例の一例を示した構成図

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明のシステムの一例を示した構成図である。

概略としては、まず、公共交通機関１００内の映像を監視カメラ１３０で搭乗者１４０を含む内部映像を撮影する。そして、撮影された映像は通信ネットワーク１５０を通じて情報処理装置１２０に送信し、情報処理端末１１０で監視映像を見ることができる仕組みである。なお、本実施例における「映像」とは、監視映像、画像と言い換えてもよく、また静止画と動画の両方を含む表現である。

公共交通機関１００は、不特定多数の人物（搭乗者１４０）を乗せて移動する移動手段であり、例えば、電車、バス、船、飛行機等が含まれる。ただし、不特定多数の人物が互いに手を伸ばせば触れることのできる距離で、一定の時間移動せずに留まっている空間、すなわち、痴漢犯罪の発生しうる状況の空間であれば、本発明を実施することができる。したがって、このような空間も、公共交通機関１００の概念に含んでよいものとする。具体的には例えば、人が大勢押し寄せるイベント会場や、テーマパークの人気アトラクションの行列ができる場所などが考えられる。

監視カメラ１３０は、搭乗者１４０の映像（複数の被写体を含む静止画又は動画である第１の映像，同じ被写体を挟んで同じ時期に撮影される２点のアングルの映像）を得るための撮像装置である。特に、天井側から床側に向かって搭乗者１４０を撮影した映像（ハイアングル映像）を撮影するカメラを、特にハイアングルカメラ１３１と呼ぶ。また床側から天井側に向かって搭乗者１４０を撮影した映像であって、ハイアングル映像に対応するアングルの画像（ローアングル映像）を撮影するカメラを、特にローアングルカメラ１３２と呼ぶ。

ハイアングルカメラ１３１及びローアングルカメラ１３２は、それぞれ複数設置されていてもよい。これは、例えば、特開２００８−１１８４６６号公報に示されるような、隣接する複数の監視カメラの映像から、真上から俯瞰した俯瞰画像（俯瞰映像）を合成する、といった技術があるからである。具体的には、例えば図３と図４に示すように、複数のカメラ（図３ではα、β、γ、σ）から得た映像、（図４の（ａ）、（ｂ）、（ｃ）、（ｄ））から、仮想画像視点３００から地面を見下ろしたハイアングル映像（図４（ｅ））を合成して得ることができる。同じように、床に複数のカメラを設置すれば、それらの映像から、ローアングル映像を合成して得ることも可能である。このような従来技術があるので、被写体を挟んで向かい合う視点の２つの映像が得られる仕組みがあればよく、必ずしも図１のように床面に対して垂直な対称位置に配置されている構成でなくともよい。

情報処理装置１２０は、監視カメラ１３０で撮影された映像を、通信ネットワーク１５０経由で受付けて処理・管理・保管するための装置である。

情報処理装置１２０は、例えば以下のような処理を行うことができる。

１．複数の監視カメラ１３０で撮影された映像に基づくハイアングル映像、ローアングル映像の生成
２．サーモグラフィー「風」の画像の生成（色空間を変換するなど）
３．左右を反転させた映像（反転映像）の生成
４．ハイアングル映像とローアングル映像とに基づいて、両者を対応関係が分かりやすく一つの映像として見るための映像（表示映像）の生成
４．各種映像や映像に関連する情報の記憶・管理
５．映像内に映り込んだ搭乗者１４０の性別や年齢の推定、搭乗者１４０同士の距離や対応関係（知人か他人か）の推定
なお、上記の機能の一部または全部は、情報処理端末１１０が供えることもでき、そのような形態であっても、本発明は実施できる。

情報処理端末１１０は、ユーザから本発明のシステムの設定変更の指示を受付けたり、情報処理装置１２０で管理されている映像を表示したりするための端末である。設定変更するものには、映像の中で画質の良い領域とそうでない領域を決定するための各種条件（例えば、搭乗者１４０同士の距離や組み合わせなど）が含まれる。詳細は図７にて後述する。

搭乗者１４０は、公共交通機関１００に乗っている人物である。搭乗者１４０は、本実施例では更に男性搭乗者１４１と女性搭乗者１４２とに分類される。

通信ネットワーク１５０は、情報処理端末１１０、情報処理装置１２０、監視カメラ１３０を相互に通信可能に接続するネットワークである。通信方法には既存の様々な技術を用いることができる。有線であっても無線であってもよく、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。

図２は、本発明のハードウエアの構成の一例を示した構成図である。ハードウエアは、具体的には情報処理端末１１０、情報処理装置１２０が含まれる。また、監視カメラ１３０が、情報処理装置１２０の構成・機能を含んでいても良い。

２０１はＣＰＵで、ＲＯＭ２０２のプログラム用ＲＯＭや外部メモリ２１１に記憶されたプログラムをＲＡＭ２０３にロードして実行することによりシステムバス２０４に接続された各デバイスを制御する。また、このＲＯＭ２０２のフォント用ＲＯＭにはフォントデータ等を記憶し、ＲＯＭ２０２のデータ用ＲＯＭには各種データを記憶する。２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。２０２はキーボードコントローラ（入力コントローラ）で、２０９や図示しないポインティングデバイス、例えばタッチパッドからの入力を制御する。

入力コントローラ２０５は入力デバイス２０９を制御する。なお入力デバイス２０９には、タッチパネルも含まれ、その場合は、入力デバイス２０９が表示部２１０（画像を表示する表示画面を映すための表示装置）を兼ねているケースもある。２０６はビデオカード（ＶＣ）で、表示部２１０の表示を制御する。

２０７はメモリコントローラで、外部メモリ２１１（ハードディスク等）とのアクセスを制御する。２０８はネットワークインターフェースカード（ＮＩＣ）で、通信ネットワーク１５０上の通信を制御する。

図３及び図４では、複数の監視カメラの映像を合成してハイアングル映像を得るための仕組みの一例を示す。図３は、ハイアングル映像を得るための監視カメラ１３０の構成の一例を示した構成図である。図４は、図３のそれぞれの監視カメラ１３０で撮影された映像と、それらを合成した映像の一例を示した構成図である。

本発明の実施例で取り上げている、情報処理装置１２０は、図３の４つの監視カメラ１３０（α、β、γ、σ）で撮影された画像（図４（ａ）乃至（ｄ））から、図４（ｅ）に示されるようなハイアングル画像（仮想画像視点３００か００６３ら床方向を見下ろした画像）を生成することができる。また、この仕組みを応用すれば、床面から天井方向を撮影する複数のカメラを配置し、そこから得られた映像に基づいて、ローアングル映像を生成することもできる（不図示）。

図５は、本発明の情報処理フローの一例について示した構成図である。

ステップＳ５０１では、監視カメラ１３０は、公共交通機関１００内の映像を撮影する。

ステップＳ５０２では、監視カメラ１３０は、情報処理装置１２０に撮影した映像を、送信する。

ステップＳ５０３では、情報処理装置１２０は、ステップＳ５０２で送信された映像を、受信する。

ステップＳ５０４では、情報処理装置１２０は、ステップＳ５０３で受信した映像の処理を行う。フローの詳細は図６で述べるが、情報処理端末１１０の表示部２１０で表示（ステップＳ５０７）するために必要となる一連の処理である。

ステップＳ５０５では、情報処理装置１２０は、情報処理端末１１０に、ステップＳ５０４の処理に関連する情報であって、情報処理端末１１０の表示部２１０で表示（ステップＳ５０７）するために必要となる一連の情報を、送信する。

ここで、ステップＳ５０４とステップＳ５０５とについて補足する。ステップＳ５０４の一連の処理は、ステップＳ１００１で行うことも可能である。そして、その場合、ステップＳ５０５ではステップＳ５０３で受付けた映像と共に、ステップＳ１００１の処理に必要な情報を、情報処理端末１１０に送信することになる。

ステップＳ５０６では、情報処理端末１１０は、ステップＳ５０５で情報処理装置１２０から送信された情報を受信する。

ステップＳ５０７では、情報処理端末１１０は、映像を表示部２１０で表示する処理を行う。詳細については図９にて述べる。

ステップＳ５０８では、情報処理端末１１０は、フローを終了するための指示を、受付ける。終了する指示をどのように受け付けるかは、実施形態に合わせればよい。例えば、ユーザから受付ける形態をとってもよいし、他のハードウエアのフローの終了に合わせて行う形態であってもよい。

ステップＳ５０９では、情報処理端末１１０は、ステップＳ５０８でフローを終了する指示を受付けたか否かを判定する。そして、終了すると判定した場合には、処理を終了する。一方、終了しないと判定した場合には、ステップＳ５０６へ遷移する。

ステップＳ５１０では、監視カメラ１３０は、フローを終了するための指示を、受付ける。終了する指示をどのように受け付けるかは、実施形態に合わせればよい。例えば、ユーザから受付ける形態をとってもよいし、他のハードウエアのフローの終了に合わせて行う形態であってもよい。

ステップＳ５１１では、監視カメラ１３０は、ステップＳ５１０でフローを終了する指示を受付けたか否かを判定する。そして、終了すると判定した場合には、処理を終了する。一方、終了しないと判定した場合には、ステップＳ５０１へ遷移する。

ステップＳ５１２では、情報処理装置１２０は、ステップＳ５０３で受け付けた映像、ステップＳ５０４の映像の処理を通じて生成された各種映像や情報を、記録する。

ステップＳ５１３では、情報処理装置１２０は、フローを終了するための指示を、受付ける。終了する指示をどのように受け付けるかは、実施形態に合わせればよい。例えば、ユーザから受付ける形態をとってもよいし、他のハードウエアのフローの終了に合わせて行う形態であってもよい。

ステップＳ５１４では、情報処理装置１２０は、監視カメラ１３０は、ステップＳ５１２でフローを終了する指示を受付けたか否かを判定する。そして、終了すると判定した場合には、処理を終了する。一方、終了しないと判定した場合には、ステップＳ５０３へ遷移する。

図６は、ステップＳ５０４または、ステップＳ１００１で行われる情報処理フロー一例を示した構成図である。ステップＳ５０４で処理をする場合、処理主体が情報処理装置１２０となり、ステップＳ１００１で処理をする場合、処理主体が情報処理端末１１０となる。ここでは説明を簡便にするために、情報処理装置１２０を処理主体としたステップＳ５０４で処理をするケースについて記載する。ステップＳ１００１で処理をする場合は、処理主体を情報処理端末１１０に読み替えればよい。

ステップＳ６００では、情報処理装置１２０は、図３、図４で説明したように、ステップＳ５０１で監視カメラ１３０にて撮影された映像に基づいて、ハイアングル映像とローアングル映像とを生成する。ただし、撮影された映像自体がハイアングル映像、ローアングル映像であった場合には、このフローはなくとも良い。具体的には、ハイアングル映像は、搭乗者１４０を、挟んで天井側から床面に向かって撮影された映像である。また、ローアングル映像は、ハイアングル映像の撮影方向に相対する位置で、床側から天井側に向かって、ハイアングル映像を撮影するタイミングと同じタイミングで撮影された映像である。

ステップＳ６０１では、情報処理装置１２０は、映像に映り込んだ搭乗者１４０を検出し解析する。解析を通じて得られる（推定される）情報には、具体的には次のものが含まれ、解析結果は、図８（ｂ）や図８（ｂ´）にて管理される。

１．搭乗者１４０の推定年齢
２．搭乗者１４０の推定される性別（被写体の種別を推定する種別推定手段）
３．公共交通機関１００内の搭乗者１４０同士の距離や位置関係
４．搭乗者１４０の他の被写体との対応関係（知人か他人か）の有無について
５．搭乗者が要注意人物（例えば、前科のある人間か否か）であるか
上記「１．」や「２．」の年齢や性別については、映像に映り込んだ搭乗者１４０を解析して推定する既存の技術が用いられる。また、「３．」については、搭乗者１４０同士の距離（位置関係）が分かれば良く、特段方法は限定しない。具体的な実現方法の一例としては、予め公共交通機関１００内のどこかに基準となる座標の原点を定めておき、検出した被写体（搭乗者１４０）ごとのＸＹ座標から距離や位置関係を詳らかにする方法が考えられる。「４．」については、映像や音声から様々な解析を行って、被写体同士の対応関係の有無を判定する。具体的な実現方法の一例として、以下のような判定方法が含まれる。

イ．会話が交わされているか否か（例えば、映像を解析し、一定時間以上、搭乗者１４０の顔が互いに向き合った状態で、口が開閉している状態や会話と思われる音声が識別できたら「対応関係あり」）
ロ．搭乗者１４０同士が手をつないでいる、腕を組んでいるか否か（そのような状態であれば、「対応関係あり」）
また、上記「５．」については、前科のある人間の映像を予めデータベース（例えば図８（ｄ））で持っておき、そこに登録されている人物画像・映像との突き合せを行うことによって判定することができる。

ステップＳ６０２では、情報処理装置１２０は、ステップＳ６０１で要注意人物を検出（推定）したか否かの判定を行う。そして、検出したと判定された場合にはステップＳ６０２へ遷移する。一方、検出しなかったと判定された場合にはステップＳ６０３へ遷移する。

ステップＳ６０３では、情報処理装置１２０は、要注意人物として検出された搭乗者１４０に基づいて、搭乗者１４０の近傍周囲に図１２（ｂ）のような画質優先領域１１０３を設定する。画質優先領域１１０３は、図１１（ａ）に示されるように、基本的には、被写体同士の距離に応じて（被写体同士が所定の距離…人物が歩を進めず手の届く範囲にいる場合に）、被写体の周囲近傍を「画質が優先する領域」として、設定されるものである。
しかし、このステップでは被写体同士の距離に関わらず画質優先領域１１０３を設定する処理を行っている。これは、要注意人物は、そうでない人物と比べて、問題を起こす可能性が高く、画質を上げて優先的に監視するべき被写体として扱うための処理である。

本実施例における、「画質優先領域１１０３」とは、映像の表示や記録の際に、領域の外周と比べて相対的に画質を優先させる領域である。具体的には、例えば、ハイビジョン画質で撮影した映像を、画質優先領域１１０３では維持し、その近傍周囲はスタンダード画質に落として表示・記録するといったケースが考えられる。つまり、画質優先領域１１０３だけ解像度を高い状態で記録することが、領域内の「画質を優先させる」ことになる。このほかにも、例えば、画質優先領域１１０３をそれ以外の領域よりも、色の諧調を高くする、圧縮率を低くするといった「画質を優先させる」方法も考えられる。

この「画質優先領域１１０３（画質が優先する領域）」を設定することは、裏を返せば、画質優先領域１１０３以外の領域は、画質よりもデータ容量を優先させた「データ量の軽減が優先する領域」になるともいえる。本実施例では画質優先領域１１０３を設定する旨の説明を中心に行っているが、この設定に対応して画質優先領域１１０３でない領域を「データ量の軽減が優先する領域」と設定する処理も、行なわれている。

また、画質優先領域１１０３の設定の仕方の一つの方法として、「要注意人物が映像に含まれる場合は、映像全体の画質を下げない」というやりかたも、考えられる。

ステップＳ６０４乃至６０８では、搭乗者１４０の組み合わせの数だけループ処理を行う。例えば、図１１（ａ）のようにＡ，Ｂ，Ｃの３名の搭乗者がいた場合であれば、３通りの組合せが成立するので、３回ループすることになる。同様に、Ａ，Ｂ，Ｃ，Ｄ，Ｅの５名の搭乗者１４０がいた場合は、１０通りの組合せが成立するので、１０回ループすることになる。ループ処理の結果は、図８の（ｃ）や図８（ｃ´）のようなデータテーブルにて管理される。また、ステップＳ６０４乃至ステップＳ６０７の判定は、図８（ａ）で管理されている条件に基づいて行われる。

ステップＳ６０４では、情報処理装置１２０は、搭乗者１４０の推定年齢が、それぞれ所定の年齢であるか否かを判定する。そして、それぞれの搭乗者１４０の推定年齢が、所定の年齢であると判定した場合には、ステップＳ６０５へ遷移する。一方、搭乗者１４０の推定年齢が、それぞれ所定の年齢ではない（少なくともいずれか一方の年齢が所定の年齢ではない）と判定した場合には、判定対象の搭乗者の組み合わせのループ処理を終了し、次の組合せのループ処理へ移る。例えば、図８（ａ）の条件に基づけば、搭乗者１４０の推定年齢が、男性なら１０歳以上、女性なら１０〜５０歳の条件に両者が合致する場合に、ステップＳ６０５に遷移する。

ステップＳ６０５では、情報処理装置１２０は、搭乗者１４０同士の距離が所定内であるか否かを判定する。そして、搭乗者１４０同士の距離が所定内であると判定した場合には、ステップＳ６０６へ遷移する。一方、搭乗者１４０同士の距離が所定内ではないと判定した場合には、判定対象の搭乗者の組み合わせのループ処理を終了し、次の組合せのループ処理へ移る。例えば、本実施例では、図８（ａ）の条件から導かれる図７の画質優先領域１１０３の定義に基づけば、搭乗者１４０の肩を中心とした半径１００ｃｍ（腕の長さ７０ｃｍ＋リーチ加算３０ｃｍ）で描かれる円の中にもう一方の搭乗者がいるか否かで、判定される。なお、何を以て搭乗者１４０同士の距離が所定内であるかの判定基準については、上記の方法には限定されない。例えば、図１４（ｂ）のように、所定の固定値を予め定めておいてもよいし、搭乗者１４０同士の中心距離が画質優先エリア最大幅７０２−４の直径２４０ｃｍ以内か否か等で判定しても良い。

ステップＳ６０６では、情報処理装置１２０は、搭乗者１４０同士の組合せが所定の組合せであるか否かを判定する。そして、搭乗者１４０同士の組合せが所定の組合せであると判定した場合には、ステップＳ６０７へ遷移する。一方、搭乗者１４０同士の組合せが所定の組合せではないと判定した場合には、判定対象の搭乗者の組み合わせのループ処理を終了し、次の組合せのループ処理へ移る。ここで、何を以て所定の組合せとするかは、この発明を活用するシチュエーションに応じて、定めることができる。例えば、図８（ａ）の条件に従えば、搭乗者同士が、男性と女性の組合せである場合だけ、ステップＳ６０７に遷移する。また、図１４のケースでは、自動車と自転車の組合せとしている。

ステップＳ６０７では、情報処理装置１２０は、搭乗者１４０同士が対応関係にある組合せであるか否かを判定する。そして、搭乗者１４０同士が対応関係にある組合せであると判定した場合には判定対象の搭乗者の組み合わせのループ処理を終了し、次の組合せのループ処理へ移る。何を以て「対応あり（搭乗者１４０同士が、知人である、関係性がある）」とするかは、この発明を活用するシチュエーションに応じて、定めることができる。例えば、図８（ａ）と図１２（ａ）とに基づくならば、搭乗者１４０同士の間に、会話、手つなぎ、腕組などが映像や音声の解析から推定できなかった場合に、「対応関係なし」として、ステップＳ６０８へ遷移する。

ステップＳ６０８では、情報処理装置１２０は、搭乗者１４０同士の間の位置と向きに応じて、画質優先領域１１０３を設定する。領域の設定の仕方は、状況に応じて、様々な設定の仕方があってよい。例えば図１１（ａ）では、図７で受け付けた図８（ａ）の条件に基づいて、左側の女性（♀（２８））の右肩を中心とした円と、中央の男性（♂（２５））の左肩中心とした円とがカバーする領域を、画質優先領域１１０３として設定している。

また、これの変形例として、撮影時のシチュエーションに応じて、さらに細かく条件を設けてもよい。例えば、図１２（ｃ）に示されるように、「つり革を持つ側の手であったら、そうでない場合よりも画質優先領域１１０３を小さく設定する」「電車の混雑度合いによって変える」といった具合である。このように設けることで、必要なタイミングで必要な領域の画質を確保しつつ、そうでない領域の画質をおさえてデータ容量をより効率的に低減できる仕組みを実現することができる。

以上、ステップＳ６０４乃至６０８では、搭乗者１４０の組み合わせの数だけループ処理が行われ、ループ処理の完了後、ステップＳ６０９に遷移する。

ステップＳ６０９では、情報処理装置１２０は、ローアングル画像を基に、サーモグラフィー風のローアングル映像（例えば図９（ｃ）のような）を生成する。ただし、必ずしも「サーモグラフィー風」でなかればならないわけではない。生成されるローアングル映像は、「搭乗者１４０の挙動（特に手の動き）や身体のシルエットは識別しやすいが、衣類や肌の色や輪郭がハッキリとは分からりづらい」ものであればよく、その目的を果たせるものであれば、映像の種類や、生成方法は限定されない。例えば、輝度値を反転させた画像などであっても良い。つまり、所定のパターンに色相を変換した映像を生成することができればよいのである（色相変更映像生成手段）。

このようなローアングル映像の加工・生成が必要な理由は、２つある。

第１の理由は、犯罪行為を検証できる程度の挙動が識別でき点である。ローアングル映像は、犯罪行為が本当にあったかどうかを正しく検証するために、詳細に搭乗者１４０（特に容疑者）の身体（特に手など）のシルエットや挙動が、ある程度精彩に分かるものでなければならない。この点で、サーモグラフィー映像や、輝度値を反転さえた映像などが、好適と言える。

第２の理由は、プライバシーへの配慮である。上記の検証にあたって搭乗者１４０（特に被害者）の、スカートの中などの下着や肌感が、あまりハッキリと識別できるものであると、プライバシーを傷つける。そのため、この点においても、サーモグラフィー映像や、輝度値を反転さえた映像などが、好適と言える。

以上の点から、サーモグラフィー風の映像は、被害者のプライバシーに配慮しつつ、容疑者の犯罪の有無の検証を行うことのできる好適な映像である。無論、ローアングル画像をサーモグラフカメラ（サーモカメラ）で直接得ても良い。ただし、サーモカメラは可視光を撮影するカメラに比べ、かなり高価であるため、コスト的に考えても、可視光を撮影する安価なカメラで撮影した映像を、サーモグラフィー風の映像や、輝度を反転させた画像などに変換するほうが、好適であると言える。

また、サーモグラフィー風の映像を得るための方法は特段とわないが、比較的簡易に行うための方法として、以下のような方法が考えられる（いずれも既知の技術なので、詳細の説明は省く）。

１．色相環へのシグモイド関数の適用をし、サーモグラフィー風の色の変化を再現する
２・ＲＧＢ映像をＨＳＶ色空間へ変換する演算処理を行う
以上のようなプロセスを経ることで、図９（ｂ）ローアングル映像（例えばＲＧＢ映像）は、図９（ｃ）ローアングル映像（サーモグラフィー風）に変換される。

ステップＳ６１０では、情報処理装置１２０は、ステップＳ６０９で生成した映像の左右方向を反転させた映像である、「反転映像（鏡映像、鏡画像）」を生成する。また、ハイアングル映像の反転映像も、生成する。（反転映像生成手段）
このような反転映像が必要なのは、ハイアングル映像とローアングル映像とが、カメラの撮影方向が被写体（搭乗者１４０）を挟んで正対している位置にあるためである。

例えば、図９（ａ）と図９（ｂ）とは、「搭乗者Ａ」「搭乗者Ｂ」「搭乗者Ｃ」のハイアングル映像とローアングル映像の一例を示した構成図である。図９に示される通り、図９（ａ）のハイアングル映像では３人の搭乗者は、左から「Ａ、Ｂ、Ｃ」の並び順である。これに対し、図９（ｂ）のローアングル映像では３人の搭乗者は、左から「Ｃ、Ｂ、Ａ」と逆になっている。つまり、ハイアングル映像の一部分を指定して、そこに対応するローアングル映像をそのまま当てはめようと、あるいは、重ね合わせようしても、綺麗に重ねることができない。これを綺麗に重ね合わせて表示するために、左右を反転させた映像が必要となるのである。そして、このようなプロセスを経ることで、図９（ｃ）のようなローアングル映像（サーモグラフィー風）から、図９（ｄ）のような反転ローアングル映像（サーモグラフィー風）を得ることができる。このように、図９（ａ）と図９（ｄ）とを組みあわせることで、図１１の（ｂ）のような映像を生成することができる。

同じように、図９（ｃ）をメインの画像として、その一部にハイアングル画像を重ねた映像を生成する場合には、図９（ａ）を左右反転させたハイアングル画像を用いればよい。

ステップＳ６１１では、情報処理装置１２０は、情報処理端末１１０の表示部２１０で図１１に示されるような画面表示を行うために必要となる情報である表示情報を生成する。

つまり、被写体（搭乗者１４０）同士の距離（あるいは距離と組合せ）に応じ、画質が優先する領域（画質優先領域１１０３）とデータ量の軽減が優先する領域（画質優先領域１１０３以外の領域）とのうちいずれか一方または両方を含む表示情報（第２の映像）を生成する（第２の映像生成手段）ことができる。

また、同じ被写体を挟んだ２点のアングルの映像（ハイ・ローアングル映像）に基づいて、ハイアングル映像の一部に切換表示領域１１０４を設け、対応するローアングル映像の一部と合わせて、切替え可能に表示できる表示映像を生成する（表示映像生成手段）。

なお、このステップに至るまでのプロセスで、必要な情報が揃っている場合には、表示画面を生成する処理や、ステップＳ５０５で送信する情報を準備する処理であっても良い。図１１に示される表示画面は、ハイアングル映像と反転ローアングル映像とを組み合わせて構成されるか、ローアングル映像と反転ハイアングル映像とを組み合わせて構成される。また、特にローアングル映像は、サーモグラフ調に見える処理が施されたものが用いられる。

また、このステップで、生成する「表示情報」には、少なくとも２つのパターンが考えられる。１つ目は、情報処理端末１１０の表示部２１０で表示するための表示画面をこのステップで生成し、これをステップ５０５で「表示情報」として情報処理端末１１０に送信し、表示部２１０で表示させる方法である。２つ目は、情報処理端末１１０の表示部２１０で表示するための表示画面は、情報処理端末１１０で生成させるよう設けておき、このステップでは表示画面を生成するために必要な情報を生成（あるいは準備）するに留め、これらの取りまとめた情報を、「表示情報」として、ステップ５０５で情報処理端末１１０に送信する方法である。

前者のメリットは、情報処理端末１１０に表示画面を生成するための情報処理の負担をかけないことと、送信するデータ量を抑えられることである。

後者のメリットは、情報処理装置１２０に表示画面を生成するための情報処理の負担をかけないことと、情報処理端末１１０でユーザの希望する画面構成の指示を受付けて、その指示に対応した表示画面を生成できることである。

ステップＳ６１２では、情報処理装置１２０は、表示映像に付加するための様々な付加情報を対応させる（このステップはステップＳ６１１に含めてしまってもよい）。

付加情報の一例としては、図８（ｂ）に示されるような、搭乗者１４０の推定年齢、推定性別、位置、対応関係のほか、図８（ｄ）に対応する人物であるか否か、といった情報が含まれる。また、図８（ａ）及び図８（ｃ）に示されるような、どんな条件に従って、どの搭乗者の組合せで、どの程度の画質優先領域１１０３や切換表示領域１１０４を設定すればよいか、といった情報も含まれる。表示情報と付加情報とは、別個の情報として取り扱っても良い。また、付加情報を「表示情報」の一部として、「表示情報」の概念の中に含めてしまっても良い。

図７は、表示映像の生成にあたり、どのような条件で画質優先領域１１０３や切換表示領域１１０４を設定するかを、ユーザから受付けるための画面の一例を示した構成図である。また、図７の画面は、情報処理端末１１０の表示部２１０で表示される（情報処理装置１２０の表示部２１０でもよい）。

画質優先対象推定年齢受付ボックス７０１は、画質優先領域１１０３や切換表示領域１１０４を設定する搭乗者１４０の推定年齢に関する条件を、ユーザから受付けるための領域である。このように設けることで、ユーザが被害者となる可能性があるとは考えづらい搭乗者１４０（例えば乳幼児など）を除外でき、映像処理の軽減や、映像データの容量軽減に貢献できる。対象年齢の設定については、図７にある通り、より細かく処理条件が設定できるよう、性別ごとに入力を受付けられるよう設けておいてもよい。

画質優先領域イラスト７０２は、搭乗者１４０に対応する画質優先領域１１０３や切換表示領域１１０４を識別可能に表示するオブジェクトである。画質優先領域イラスト７０２に関する高解像度の領域は、７０２−１乃至３で受け付ける各パラメータに基づいて決定される。

身長（リーチ）受付ボックス７０２−１は、搭乗者１４０の腕の長さ（≒身長）を受け付けるボックスである。図７では、日本人成人男性の平均身長１７１ｃｍに９ｃｍを加えた、１８０ｃｍを基準として定めているが、任意に定められる。

腕の長さ受付ボックス７０２−２は、搭乗者１４０の肩から指先までの長さを受け付けるボックスである。図７では、一例として７０ｃｍを基準として定めている。

リーチ加算受付ボックス７０２−３は、腕の長さにプラスしてどこまでを「手の届く距離」とするかをユーザから受け付けるためのボックスである。一般的には腕の長さに３０ｃｍプラスした程度の距離が動かず自然に手が届く範囲であるので、そのように設定している。

画質優先エリア最大幅７０２−４は、搭乗者１４０を基準に、その近傍周囲に高解像度領域を設定した際の、最大幅である。本実施例では、「リーチ１８０ｃｍ＋リーチ加算３０ｃｍ×２＝２４０ｃｍ」と計算している。

画質優先領域１１０３は、搭乗者１４０を基準に、その近傍周囲に設定される他の領域よりも解像度の高い領域である。具体的には例えば、元の映像がハイビジョンであった場合に、この点線の中はハイビジョン画質で、外はスタンダード画質の映像とする、といった具合である。このように、所定の範囲（搭乗者の手の届く範囲＝事案の発生する範囲）だけを高画質で、それ以外の領域の画質を低減することで、必要な場所の画質が確保されつつ、全体の情報量を抑えた映像を、残しておくことができる。

図７の画質優先領域１１０３は、要注意人物が検出された際に設定される領域が表示されており、搭乗者１４０の両肩を中心として描かれる半径１００ｃｍの２つの円に含まれる領域が画質優先領域１１０３として設定されている。一方、図１１では、搭乗者１４０同士の組合せと距離とで画質優先領域１１０３が決定されており、搭乗者１４０同士の互いに近い側の肩を中心として描かれる２つの２つの円に含まれる領域が画質優先領域１１０３として設定されている。

この実施例では、この円の半径１００ｃｍは、腕の長さ７０ｃｍ＋リーチ加算３０ｃｍで計算しているが、どのように定めるかは、上記実施例にかかわらず様々な計算方法があってよい。しかし、犯罪の有無の検証を行うという目的の都合上、好適には、成人男性の腕の長さ＋α程度は搭乗者１４０の近傍周囲が解像度の高い状態で記録・表示されることが望ましい。上記の計算は、これを踏まえて行った一例であり、１００ｃｍは、腕を伸ばせば足を動かさずに手の届くリーチ（＝画質優先領域）として想定しやすい距離であると言える。

画質優先組合せ受付ボックス７０３は、画質優先領域１１０３や切換表示領域１１０４を設定する搭乗者１４０同士の組合せに関する条件を、ユーザから受付けるための領域である。

統計的な電車内のトラブルの組合せを見てみると、九割九分以上が、男性と女性に偏っている。そのため、公共交通機関内に限定するならば、高解像度の組合せは異性の組合せのみに絞り込んでおくことが効率的であるように思われる。しかしながら、どのような組み合わせが条件として好適であるかは、用途や時代の変化、シチュエーション等によって異なる場合もあり得る。そのため、ユーザが任意の組みあわせを指定できるよう設けている。例えば、「暴力の絡む電車内トラブルは、特定年齢の男性の組合せが多い」といった傾向があったとしたならば、男性同士の組合せを条件に入れる、といった具合である。

スキップ対応関係受付ボックス７０４は、画質優先領域１１０３や切換表示領域１１０４を設定しない（スキップする）搭乗者１４０同士の組合せに関する条件を、ユーザから受付けるための領域である。具体的な一例を挙げると、図１２（ａ）に示されるような、ずっと手をつないでいる、搭乗者１４０同士が向きあって会話を交わしているなど映像解析で、搭乗者１４０同士が知人やカップルであると推定されるようなケースである。

このような組み合わせの場合には、犯罪が成立する可能性は、まずほとんどないと考えられるので、画質優先領域１１０３や切換表示領域１１０４を設定しないように設定できるように設けておくことで、データ容量の軽減を図ることができる。

また、図１２（ｃ）に示されるように、「つり革を持つ側の手だけ、画質優先領域１１０３を小さく設定する」といったような、制御を行う選択肢があっても良い。

特別画質優先条件受付ボックス７０５は、諸条件に関係なく、特定の条件で搭乗者１４０の近傍周囲に画質優先領域１１０３や切換表示領域１１０４を設定するための条件の指定をユーザから受付けるためのボックスである。具体的な一例としては、過去に前科のある人物の映像情報をデータベースに予めっ登録しておき、そのような搭乗者１４０が認められた場合に、設定するような構成とすればよい。このような条件に基づいて、例えば、図１２（ｂ）のような形で、画質優先領域１１０３が設けられる。

送信ボタン７０６は、図７の画面でユーザから受付けた様々な条件を、表示映像を生成するハードウエア（情報処理端末１１０や情報処理装置１２０）に送信するためのボタンである。

切換表示領域自動設定受付ボックス７０７は、切換表示領域１１０４を自動設定するか否かの指示をユーザから受付けるチェックボックスである。

図８は、情報処理装置１２０で管理されるデータテーブルの一例を示した構成図である。表示映像を生成するハードウエアが情報処理端末１１０である場合には、情報処理端末１１０でも用いられる。

図８（ａ）は、表示映像の生成に関する諸条件を管理するデータテーブルの一例を示した構成図である。８０１では、画質優先対象推定年齢受付ボックス７０１で受付けた条件を管理する。

８０２−１では、身長（リーチ）受付ボックス７０２−１で受けつけた値を管理する。

８０２−２では、腕の長さ受付ボックス７０２−２で受けつけた値を管理する。

８０２−３では、リーチ加算受付ボックス７０２−３で受けつけた値を管理する。

８０２−４では、画質優先エリア最大幅の値を管理する。

８０３では、画質優先組合せ受付ボックス７０３で受付けた条件を管理する。

８０４では、スキップ対応関係受付ボックス７０４で受付けた条件を管理する。

８０５では、特別画質優先条件受付ボックス７０５で受付けた条件を管理する。

８０７では、切換表示領域自動設定受付ボックス７０７で受付けた条件を管理する。

図８（ａ）で管理される条件は、図７の画面と対応するものであり、図７および図８（ａ）で一例として挙げた条件以外にも、様々な条件を設定することができる。

図８（ｂ）はステップＳ６０１にて映像から抽出された情報を管理するデータテーブルの一例を示した構成図である。図８（ｂ）においては、８１１では搭乗者１４０を、８１２では推定年齢を、８１３では推定性別を、８１４では推定位置を、８１５では映像から推定される他の搭乗者との対応関係の有無の結果を、それぞれ管理している。図８（ｂ）で管理される内容は、Ｓ６０１の映像解析の結果と対応するものであり、図８（ｂ）で一例として挙げた解析結果以外にも、様々な映像解析を実施し、その結果を管理することができる（「例えば要注意人物」である、と推定されたなど）。図８（ｂ´）は、図１２（ａ）のような、画質優先領域１１０３や切換表示領域１１０４を設定するべき条件の距離と組合せではあるが、関係性のある搭乗者１４０（人物ＤとＥ）を加えた場合の一例を示している。図に示されるような「Ｄ×Ｅ」といった形で対応関係が示されている。

図８（ｃ）は、ステップＳ６０４乃至６０８の搭乗者１４０同士の組合せのうち、どの組合せを基準にして画質優先領域１１０３や切換表示領域１１０４を設定するかをの条件を管理するデータテーブルの一例である。このデータテーブルの行と列は、搭乗者１４０の人数と対象年齢とに基づいて組合せ数が決定される。一番上と左側は搭乗者１４０をあらわしており、図８（ｂ）で管理されている条件に基づいて、解像度を高く設定するべき組合せのますに「○」印がついている。図８（ｃ´）は、図８（ｂ´）のシチュエーションにおける組合せ表の一例を示している。この組合せ表では、人物ＤとＥは対応関係にあるので「対」と記されて管理され、所定の距離、組合せであっても、画質優先領域１１０３を設けない制御がなされるよう、設けられている。

図８（ｄ）は、要注意人物のリストである。人物名とその映像データとが紐づけられており、映像解析の際に、このリストに該当する人物がいるか否かの判定がなされる。映像は、映像の解析ができるものであれば良く、ファイル形式は特に問わない。映像の中に、このリストに対応する人物が識別された場合には、図１２（ｂ）に示されるように、搭乗者同士の距離と組合せに関わらず、画質優先領域１１０３が設定される。

図９は、監視カメラ１３０から得られた映像の一例と、その映像を基に生成された映像の一例とを示した構成図である。

図９（ａ）は、ハイアングル映像の一例を示した構成図である。図９（ａ）には、「イ」「ロ」「ハ」３名の搭乗者１４０が搭乗している。図９（ｂ）は、図９（ａ）のシチュエーションにおけるローアングル映像の一例を示した構成図である。図９（ａ）と図９（ｂ）とは搭乗者１４０を挟んで互いに向かい合わせになるカメラアングルの映像であるが、監視カメラ１３０から得られた実画像であっても良いし、図３で説明したように、複数の監視カメラの映像を合成した映像であっても良い。

図９（ｃ）は、図９（ｂ）のローアングル映像を、サーモグラフィー風に加工した映像ある。ローアングルカメラ１３２がサーモカメラであった場合には、撮影画像を用いても良い。おなじように、図９（ａ）のようなハイアングル映像も、サーモグラフィー風に加工した映像を生成することができる（不図示）。

図９（ｄ）は、図９（ｃ）を左右反転させた画像（反転ローアングル画像）の一例を示した構成図である。反転画像は、図１３（ｃ）に示されるように、サーモグラフィー風にしなくとも、生成することができる。

図１０は、ステップＳ５０７の表示処理に関するサブフローの一例を示した構成図である。

ステップＳ１００１では、情報処理端末１１０は、ステップＳ５０６で受信した「映像表示のための情報（表示情報と付加情報）」に基づいて映像の処理を行い、表示部２１０で表示するための表示画面を生成する。この場合には、ステップＳ６１１の処理が表示画面の生成となる。

また、ステップＳ５０４で既に表示画面の生成が済んでいて、ステップＳ５０６で受信した「映像表示のための情報（表示情報と付加情報）」が表示画面であった場合には、このステップは飛ばしても良い。

ステップＳ１００２では、情報処理端末１１０は、ステップＳ５０４またはステップＳ１００１で生成された表示映像を、表示部２１０に表示する。この際、対応付けられている付加情報も、共に表示する。

ステップＳ１００３では、情報処理端末１１０は、切換表示領域１１０４が自動設定であるか否かの判定を行う。そして、自動設定である場合には、ステップＳ１００４に遷移する。一方、自動設定ではない場合には、ステップＳ１００５に遷移する。

ステップＳ１００４では、情報処理端末１１０は、画質優先領域１１０３と重なる位置に切換表示領域１１０４を設定する。

ステップＳ１００５では、情報処理端末１１０は、表示部２１０を介してユーザから切換表示領域１１０４の指定を、受付ける。（所定の領域（切換表示領域１１０４）をユーザより受付ける範囲受付手段）
ステップＳ１００６では、情報処理端末１１０は、ステップＳ１００５で切換領域の指定を、受付けたか否かの判定を行う。そして、受付けたと判定した場合には、ステップＳ１００７に遷移する。一方、受付けていないと判定した場合には、ステップＳ１００８に遷移する。

ステップＳ１００７では、情報処理端末１１０は、ステップＳ１００５にてユーザから受付けた指示に基づいて切換表示領域１１０４を設定するとともに、ユーザがその範囲を識別できるよう、映像に重ね合わせて表示部２１０に表示する。

ステップＳ１００８では、情報処理端末１１０は、切換表示領域１１０４におけるハイアングル画像と反転ローアングル画像（サーモグラフ風）との切換え指示を、ユーザから受付ける（ローアングル映像と、反転ハイアングル映像であってもよい）。

ステップＳ１００９では、情報処理端末１１０は、ステップＳ１００８でユーザから切換表示領域１１０４の切換え指示を受付けたか否かの判定を行う。そして、切換え指示を受付けたと判定した場合には、ステップＳ１０１０に遷移する。一方、切換え指示を受付けていないと判定した場合には、ステップＳ１０１１遷移する。

ステップＳ１０１０では、情報処理端末１１０は、ステップＳ１００８のユーザの指示に従って、切換表示領域１１０４のハイアングル映像とローアングル映像との切り替え処理を行う。切り替え画像のうちいずれか一方は、反転画像である。また、ローアングル映像は、サーモグラフィー風の処理が施された映像である。

ステップＳ１０１１では、情報処理端末１１０は、ユーザから本フローを終了させる旨の指示を、受付ける。

ステップＳ１０１２では、情報処理端末１１０は、ステップＳ１０１０で指示を受付けたか否かの判定を行う。そして、指示を受付けたと判定した場合には、本フローを終了する。一方、指示を受付けていないと判定した場合には、ステップＳ１００１に遷移する。

図１１は、情報処理端末１１０の表示部２１０に表示する、表示映像の一例を示した構成図である。

映像表示領域１１０１は、ハイアングル映像やローアングル映像を含む映像を表示する領域である。

切替えタグ１１０２は、映像表示領域１１０１に表示するのメインの映像を、ハイアングル映像とローアングル映像の、いずれにするかをユーザの選択を受付けて切替えるタグである。図９（ａ）では、ハイアングル画像がメインの画像（メイン画像）として表示されている。

画質優先領域１１０３は、図７の表示画面を通じてユーザから受付けた諸条件に従って、他の領域よりも画質を優先させた映像が表示あるいは記録される領域である。この領域の境界は、図に示されるように、領域の境界を線で囲うなどしておくことが好ましい。そうすることで、ユーザが「画質を優先する領域」と「データ量を軽減した領域」とを識別可能に表示することができるからである。このような識別可能な表示の考え方は、後述の切換表示領域１１０４についても同様である。

切換表示領域１１０４は、ユーザからの切換え指示を受付けると、領域内の対応するハイアングル映像と、ローアングル映像とを切替える領域である。切替えられる映像の一方は、左右の反転した映像（反転映像）である。

ここで、画質優先領域１１０３と切換表示領域１１０４とについて説明する。図１１では、図１１の（ｂ）と（ｃ）に示されるように、両者のうち切換表示領域１１０４がドラッグ操作（スワイプ操作）にて移動できるように設けられている。ただし、このような動作を実現させるためには、表示情報に、ハイアングル映像とローアングル映像の両方を持っていなければならず、その分データ量は増える。そのかわり、切換表示領域１１０４をユーザが任意に拡大・縮小したり、移動させたりすることができる。反対に、切換表示領域１１０４を画質優先領域１１０３と共に、固定で設定してしまえば、データ量は押さえることができる。これは、切換表示領域１１０４に対応する図１１（ａ）のハイアングル映像と、図１１（ｂ）の切換表示領域１１０４に表示するための反転ローアングル映像（サーモグラフィー風）の部分的な映像とに用いて、表示画像を生成すればよいからである。

また、ハイ・ロー両方のアングルの高解像度の画像を準備・保存できるような環境であれば、画質優先領域１１０３がユーザの動くように設けられていても良い。そして、画質優先領域１１０３と切換表示領域１１０４とが常に一体のものとして動かせるように設けられていてもよい。

マウスカーソル／ユーザの指１１０５は、表示部２１０の映像表示領域１１０１でクリック操作（タッチ操作）、ドラッグ操作（スワイプ操作）等の動き通じて様々な指示をするためのものである。

切換表示領域設定ボタン１１０６は、切換表示領域１１０４を任意に設定するモードに切替える指示を、ユーザから受付けるためのボタンである。このボタンの選択を受付けてから映像表示領域１１０１の中の範囲指定を受付ける（切換表示領域１１０４をユーザより受け付ける範囲受付手段）と、受付けた範囲に基づいて切換表示領域１１０４が設定される。

再生状況表示バー１１０７は、映像表示領域１１０１で表示される映像の再生・停止・送りの指示をユーザから受付けるためのオブジェクトである。

搭乗者情報１１０８は、ステップＳ６０１の解析で得られた搭乗者１４０に関する情報を表示するオブジェクトである。ステップＳ６１２にて、付加情報として映像に対応付けられるこの情報は図８（ａ）で管理されているものである。

図１２は、映像内の搭乗者１４０と、画質の設定についての関連の一例を示した構成図である。

図１２（ａ）は、ステップＳ６０１の映像の解析で、搭乗者１４０同士に対応関係があると識別された搭乗者１４０の様子の一例を示した構成図である。図１２（ａ）のように、搭乗者同士が手をつないだり、顔を向き合って会話を交わしていたりすることが映像解析から明らかになった場合は、知人である、つまり事案・犯罪が起きる可能性は高くない（無視してよい）と判断できる。このため、搭乗者１４０同士の距離やの組合せにかかわらず、画質優先領域１１０３に設定しない組合せとして扱うことができる。

図１２（ｂ）は、ステップＳ６０１の映像の解析で、要注意人物として抽出された搭乗者１４０の近傍周囲を、画質優先領域１１０３として設定した一例を示した構成図である。

本願発明の情報処理装置１２０や情報処理端末１１０は、映像に映り込んだこのような被写体（搭乗者１４０）のうち、特定の被写体（要注意人物）を識別することができる（特定被写体識別手段）。

このような人物は、そうでない搭乗者１４０と比較して問題を起こす可能性があると考えられる。したがって、このような搭乗者１４０の場合には、搭乗者１４０同士の距離に関わらず近傍周囲に画質優先領域１１０３を設定することが好適と言える。

図１２（ｃ）は、搭乗者１４０がつり革をつかんでいるシーンの一例を示した構成図である。本願発明の情報処理装置１２０や情報処理端末１１０は、映像に映り込んだこのような被写体（搭乗者１４０）の所作のうち、特定の被写体の所作を識別することができるよう設けられている（特定所作識別手段）。

つり革につかまっている間は手が塞がる。このため、つり革をつかんでいる間は、手・腕の周囲は、犯罪の発生する可能性は極めて低いと考えることができる。そこで、つり革をつかんでいる側の周囲の画質優先領域１１０３は、データ容量の節約のために、小さく設定するのである。これを応用して、例えば本や携帯通信機器を手にしているような場合でも、同様の処理を行っても良い。

以上が、公共交通機関１００を想定した本願発明の実施例であるが、画像解析と組み合わせて、画質優先領域１１０３の設定条件は、他にも様々に設けられるようにしておいてもよい。例えば、特定の時間帯（例えば平日の通院時間帯）や所定以上の乗車率（例えば花火大会後など）の際には、画質優先領域１１０３を全領域に拡大する、といった設定が考えられる。また、座席シートのような事案の発生しづらい・ローアングル画像が撮影できないような特定の場所は、画質優先領域１１０３から外すといったことも考えられる。反対に、ドア横などの事案の発生しやすい特定の場所は、ピンポイントで画質優先領域１１０３にする、といった設定も好適である。

図１３は、図１１の変形応用例の一例を示した構成図である。

図１３（ａ）は、投球の瞬間の投手の様子を、前方から撮影した映像（前方映像）の一例であり、図１３（ｂ）は、同じシーンを後方から撮影した映像（後方映像）の一例である。

図１３（ｃ）は、図１３（ｂ）から生成した左右を反転させた映像（反転後方映像）である。

図１３（ｄ）は、図１１（ａ）のように、図１３（ａ）と図１３（ｃ）とに基づいて生成した表示画像である。図１３（ａ）では、右手が頭で隠れてしまって見えない。そこで、その周囲を切換表示領域１１０４とし、その領域に対応する図１３（ｃ）の映像が重ねあわされて（あるいは入れ替えられて）表示されている。

このように表示したことで、頭の後ろに隠れてしまった後方の手の様子を、前方から撮った映像に重ね合わせて確認できるようになっている。

上記に挙げたように、本実施例で取り上げた一方の画像の一部の領域に対応させて、もう一方の反転映像・画像を重ね合わせる表示映像を生成する方法は、ハイアングルとローアングルの組合せに限らず応用することが可能である。つまり、前後、上下、左右いずれの方向であっても、被写体を挟んで向かい合わせとなる映像であれば、適用することができる。

１３０１は、切替えタグ１１０２と同じ役割を果たすタグで、前方映像がメイン映像である表示画面と、後方映像がメイン映像である場合の表示画面とを切り替えることができる。

図１４は、図１１の変形応用例の一例を示した構成図である。

自動車１４０１は、車道を走る自動車である。

自転車１４０２は、車道を走る自転車である。

距離条件１４０３は、画質優先領域１１０３を設定するための、被写体同士の距離に関する条件である。

図１４（ａ）は、自動車Ａ，自動車Ｂ、自転車Ａ，自転車Ｂが、並走しているシーンを監視カメラが上方から撮影した映像である。このシーンにおいて、画質優先領域１１０３を設定する条件は下記の２つである。

被写体の組合せの条件：自動車と自転車の組合せである
被写体の距離の条件 ：互いの距離が距離条件１４０３のＸ未満（図１４（ｂ））
このような条件は、自動車同士よりも、自動車と自転車の接触によるトラフィックアクシデントが起こりやすく、被害も大きいため、そのようなシーンを特に優先して撮影する必要があることから、設定されたものである。

図１４（ａ）では、上記を満たす組合せは、自動車Ｂと自転車Ａの組合せであり、両者の間に、画質優先領域１１０３（面π。図１４（ｃ）参照）が設けられている。なお、図１４（ａ）では、画質優先領域１１０３は、被写体同士の中間地点と、自転車の中心部分とに基づいて、設定される。

このように、被写体同士の組合せと互いの距離とで、所定の領域の解像度（画質）を制御するアイディアは、図１１のようなシーンだけでなく図１４のシーンのように、様々な応用が可能である。

以上説明したように、本発明は、同じ被写体を異なる視点で撮影した２つの映像を、被写体の対応関係が分かりやすく表示するための仕組みを提供することができる。

また、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 公共交通機関
１１０ 情報処理端末
１２０ 情報処理装置
１３０ 監視カメラ
１３１ ハイアングルカメラ
１３２ ローアングルカメラ
１４０ 搭乗者
１４１ 男性搭乗者
１４２ 女性搭乗者
１５０ 通信ネットワーク
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ ＫＢ／ボタン／タッチパネル
２１０ 表示端末（表示部）
２１１ 外部メモリ
３００ 仮想画像視点
７０１ 画質優先対象推定年齢受付ボックス
７０２ 画質優先領域イラスト
７０２−１ 身長（リーチ）受付ボックス
７０２−２ 腕の長さ受付ボックス
７０２−３ リーチ加算受付ボックス
７０２−４ 画質優先エリア最大幅
７０３ 画質優先組合せ受付ボックス
７０４ スキップ対応関係受付ボックス
７０５ 特別画質優先条件受付ボックス
７０６ 送信ボタン
１１０１ 映像表示領域
１１０２ 切替えタグ
１１０３ 画質優先領域
１１０４ 切換表示領域
１１０５ マウスカーソル／ユーザの指
１１０６ 切換表示領域設定ボタン
１１０７ 再生状況表示バー
１１０８ 搭乗者情報
１４０１ 自動車
１４０２ 自転車
１４０３ 距離条件

本発明は、映像を扱う情報処理装置であって、同じ被写体を撮影した異なるアングルの映像のうち、第１のアングルの映像の所定の領域に、当該第１のアングルの映像と同じシーンの映像であって、当該所定の領域に対応する第２のアングルの映像の一部の映像を、合わせた映像である表示映像を生成する表示映像生成手段を備えることを特徴とする。

Claims (12)

1. 映像を扱う情報処理装置であって、
   同じ被写体を挟んだ２点のアングルの映像のうち、第１のアングルの映像の所定の領域に、当該第１のアングルの映像の撮影された時期と同じ時期に撮影された第２のアングルの映像の一部であって、当該所定の領域に対応する第２のアングルの映像の一部を、合わせた映像である表示映像を生成する表示映像生成手段を備えることを特徴とする情報処理装置。
2. 前記所定の領域は、ユーザからの映像の切換え指示を受付け可能に設けられ、
   前記表示映像生成手段は、ユーザからの切換え指示を受け付けると、前記領域に対応する第１のアングルの映像の一部と、第２のアングルの映像の一部とを切替え可能に表示できる表示映像を生成することを特徴とする請求項１に記載の情報処理装置。
3. 左右を反転させた映像を生成する反転映像生成手段を更に備え、
   前記表示映像生成手段で生成する表示映像の第２のアングルの映像の一部は、前記反転映像生成手段で左右を反転させた映像であることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記所定の領域をユーザより受付ける範囲受付手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記表示映像生成手段は、映像に映り込んでいる被写体の周囲近傍に、所定の領域を設定した表示映像を生成することを特徴とする請求項１乃至４のうちいずれか１項に記載の情報処理装置。
6. 所定のパターンに色相を変換した映像を生成する色相変更映像生成手段を更に備え、
   前記表示映像生成手段で生成する表示映像の第２のアングルの映像の一部は、前記色相変更映像生成手段で所定のパターンに色相を変換した映像であることを特徴とする請求項１乃至５のうちいずれか１項に記載の情報処理装置。
7. 前記表示映像生成手段で生成する表示映像の第２のアングルの映像は、サーモグラフカメラで撮像された映像であることを特徴とする請求項１乃至６のうちいずれか１項に記載の情報処理装置。
8. 映像を扱う情報処理装置における制御方法であって、
   前記情報処理装置の表示映像生成手段が、同じ被写体を挟んだ２点のアングルの映像のうち、第１のアングルの映像の所定の領域に、当該第１のアングルの映像の撮影された時期と同じ時期に撮影された第２のアングルの映像の一部であって、当該所定の領域に対応する第２のアングルの映像の一部を、合わせた映像である表示映像を生成する表示映像生成工程を含むことを特徴とする制御方法。
9. 映像を扱う情報処理装置で読み取り実行が可能なプログラムであって、
   前記情報処理装置を、
   同じ被写体を挟んだ２点のアングルの映像のうち、第１のアングルの映像の所定の領域に、当該第１のアングルの映像の撮影された時期と同じ時期に撮影された第２のアングルの映像の一部であって、当該所定の領域に対応する第２のアングルの映像の一部を、合わせた映像である表示映像を生成する表示映像生成手段として機能させることを特徴とするプログラム。
10. 映像を扱う情報処理のシステムであって、
    同じ被写体を挟んだ２点のアングルの映像のうち、第１のアングルの映像の所定の領域に、当該第１のアングルの映像の撮影された時期と同じ時期に撮影された第２のアングルの映像の一部であって、当該所定の領域に対応する第２のアングルの映像の一部を、合わせた映像である表示映像を生成する表示映像生成手段を備えることを特徴とする情報処理のシステム。
11. 映像を扱う情報処理のシステムにおける制御方法であって、
    前記情報処理のシステムの表示映像生成手段が、同じ被写体を挟んだ２点のアングルの映像のうち、第１のアングルの映像の所定の領域に、当該第１のアングルの映像の撮影された時期と同じ時期に撮影された第２のアングルの映像の一部であって、当該所定の領域に対応する第２のアングルの映像の一部を、合わせた映像である表示映像を生成する表示映像生成工程を含むことを特徴とする制御方法。
12. 映像を扱う情報処理のシステムで読み取り実行が可能なプログラムであって、
    前記情報処理のシステムを、
    同じ被写体を挟んだ２点のアングルの映像のうち、第１のアングルの映像の所定の領域に、当該第１のアングルの映像の撮影された時期と同じ時期に撮影された第２のアングルの映像の一部であって、当該所定の領域に対応する第２のアングルの映像の一部を、合わせた映像である表示映像を生成する表示映像生成手段として機能させることを特徴とするプログラム。
    
    

Images