JP2015053636A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
JP2015053636A
JP2015053636A JP2013186305A JP2013186305A JP2015053636A JP 2015053636 A JP2015053636 A JP 2015053636A JP 2013186305 A JP2013186305 A JP 2013186305A JP 2013186305 A JP2013186305 A JP 2013186305A JP 2015053636 A JP2015053636 A JP 2015053636A
Authority
JP
Japan
Prior art keywords
image
unit
captured
images
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013186305A
Other languages
English (en)
Other versions
JP6187811B2 (ja
JP2015053636A5 (ja
Inventor
靖二郎 稲葉
Yasujiro Inaba
靖二郎 稲葉
良太 小坂井
Ryota Kosakai
良太 小坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013186305A priority Critical patent/JP6187811B2/ja
Priority to EP14767156.4A priority patent/EP3000111A1/en
Priority to PCT/JP2014/004472 priority patent/WO2015033546A1/en
Priority to US14/901,770 priority patent/US11265525B2/en
Priority to CN201480037279.9A priority patent/CN105359504B/zh
Publication of JP2015053636A publication Critical patent/JP2015053636A/ja
Publication of JP2015053636A5 publication Critical patent/JP2015053636A5/ja
Application granted granted Critical
Publication of JP6187811B2 publication Critical patent/JP6187811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】複数のカメラで撮影された複数の画像を、ユーザが扱いやすい形で提供する。【解決手段】 複数のカメラの位置関係が取得され、複数のカメラの位置関係に基づいて、複数のカメラで撮影された複数の撮影画像のそれぞれに、複数の撮影画像を連結するための位置順位が付けられる。本技術は、例えば、複数のカメラで被写体を撮影することにより得られる複数の撮影画像の再生や編集を行う場合等に適用することができる。【選択図】図2

Description

本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、複数のカメラで撮影された複数の画像を、ユーザが扱いやすい形で提供することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
例えば、複数のカメラで撮影された複数の動画を素材として用いて、動画の編集を行う技術が提案されている(例えば、特許文献1を参照)。
特開2012-004739号公報
多数のカメラで撮影された編集の素材となる多数の動画の編集や視聴にあたり、その多数の動画(の再生画面や、動画の最初の画面等のシンボル)を、単に、並べて表示するのでは、例えば、近い位置で撮影された動画どうしが、離れて配置されることや、離れた位置で撮影された動画どうしが、近くに配置されること等があり、ユーザが扱いにくいことがある。
本技術は、このような状況に鑑みてなされたものであり、複数のカメラで撮影された複数の画像を、ユーザが扱いやすい形で提供することができるようにするものである。
本技術の画像処理装置、又は、プログラムは、複数のカメラの位置関係を取得するカメラ位置関係取得部と、前記複数のカメラの位置関係に基づいて、前記複数のカメラで撮影された複数の撮影画像のそれぞれに、前記複数の撮影画像を連結するための位置順位を付ける位置順位付け部とを備える画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。
本技術の画像処理方法は、複数のカメラの位置関係を取得し、前記複数のカメラの位置関係に基づいて、前記複数のカメラで撮影された複数の撮影画像のそれぞれに、前記複数の撮影画像を連結するための位置順位を付けるステップを含む画像処理方法である。
以上のような本技術においては、複数のカメラの位置関係が取得され、前記複数のカメラの位置関係に基づいて、前記複数のカメラで撮影された複数の撮影画像のそれぞれに、前記複数の撮影画像を連結するための位置順位が付けられる。
なお、画像処理装置は、独立した装置どうしであっても良いし、1つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、複数のカメラで撮影された複数の画像を、ユーザが扱いやすい形で提供することが可能となる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
複数のカメラで撮影された画像の視聴の例を説明する図である。 本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 画像処理装置が行う画像処理の例の概要を説明する図である。 カメラ位置関係取得部31と位置順位付け部32が行う位置順位付け処理の例を説明するフローチャートである。 2つのカメラc#1及びc#2で、2つの撮影画像が撮影された場合の位置順位付け処理の例を説明する図である。 3つのカメラc#1,c#2,c#3で、3つの撮影画像が撮影された場合の位置順位付け処理の例を説明する図である。 4つのカメラc#1,c#2,c#3,c#4で、4つの撮影画像が撮影された場合の位置順位付け処理の例を説明する図である。 位置順位付け処理のその他の例を説明する図である。 並び替え部33が行う並び替え処理の第1の例を説明する図である。 並び替え部33が行う並び替え処理の第2の例を説明する図である。 並び替え部33が行う並び替え処理の第3の例を説明する図である。 並び替え部33が行う並び替え処理の第4の例を説明する図である。 並び替え部33が行う並び替え処理の第5の例を説明する図である。 並び替え部33が行う並び替え処理の例を説明するフローチャートである。 逆並び替え部34が行う逆並び替え処理の例を説明する図である。 逆並び替え部34が行う逆並び替え処理の例を説明するフローチャートである。 撮影状態画像生成部35が生成する撮影状態画像の第1の表示例を示す図である。 撮影状態画像生成部35が生成する撮影状態画像の第2の表示例を示す図である。 撮影状態画像生成部35が生成する撮影状態画像の第3の表示例を示す図である。 カメラ位置関係取得部31と撮影状態画像生成部35が行う撮影状態画像生成処理の例を説明するフローチャートである。 表示制御部14及び画像間引き部36が行う画像間引き処理の例を説明する図である。 表示制御部14及び画像間引き部36が行う画像間引き処理の例を説明するフローチャートである。 再生対象設定部37が行う再生対象設定処理の例を説明する図である。 再生対象設定部37が行う再生対象設定処理の他の例を説明する図である。 再生対象設定部37が行う再生対象設定処理の例を説明するフローチャートである。 グループの複数の撮影画像を、ループ状に連結した場合にメリットがあるとはいえないケースの一例を説明する図である。 位置順位付け部32が行うループ連結判定処理の例を説明するフローチャートである。 ループ連結判定処理を説明する図である。 ループ連結判定処理を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
<複数のカメラで撮影された画像の視聴>
図1は、複数のカメラで撮影された画像の視聴の例を説明する図である。
図1では、サッカー競技場において、サッカーの試合が、複数の(ビデオ)カメラで、様々な撮影位置から撮影されている。
ここで、多数のカメラで、サッカーの試合を撮影するケースとしては、例えば、放送局が番組放送のために行うケースや、グループとしての複数の観客が、手持ちのカメラを用いて、あるいは、ウェアラブルカメラを装着して行うケース等が想定される。
いま、カメラで撮影された(動)画像(以下、撮影画像ともいう)については、何からの方法で取得することができることとして、複数のカメラで撮影された複数の撮影画像の編集や視聴を行うこととする。
この場合、複数の撮影画像(の再生画面や、動画の最初の画面等のシンボル)を、図1に示すように、単に、並べて表示するのでは、特に、撮影画像の数が多いと、例えば、ユーザが、ある撮影画像に注目し、その撮影画像の撮影位置から近い撮影位置から撮影した撮影画像の視聴を希望したときに、その撮影画像が、どこに表示されているのかを、即座に探し出すことが難しく、ユーザにとって扱いにくい。
そこで、本技術では、複数のカメラで撮影された複数の撮影画像を、ユーザが扱いやすい形で提供する。
<本技術を適用した画像処理装置の一実施の形態>
図2は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
図2において、画像処理装置は、画像取得部11、ストレージ12、時刻同期部13、表示制御部14、表示部15、画像配置制御部16、再生部17、操作部18、及び、制御部19を有する。
画像取得部11は、例えば、サッカーの試合や特定の人物等の所定の撮影対象を、複数のカメラで撮影することにより得られる複数の撮影画像を取得する。
例えば、複数のカメラで撮影された複数の撮影画像は、所定のサーバ(クラウド上のサーバを含む)に、所定形式の動画ファイルの形で記憶されており、画像取得部11は、そのサーバから、複数の撮影画像(のファイル)をダウンロードすることにより取得することができる。
また、例えば、複数のカメラで撮影された複数の撮影画像は、画像取得部11において、その複数のカメラそれぞれとの間で通信を行うことにより、その複数のカメラそれぞれから取得することができる。
画像取得部11は、サーバ等から取得した複数の撮影画像(のファイル)を、ストレージ12に供給する。
ストレージ12は、例えば、ハードディスクや半導体メモリ等で構成され、画像取得部11から供給される複数の撮影画像(のファイル)を記憶する。
時刻同期部13は、ストレージ12に記憶された複数の撮影画像の時刻同期をとるための、例えば、その複数の撮影画像の撮影の開始時刻の差を表す同期情報を生成し、表示制御部14に供給する。なお、時刻同期部13には、再生部17が再生した撮影画像に付随する音声を供給し、時刻同期部13では、その音声を利用して同期情報を生成することができる。
表示制御部14は、時刻同期部13からの同期情報や、画像配置制御部16から供給される情報を必要に応じて用いて、ストレージ12に記憶された撮影画像(のシンボル)や、再生部17から供給される撮影画像(の再生画面)を、表示部15に表示させる表示制御を行う。
表示部15は、例えば、LCD(liquid crystal display)や有機EL(electro luminescence)等で構成され、表示制御部14の制御に従って、画像を表示する。
画像配置制御部16は、表示部15に表示される撮影画像の配置(並び)を制御する情報等を生成し、表示制御部14に供給することで、表示部15に表示される撮影画像(のシンボルや再生画面)の配置等を制御する。
すなわち、画像配置制御部16は、カメラ位置関係取得部31、位置順位付け部32、並び替え部33、逆並び替え部34、撮影状態画像生成部35、画像間引き部36、及び、再生対象設定部37を有する。
カメラ位置関係取得部31は、ストレージ12に記憶された複数の撮影画像を撮影した複数のカメラの位置関係(以下、カメラ位置関係ともいう)を取得する。
ここで、カメラ位置関係には、カメラの撮影位置(撮影時の位置)が、少なくとも含まれる。
また、カメラ位置関係には、カメラの撮影方向(撮影時のカメラの向き)を含めることができる。
カメラ位置関係としての撮影位置及び撮影方向は、例えば、複数のカメラのうちの任意のカメラ等を基準とする相対的な値であっても良いし、絶対的な値であっても良い。
カメラ位置関係は、例えば、カメラに、GPS(Global Positioning System)や方位センサを内蔵させておき、そのGPSや方位センサから取得することができる。
また、カメラ位置関係は、例えば、複数のカメラで撮影された複数の撮影画像から、演算によって推定することができる。すなわち、カメラ位置関係取得部31では、時刻同期部13で生成された同期情報を用いて、再生部17が再生した複数の撮影画像の時刻同期をとり、その時刻同期をとった複数の撮影画像から、カメラ位置関係を演算によって推定することができる。
位置順位付け部32は、カメラ位置関係取得部31で取得されたカメラ位置関係等に基づいて、ストレージ12に記憶された、複数のカメラで撮影された複数の撮影画像のそれぞれに、複数の撮影画像をループ状に連結するための位置順位を付ける位置順位付けを行う。
ここで、位置順位付けの詳細については、後述する。
並び替え部33は、ストレージ12に記憶された複数の撮影画像の、位置順位に従った並び順を維持したまま、複数の撮影画像のうちの特定の画像が所定の位置に配置されるように、複数の撮影画像を並び替える並び替え処理を行う。
逆並び替え部34は、撮影画像の位置順位に従った複数の撮影画像の並びを、逆順に並び替える逆並び替え処理を行う。
撮影状態画像生成部35は、カメラ位置関係取得部31で取得されたカメラ位置関係に基づいて、ストレージ12に記憶された複数の撮影画像を撮影した複数のカメラによる撮影の状態を表した撮影状態画像を生成する撮影状態画像生成処理を行う。
画像間引き部36は、表示部14で表示する撮影画像を間引く画像間引き処理を行う。
再生対象設定部37は、ストレージ12に記憶された複数の撮影画像から、再生対象とする撮影画像を設定する再生対象設定処理を行う。
再生部17は、ストレージ12に記憶された撮影画像を再生し、表示制御部14に供給する。
操作部18は、ユーザによって操作され、その操作に対応する操作信号を、制御部19に供給する。
制御部19は、画像処理装置全体(画像処理装置を構成する各ブロック)を制御する。
また、制御部19は、例えば、操作部18の操作に従って、ストレージ12に記憶された撮影画像への、イン点やアウト点の設定や、エフェクトの付加等の編集を行う。
図3は、図2の画像処理装置が行う画像処理の例の概要を説明する図である。
画像処理装置では、時刻同期部13において、ストレージ12に記憶された複数の撮影画像の時刻同期をとるための、例えば、その複数の撮影画像の撮影の開始時刻の差を表す同期情報を生成し、表示制御部14に供給する。
表示制御部14では、時刻同期部13からの同期情報に基づいて、ストレージ12に記憶された複数の撮影画像のシンボルを表示することができる。この場合、例えば、図3に示すように、横軸を時間(time)として、複数の撮影画像のシンボルが、時刻が同期するように、縦方向に並べて配置される。
ここで、図3では、撮影画像のシンボルとして、その撮影画像の撮影時間に比例した長さのフィルムロールを模した画像が採用されている。
画像処理装置では、複数の撮影画像(のシンボル等)を、以上のように、時刻が同期するように並べて配置する他、位置順位に従った並びに配置することができる。
すなわち、画像処理装置では、画像配置制御部16において、カメラ位置関係取得部31が、ストレージ12に記憶された複数の撮像画像について、カメラ位置関係を取得し、位置順位付け部32が、そのカメラ位置関係に基づいて、ストレージ12に記憶された複数の撮影画像のそれぞれに、位置順位を付け、表示制御部14に供給する。
表示制御部14では、位置順位付け部32からの位置順位に従い、例えば、図3に示すように、複数の撮影画像のシンボルが、縦軸を位置順位として、位置順位順に縦方向に並べて配置される。
以上のように、画像処理装置では、複数の撮影画像のシンボルが、横軸及び縦軸を、それぞれ、時刻及び位置順位として、時刻が同期し、かつ、位置順位順に並ぶように配置される。
その後、ユーザが、カットやマージ、音楽の付加等を行うように、操作部18を操作すると、制御部19では、その操作に従って、編集が行われ、いわゆる完パケ(完全パッケージ)としての動画ファイルが生成される。
なお、制御部19が行う編集のモードとしては、例えば、手動モードと自動モードとがある。
手動モードでは、制御部19は、ユーザによる操作部18の操作に従って編集を行う。
自動モードでは、制御部19は、複数の撮影画像から、例えば、ハイライトシーン等の所定のシーンを検出してつなぎ合わせる編集を行う。
ハイライトシーンとしては、時刻同期がとられた複数の撮影画像の中から、各時刻において、盛り上がっている度合いを表すハイライト度が所定の閾値以上になっている撮影画像のうちの、ハイライト度が最も高い1の撮影画像を検出することができる。
ハイライト度としては、例えば、音声のレベルや、撮影画像に映る被写体の動き、大きさ等に比例する値を採用することができる。
また、自動モードでは、ハイライト度が、所定の閾値以上であって、最も高い1の撮影画像だけを、ハイライトシーンとして検出する他、ハイライト度が所定の閾値以上の撮影画像すべてを、ハイライトシーンとして検出することができる。
ハイライト度が所定の閾値以上の撮影画像すべてを、ハイライトシーンとして検出する場合には、2以上の撮影画像が、ハイライトシーンとして検出されることがあるが、2以上の撮影画像が、ハイライトシーンとして検出されたときには、そのハイライトシーンとしての2以上の撮影画像は、表示部15の画面を分割して配置される。
この場合、完パケでは、1の撮影画像だけが表示されるときと、2以上の撮影画像が画面を分割して表示されるときとがある。例えば、ストレージ12に記憶された複数の撮影画像のすべてで、ハイライト度が閾値以上である場合には、その複数の撮影画像すべてが、画面を分割して表示される。
自動モードにおいて、ハイライト度が、所定の閾値以上であって、最も高い1の撮影画像だけを、ハイライトシーンとして検出するか、又は、ハイライト度が所定の閾値以上の撮影画像すべてを、ハイライトシーンとして検出するかは、例えば、ユーザによる操作部18の操作に従って設定することができる。
なお、画像処理装置では、その他、例えば、再生部17において、時刻同期がとられた複数の撮影画像を同時に再生し、表示制御部14において、再生部17で再生されている複数の撮影画像のうちの、ユーザが操作部18を操作することによって選択する1の撮影画像を選択して、表示部15に表示させることができる。
また、表示制御部14では、再生部17で再生されている複数の撮影画像のハイライト度がいずれも閾値未満であるときには、ユーザによって選択された1の撮影画像を表示させ、1以上の撮影画像のハイライト度が閾値以上になったときには、そのハイライト度が閾値以上になった1以上の撮影画像のうちの、ハイライト度が最も高い1の撮影画像や、ユーザが指定する数以下の撮影画像を、必要に応じて表示部15の画面を分割して表示させることができる。
この場合、ユーザは、ハイライトシーンを、容易に把握することができる。
<位置順位付け処理>
図4は、図2のカメラ位置関係取得部31と位置順位付け部32が行う位置順位付け処理の例を説明するフローチャートである。
ステップS11において、カメラ位置関係取得部31は、ストレージ12に記憶された複数の撮影画像を撮影した複数のカメラのカメラ位置関係を取得し、処理は、ステップS12に進む。
ステップS12では、位置順位付け部32は、カメラ位置関係取得部31で取得されたカメラ位置関係等に基づいて、ストレージ12に記憶された複数の撮影画像のそれぞれに、複数の撮影画像をループ状に連結するための位置順位を付け、位置順位付け処理は終了する。
ここで、位置順位付け処理において、一連の位置順位を付ける対象となる複数の撮影画像は、(ほぼ)同様の時間帯に、同一の対象(被写体や、競技等)を撮影することにより得られる複数の画像であり、以下、このような複数の撮影画像のまとまり(集合)を、グループともいう。
図5は、2つのカメラc#1及びc#2で、2つの撮影画像が撮影された場合の位置順位付け処理の例を説明する平面図である。
図5Aは、人物を被写体とし、かつ、被写体の正面の位置と、(被写体に向かって)右側面の位置とを撮影位置として、2つのカメラc#1及びc#2で、被写体が撮影されている撮影状態を示している。
この場合、位置順位付け部32では、例えば、カメラc#1及びc#2のカメラ位置関係、並びに、カメラc#1で撮影された撮影画像に映る正面を向いた被写体、及び、カメラc#2で撮影された撮影画像に映る右側面の被写体に基づいて、カメラc#1及びc#2の撮影位置が、例えば、被写体を中心とする円の円周上に存在することを認識し、その円周に沿った方向を、位置順位を付けるための順位付け方向(軌跡)に設定する。
ここで、複数のカメラが、被写体を中心とする円の円周上に存在する場合には、円周に沿った方向としては、円周の右回りの方向と左回りの方向との2方向があるが、その2方向のうちの任意の方向を、順位付け方向に設定することができる。図5Aでは、左回りの方向が、順位付け方向に設定されている。
位置順位付け部32は、順位付け方向に沿って、カメラc#1及びc#2で撮影された撮影画像それぞれに、位置順位を付す。
ここで、位置順位としては、例えば、1位を初期値とする整数を採用することができる。
また、順位付け方向が、円周に沿った方向のように、順位付け方向に沿って進んでいくと、最終的に元の位置に戻るような方向(軌跡)である場合には、複数のカメラのうちの任意のカメラで撮影された撮影画像に、1位の位置順位を付すことができる。
したがって、図5Aでは、カメラc#1及びc#2のうちの、例えば、カメラc#1で撮影された撮影画像に、1位の位置順位を付すことができ、この場合、カメラc#1(の撮影位置)から順位付け方向に沿って到達するカメラc#2で撮影された撮影画像に、2位の位置順位が付される。
また、図5Aでは、例えば、カメラc#2で撮影された撮影画像に、1位の位置順位を付すことができ、この場合、カメラc#2(の撮影位置)から順位付け方向に沿って到達するカメラc#1で撮影された撮影画像に、2位の位置順位が付される。
図5Bは、人物を被写体とし、かつ、被写体の正面の位置と、背面側の位置とを撮影位置として、2つのカメラc#1及びc#2で、被写体が撮影されている撮影状態を示している。
この場合、位置順位付け部32では、カメラc#1及びc#2のカメラ位置関係、すなわち、カメラc#1及びc#2の撮影位置が直線上にあることと、カメラc#1及びc#2の撮影方向が180度だけ異なっていることに基づいて、カメラc#1及びc#2の撮影位置が、例えば、被写体を中心とする円の円周上に存在することを認識し、その円周に沿った方向を、位置順位を付けるための順位付け方向に設定する。
ここで、図5Bでは、図5Aと同様に、円周の左回りの方向が、順位付け方向に設定されている。
位置順位付け部32は、図5Aで説明したように、順位付け方向に沿って、カメラc#1及びc#2で撮影された撮影画像それぞれに、位置順位を付す。
したがって、図5Bでは、カメラc#1及びc#2のうちの、例えば、カメラc#1で撮影された撮影画像に、1位の位置順位が付され、カメラc#1から順位付け方向に沿って到達するカメラc#2で撮影された撮影画像に、2位の位置順位が付される。
又は、図5Bでは、例えば、カメラc#2で撮影された撮影画像に、1位の位置順位が付され、カメラc#2から順位付け方向に沿って到達するカメラc#1で撮影された撮影画像に、2位の位置順位が付される。
図5Cは、人物を被写体とし、かつ、(被写体に向かって)被写体の左斜め前の位置と、右斜め前の位置とを撮影位置として、2つのカメラc#1及びc#2で、被写体が撮影されている撮影状態を示している。
この場合、位置順位付け部32では、例えば、カメラc#1及びc#2のカメラ位置関係、並びに、カメラc#1で撮影された撮影画像に映る左斜め前から見た被写体、及び、カメラc#2で撮影された撮影画像に映る右斜め前から見た被写体に基づいて、カメラc#1及びc#2の撮影位置が、被写体の正面側の、被写体の正面方向に直交する直線上に存在することを認識し、その直線に沿った方向を、位置順位を付けるための順位付け方向に設定する。
ここで、複数のカメラが、直線、折れ線、曲線その他の、元の位置に戻ってこない線上に存在する場合には、その線に沿った方向としては、2方向があるが、その2方向のうちの任意の方向を、順位付け方向に設定することができる。
すなわち、例えば、図5Cに示すように、2つのカメラc#1及びc#2が、直線上に存在する場合には、その直線に沿った方向としては、(左から)右方向と、(右から)左方向との2方向があるが、その2方向のうちの任意の方向を、順位付け方向に設定することができる。図5Cでは、右方向が、順位付け方向に設定されている。
位置順位付け部32は、図5Aで説明したように、順位付け方向に沿って、カメラc#1及びc#2で撮影された撮影画像それぞれに、位置順位を付す。
したがって、図5Cでは、順位付け方向に沿って最も手前側のカメラc#1で撮影された撮影画像に、1位の位置順位が付され、カメラc#1から順位付け方向に沿って到達するカメラc#2で撮影された撮影画像に、2位の位置順位が付される。
図6は、3つのカメラc#1,c#2,c#3で、3つの撮影画像が撮影された場合の位置順位付け処理の例を説明する平面図である。
図6Aは、人物を被写体とし、かつ、被写体の正面の位置、左斜め前の位置、及び、右斜め前の位置を撮影位置として、3つのカメラc#1ないしc#3で、被写体が撮影されている撮影状態を示している。
図6Bは、人物を被写体とし、かつ、被写体の正面の位置、左斜め後ろの位置、及び、右斜め後ろ位置を撮影位置として、3つのカメラc#1ないしc#3で、被写体が撮影されている撮影状態を示している。
図6A及び図6Bの場合、位置順位付け部32では、例えば、カメラc#1ないしc#3のカメラ位置関係に基づいて、カメラc#1ないしc#3の撮影位置が、被写体を中心とする円の円周上に存在することを認識し、その円周に沿った方向を、位置順位を付けるための順位付け方向に設定する。
そして、位置順位付け部32は、順位付け方向に沿って、カメラc#1ないしc#3で撮影された撮影画像それぞれに、位置順位を付す。
図6A及び図6Bでは、円周の左回りの方向が、順位付け方向に設定されている。
そして、図6A及び図6Bでは、カメラc#1ないしc#3のうちの、例えば、カメラc#1の撮影位置を始点とすると、順位付け方向に沿って、カメラc#2及びc#3の撮影位置が、その順で存在する。
そのため、例えば、カメラc#1で撮影された撮影画像の位置順位を1位として、順位付け方向に沿って、カメラc#2で撮影された撮影画像に、2位の位置順位が付され、カメラc#3で撮影された撮影画像に、3位の位置順位が付されている。
図6Cは、人物を被写体とし、かつ、被写体の正面の位置、被写体の左斜め前の位置、及び、右斜め前の位置を撮影位置として、3つのカメラc#1ないしc#3で、被写体が撮影されている撮影状態を示している。
この場合、位置順位付け部32では、例えば、カメラc#1ないしc#3のカメラ位置関係に基づいて、カメラc#1ないしc#3の撮影位置が、直線上に存在することを認識し、その直線に沿った方向を、位置順位を付けるための順位付け方向に設定する。
そして、位置順位付け部32は、順位付け方向に沿って、カメラc#1ないしc#3で撮影された撮影画像それぞれに、位置順位を付す。
図6Cでは、直線の右方向が、順位付け方向に設定されている。
そして、図6Cでは、順位付け方向に沿って、カメラc#1ないしc#3の撮影位置が、その順で存在する。
そのため、順位付け方向に沿って、カメラc#1で撮影された撮影画像に、1位の位置順位が、カメラc#2で撮影された撮影画像に、2位の位置順位が、カメラc#3で撮影された撮影画像に、3位の位置順位が、それぞれ付されている。
図7は、4つのカメラc#1,c#2,c#3,c#4で、4つの撮影画像が撮影された場合の位置順位付け処理の例を説明する平面図である。
図7Aは、人物を被写体とし、かつ、被写体の正面の位置、左側面の位置、右側面の位置、及び、背面側の位置を撮影位置として、4つのカメラc#1ないしc#4で、被写体が撮影されている撮影状態を示している。
図7Aの場合、位置順位付け部32では、例えば、カメラc#1ないしc#4のカメラ位置関係に基づいて、カメラc#1ないしc#4の撮影位置が、被写体を中心とする円の円周上に存在することを認識し、その円周に沿った方向を、位置順位を付けるための順位付け方向に設定する。
そして、位置順位付け部32は、順位付け方向に沿って、カメラc#1ないしc#4で撮影された撮影画像それぞれに、位置順位を付す。
図7Aでは、円周の左回りの方向が、順位付け方向に設定されている。
そして、図7Aでは、カメラc#1ないしc#4のうちの、例えば、カメラc#1の撮影位置を始点とすると、順位付け方向に沿って、カメラc#2ないしc#4の撮影位置が、その順で存在する。
そのため、例えば、カメラc#1で撮影された撮影画像の位置順位を1位として、順位付け方向に沿って、カメラc#2で撮影された撮影画像に、2位の位置順位が、カメラc#3で撮影された撮影画像に、3位の位置順位が、カメラc#4で撮影された撮影画像に、4位の位置順位が、それぞれ付されている。
図7Bは、人物を被写体とし、かつ、被写体の正面側の直線上の4点を撮影位置として、4つのカメラc#1ないしc#4で、被写体が撮影されている撮影状態を示している。
この場合、位置順位付け部32では、例えば、カメラc#1ないしc#4のカメラ位置関係に基づいて、カメラc#1ないしc#4の撮影位置が、直線上に存在することを認識し、その直線に沿った方向を、位置順位を付けるための順位付け方向に設定する。
そして、位置順位付け部32は、順位付け方向に沿って、カメラc#1ないしc#4で撮影された撮影画像それぞれに、位置順位を付す。
図7Bでは、直線の右方向が、順位付け方向に設定されている。
そして、図7Bでは、順位付け方向に沿って、カメラc#1ないしc#4の撮影位置が、その順で存在する。
そのため、順位付け方向に沿って、カメラc#1で撮影された撮影画像に、1位の位置順位が、カメラc#2で撮影された撮影画像に、2位の位置順位が、カメラc#3で撮影された撮影画像に、3位の位置順位が、カメラc#4で撮影された撮影画像に、4位の位置順位が、それぞれ付されている。
図8は、位置順位付け処理のその他の例を説明する平面図である。
図8Aは、サッカーコート(フィールド)の周囲を囲む楕円の円周上の8点を撮影位置として、8つのカメラc#1,c#2,c#3,c#4,c#5,c#6,c#7,c#8をサッカーコートに向けて、サッカーの試合が撮影されている撮影状態を示している。
図8Bは、陸上競技のトラックの周囲を囲む楕円の円周上の8点を撮影位置として、8つのカメラc#1ないしc#8をトラックに向けて、陸上競技の試合が撮影されている撮影状態を示している。
図8A及び図8Bの場合、位置順位付け部32では、例えば、カメラc#1ないしc#8のカメラ位置関係に基づいて、カメラc#1ないしc#8の撮影位置が、楕円の円周上に存在することを認識し、その円周に沿った方向を、位置順位を付けるための順位付け方向に設定する。
そして、位置順位付け部32は、順位付け方向に沿って、カメラc#1ないしc#8で撮影された撮影画像それぞれに、位置順位を付す。
図8A及び図8Bでは、円周の左回りの方向が、順位付け方向に設定されている。
そして、図8Aでは、カメラc#1ないしc#8のうちの、例えば、カメラc#1の撮影位置を始点とすると、順位付け方向に沿って、カメラc#2ないしc#8の撮影位置が、その順で存在する。
そのため、例えば、カメラc#1で撮影された撮影画像の位置順位を1位として、以下、順位付け方向に沿って、カメラc#iで撮影された撮影画像に、i位の位置順位が付されている。
図8Cは、レースのレースコースに沿った線(以下、レースコース線ともいう)上の6点を撮影位置として、6つのカメラc#1ないしc#6で、レースが撮影されている撮影状態を示している。
図8Cの場合、位置順位付け部32では、例えば、レースコースを表すコースモデルが、例えば、ネットワーク上のサーバから提供されているときには、そのコースモデルに基づいて、カメラc#1ないしc#6の撮影位置が存在するレースコース線を認識し、そのレースコース線に沿った方向を、位置順位を付けるための順位付け方向に設定する。
さらに、位置順位付け部32は、カメラc#1ないしc#6のカメラ位置関係に基づいて、レースコース線上のカメラc#1ないしc#6の位置(撮影位置)を認識し、順位付け方向に沿って、カメラc#1ないしc#6で撮影された撮影画像それぞれに、位置順位を付す。
図8Cでは、レースコース線のスタートからゴールに向かう方向が、順位付け方向に設定されている。
そして、図8Cでは、カメラc#1ないしc#6の撮影位置が、その順で、スタートからゴールに向かう方向に存在する。
そのため、例えば、カメラc#1で撮影された撮影画像の位置順位を1位として、以下、順位付け方向に沿って、カメラc#iで撮影された撮影画像に、i位の位置順位が付されている。
なお、図8Cにおいて、レースの先頭の被写体が既知の被写体(例えば、レースを先導する車両等)である場合には、カメラc#1ないしc#6それぞれの撮影画像から、既知の被写体を検出し、撮影画像に、既知の被写体が登場する順番で、カメラc#1ないしc#6それぞれの撮影位置を結んでいく方向(軌跡)を、順位付け方向に設定することができる。
この場合、コースモデルなしで、順位付け方向に設定することができる。
その他、例えば、表示部15において、カメラc#1ないしc#6それぞれの撮影位置を地図上に表示し、その撮影位置を、スタートからゴールに向かう順に、ユーザに指定してもらうことにより、ユーザの指定順に、撮影位置を結んでいく方向(軌跡)を、順位付け方向に設定することができる。
ここで、位置順位付け部32では、ストレージ12に記憶された撮影画像に、位置順位を付した後、その位置順位に応じて、ストレージ12に記憶された撮影画像のファイル名を変更することができる。
すなわち、グループの、位置順位が付された複数の撮影画像のファイル名としては、例えば、同一のプリフィクスVVVに、位置順位に応じた連番の数字XXを付したファイル名(例えば、拡張子がmpgのファイルである場合には、VVV_XX.mpg等)(以下、位置順位付きファイル名ともいう)を採用し、ストレージ12に記憶された、位置順位が付された撮影画像のファイル名は、位置順位付きファイル名に変更することができる。
<並び替え処理>
図9は、図2の並び替え部33が行う並び替え処理の第1の例を説明する図である。
いま、被写体としての人物を、正面、右側面、背面、及び、左側面のそれぞれから撮影した4つの撮影画像v#1,v#2,v#3,v#4が、グループとして、ストレージ12に記憶され、撮影画像v#iには、i位の位置順位が付されていることとする。
例えば、ユーザが、操作部18を操作することにより、4つの撮影画像v#1ないしv#4で構成されるグループの再生を要求すると、再生部17は、ストレージ12に記憶された撮影画像v#1ないしv#4を再生して、表示制御部14に供給する。
表示制御部14は、例えば、撮影画像v#1ないしv#4のファイル名等に基づいて、撮影画像v#1ないしv#4の位置順位を認識し、再生部17からの撮影画像v#1ないしv#4の再生画面を、位置順位に基づき、例えば、位置順位順に、左から並べて配置して、表示部15に表示する。
ここでは、上述したように、撮影画像v#iに、i位の位置順位が付されているので、1位の位置順位が付されている撮影画像v#1の再生画面を先頭として、以下、2位以下の位置順位が付されている撮影画像v#2ないしv#4の再生画面が、左から、その順で並んで表示される。
以上のように、撮影画像v#1ないしv#4の再生画面が、位置順位順に並んで表示されている場合において、例えば、ユーザが、操作部18を操作すること等により、左から4番目(右から1番目)に再生画面が表示されている撮影画像v#4を先頭(ここでは、最も左の位置)にすることが指定されると、並び替え部33は、位置順位に従った並び順を維持したまま、ユーザが指定した撮影画像(の再生画面)が、所定の位置としての、例えば、先頭になるように、撮影画像v#1ないしv#4(の再生画面)を並び替える。
すなわち、並び替え部33は、ユーザが指定した撮影画像が先頭になるように、撮影画像v#1ないしv#4を並び替えるための制御情報を、表示制御部14に供給し、表示制御部14では、並び替え部33からの制御情報に従って、撮影画像v#1ないしv#4(の再生画面)が並び替えられる。
ここで、位置順位は、グループの複数の撮影画像をループ状に連結するための順位であり、撮影画像v#iにi位の位置順位が付されている撮影画像v#1ないしv#4は、位置順位によって、ループ状に連結されている。
並び替え部33では、位置順位に従った並び順、すなわち、ループ状の連結を維持したまま、ユーザが指定した撮影画像が先頭になるように、撮影画像v#1ないしv#4が並び替えられる。
したがって、上述したように、ユーザが指定した撮影画像が、撮影画像v#4である場合には、図9に示すように、撮影画像v#4を先頭として、以下、位置順位に従ったループ状の連結(v#1→v#2→v#3→v#4→v#1)が維持されるように、撮影画像v#1,v#2,v#3の順に並び替えられる。
なお、並び替え部33において、撮影画像の並び替えが行われた後、位置順位付け部32では、並び替え後の撮影画像の並びに従って、撮影画像の位置順位を変更することができる。
例えば、図9に示すように、撮影画像v#1ないしv#4の並びが、撮影画像v#4,v#1,v#2,v#3の順に並び替えられた場合、先頭の撮影画像v#4の位置順位を1位に変更し、以下、撮影画像v#1ないしv#3の位置順位を、それぞれ、2ないし4位に変更することができる。
以上のように、位置順位を変更し、その位置順位の変更に伴い、撮影画像のファイル名を変更することにより、その後に、4つの撮影画像v#1ないしv#4で構成されるグループの再生が要求された場合に、表示部15では、変更後の位置順位に従って、撮影画像v#4,v#1,v#2,v#3の順で左から並んだ再生画面が表示される
図10は、図2の並び替え部33が行う並び替え処理の第2の例を説明する図である。
いま、被写体としての人物を、右側面、正面、左側面、及び、背面のそれぞれから撮影した4つの撮影画像v#1,v#2,v#3,v#4が、グループとして、ストレージ12に記憶され、撮影画像v#iには、i位の位置順位が付されていることとする。
例えば、ユーザが、操作部18を操作することにより、4つの撮影画像v#1ないしv#4で構成されるグループを素材とする編集を要求すると、時刻同期部13は、ストレージ12に記憶された4つの撮影画像v#1ないしv#4で構成されるグループについて、時刻同期をとるための同期情報を生成し、表示制御部14に供給する。
表示制御部14は、ストレージ12に記憶された撮影画像v#1ないしv#4のシンボルとして、その撮影画像#iの撮影時間に比例した長さのフィルムロールを模した画像(以下、フィルムロール画像ともいう)を生成する。
また、表示制御部14は、撮影画像v#1ないしv#4のファイル名等に基づいて、撮影画像v#1ないしv#4の位置順位を認識する。
そして、表示制御部14は、時刻同期部13からの同期情報と、撮影画像v#1ないしv#4の位置順位とを用い、横軸及び縦軸を、それぞれ、時刻及び位置順位として、時刻が同期し、かつ、位置順位順に並ぶように、撮影画像v#1ないしv#4のシンボルとしてのフィルムロール画像を配置して、表示部15に表示させる。
ここで、図10では、撮影画像v#1ないしv#4は、例えば、同一の開始時刻から、同一の撮影時間だけ撮影された画像であり、そのため、撮影画像v#1ないしv#4のシンボルとしてのフィルムロール画像は、横軸方向の位置が一致するように、縦に並んで配置されている。
また、図10では、上述したように、撮影画像v#iに、i位の位置順位が付されているので、1位の位置順位が付されている撮影画像v#1のフィルムロール画像を先頭として、以下、2位以下の位置順位が付されている撮影画像v#2ないしv#4のフィルムロール画像が、上から、その順で並んで配置されている。
以上のように、撮影画像v#1ないしv#4のフィルムロール画像が、位置順位順に並んで表示されている場合において、例えば、ユーザが、操作部18を操作すること等により、上から2番目にフィルムロール画像が表示されている撮影画像v#4を先頭(ここでは、最も上の位置)にすることが指定されると、並び替え部33は、位置順位に従った並び順を維持したまま、ユーザが指定した撮影画像(のフィルムロール画像)が、所定の位置としての、例えば、先頭になるように、撮影画像v#1ないしv#4(のフィルムロール画像)を並び替える。
すなわち、並び替え部33は、ユーザが指定した撮影画像が先頭になるように、撮影画像v#1ないしv#4を並び替えるための制御情報を、表示制御部14に供給し、表示制御部14では、並び替え部33からの制御情報に従って、撮影画像v#1ないしv#4(のフィルムロール画像)が並び替えられる。
ここで、位置順位は、グループの複数の撮影画像をループ状に連結するための順位であり、撮影画像v#iにi位の位置順位が付されている撮影画像v#1ないしv#4は、位置順位によって、ループ状に連結されている。
並び替え部33では、位置順位に従った並び順、すなわち、ループ状の連結を維持したまま、ユーザが指定した撮影画像が先頭になるように、撮影画像v#1ないしv#4が並び替えられる。
したがって、上述したように、ユーザが指定した撮影画像が、撮影画像v#2である場合には、図10に示すように、撮影画像v#2を先頭として、以下、位置順位に従ったループ状の連結(v#1→v#2→v#3→v#4→v#1)が維持されるように、撮影画像v#3,v#4,v#1の順に並び替えられる。
図11は、図2の並び替え部33が行う並び替え処理の第3の例を説明する図である。
図11では、図9と同様に、被写体としての人物を、正面、右側面、背面、及び、左側面のそれぞれから撮影した4つの撮影画像v#1,v#2,v#3,v#4が、グループとして、ストレージ12に記憶され、撮影画像v#iには、i位の位置順位が付されている。
例えば、ユーザが、操作部18を操作することにより、4つの撮影画像v#1ないしv#4で構成されるグループの再生を要求すると、表示制御部14では、図9の場合と同様にして、1位の位置順位が付されている撮影画像v#1の再生画面を先頭として、以下、2位以下の位置順位が付されている撮影画像v#2ないしv#4の再生画面が、左から、その順で並んで表示される。
以上のように、撮影画像v#1ないしv#4の再生画面が、位置順位順に並んで表示されている場合において、例えば、ユーザが、操作部18を操作すること等により、正面顔(正面を向いている顔)の検出を要求すると、並び替え部33は、撮影画像v#1ないしv#4それぞれを対象として、正面顔の検出を行い、位置順位に従った並び順を維持したまま、正面顔が検出された撮像画像(の再生画面)が、所定の位置としての、例えば、真ん中(付近)に配置されるように、撮影画像v#1ないしv#4(の再生画面)を並び替える。
すなわち、並び替え部33は、正面顔が検出された撮影画像が、真ん中付近に配置されるように、撮影画像v#1ないしv#4を並び替えるための制御情報を、表示制御部14に供給し、表示制御部14では、並び替え部33からの制御情報に従って、撮影画像v#1ないしv#4(の再生画面)が並び替えられる。
ここで、図11では、撮影画像v#1に、正面顔が映っており、したがって、撮影画像v#1から、正面顔が検出される。
また、撮影画像v#1ないし#4(の再生画面)が、左から、その順で並んだ並びにおいて、真ん中(付近)の位置として、例えば、左から2番目の位置を採用することとする。
この場合、図11に示すように、撮影画像v#1ないし#4(の再生画面)は、正面顔が検出された撮影画像v#1が、真ん中の位置としての、左から2番目の位置に配置され、かつ、位置順位に従ったループ状の連結(v#1→v#2→v#3→v#4→v#1)が維持されるように、左から、撮影画像v#4,v#1,v#2,v#3の順に並び替えられる。
図12は、図2の並び替え部33が行う並び替え処理の第4の例を説明する図である。
図12では、図10と同様に、被写体としての人物を、右側面、正面、左側面、及び、背面のそれぞれから撮影した4つの撮影画像v#1,v#2,v#3,v#4が、グループとして、ストレージ12に記憶され、撮影画像v#iには、i位の位置順位が付されている。
例えば、ユーザが、操作部18を操作することにより、4つの撮影画像v#1ないしv#4で構成されるグループを素材とする編集を要求すると、表示制御部14では、図10の場合と同様にして、横軸及び縦軸を、それぞれ、時刻及び位置順位として、時刻が同期し、かつ、位置順位順に並ぶように、撮影画像v#1ないしv#4のシンボルとしてのフィルムロール画像を配置して、表示部15に表示させる。
すなわち、図12では、図10と同様に、撮影画像v#1ないしv#4のシンボルとしてのフィルムロール画像は、横軸方向の位置が一致するように、縦に並んで配置され、かつ、1位の位置順位が付されている撮影画像v#1のフィルムロール画像を先頭として、以下、2位以下の位置順位が付されている撮影画像v#2ないしv#4のフィルムロール画像が、上から、その順で並んで配置されて表示される。
以上のように、撮影画像v#1ないしv#4のフィルムロール画像が、位置順位順に並んで表示されている場合において、例えば、ユーザが、操作部18を操作すること等により、正面顔(正面を向いている顔)の検出を要求すると、並び替え部33は、撮影画像v#1ないしv#4それぞれを対象として、正面顔の検出を行い、位置順位に従った並び順を維持したまま、正面顔が検出された撮像画像(のフィルムロール画像)が、所定の位置としての、例えば、先頭に配置されるように、撮影画像v#1ないしv#4(のフィルムロール画像)を並び替える。
すなわち、並び替え部33は、正面顔が検出された撮影画像が、先頭に配置されるように、撮影画像v#1ないしv#4を並び替えるための制御情報を、表示制御部14に供給し、表示制御部14では、並び替え部33からの制御情報に従って、撮影画像v#1ないしv#4(のフィルムロール画像)が並び替えられる。
ここで、図12では、撮影画像v#2に、正面顔が映っており、したがって、撮影画像v#2から、正面顔が検出される。
この場合、図12に示すように、撮影画像v#1ないし#4(のフィルムロール画像)は、正面顔が検出された撮影画像v#2が、上から1番目の位置(先頭)に配置され、かつ、位置順位に従ったループ状の連結(v#1→v#2→v#3→v#4→v#1)が維持されるように、上から、撮影画像v#2,v#3,v#4,v#1の順に並び替えられる。
図13は、図2の並び替え部33が行う並び替え処理の第5の例を説明する図である。
図13Aは、グループを構成する撮影画像の撮影状態の例を示す図である。
図13Aでは、競技場のトラックの周囲に、複数としての8つのカメラc#1ないしc#8が配置されており、トラックで行われる競技が撮影される。
この場合、位置順位付け部32(図2)は、例えば、図8Bの場合と同様に、カメラc#1ないしc#8のカメラ位置関係に基づいて、カメラc#1ないしc#8の撮影位置が、楕円の円周上に存在することを認識し、その円周に沿った、例えば、左回りの方向を、位置順位を付けるための順位付け方向に設定する。
そして、位置順位付け部32は、順位付け方向に沿って、カメラc#1ないしc#8で撮影された撮影画像v#1ないしv#8それぞれに、位置順位を付す。
すなわち、位置順位付け部32は、カメラc#1ないしc#8のうちの、任意の1つのカメラc#iの撮影位置を始点として、順位付け方向に沿って、カメラc#1ないしc#8のそれぞれに、位置順位を付す。
いま、カメラc#1ないしc#8のうちの、例えば、カメラc#7の撮影位置が始点とされたこととすると、カメラc#7の撮影画像v#7に、1位の位置順位が付される。さらに、順位付け方向に沿って、カメラc#8の撮影画像v#8に、2位の位置順位が付され、カメラc#1の撮影画像v#1に、3位の位置順位が付される。以下、同様に、カメラc#2の撮影画像v#2には、4位の位置順位が、カメラc#3の撮影画像v#3には、5位の位置順位が、カメラc#4の撮影画像v#4には、6位の位置順位が、カメラc#5の撮影画像v#5には、7位の位置順位が、カメラc#6の撮影画像v#6には、8位の位置順位が、それぞれ付される。
以上のような撮影画像v#1ないしv#8が、グループとして、ストレージ12に記憶されている場合に、例えば、ユーザが、操作部18を操作することにより、撮影画像v#1ないしv#8で構成されるグループの再生を要求すると、再生部17は、ストレージ12に記憶された撮影画像v#1ないしv#8を再生して、表示制御部14に供給する。
図13Bは、撮影画像v#1ないしv#8の再生画面の表示の例を示す図である。
表示制御部14は、例えば、撮影画像v#1ないしv#8のファイル名等に基づいて、撮影画像v#1ないしv#8の位置順位を認識し、再生部17からの撮影画像v#1ないしv#8の再生画面を、位置順位順に並べて配置して、表示部15に表示する。
ここで、図13Bでは、8つの撮影画像v#1ないしv#8(の再生画面)の配置パターンとして、横×縦が4×2の配置パターンが採用されている。
横×縦がH×Vの配置パターンについて、撮影画像(の再生画面)の配置は、例えば、左から右の順番で行い、右端まで到達したら、1行下がって、再び、左から右の順番で行うこととする。
8つの撮影画像v#1ないしv#8の再生画面は、4×2の配置パターンに対して、位置順位に従い、撮影画像v#7,v#8,v#1,v#2,v#3,v#4,v#5,v#6の順に配置されて表示される。
以上のように、撮影画像v#1ないしv#8の再生画面が、位置順位順に配置されて表示されている場合において、例えば、ユーザが、操作部18を操作すること等により、撮影画像v#1を先頭にすることが指定されると、並び替え部33は、位置順位に従った並び順を維持したまま、ユーザが指定した撮影画像(の再生画面)が、4×2の配置パターンの所定の位置としての先頭になるように、撮影画像v#1ないしv#8(の再生画面)を並び替える。
すなわち、並び替え部33は、ユーザが指定した撮影画像が先頭になるように、撮影画像v#1ないしv#8を並び替えるための制御情報を、表示制御部14に供給し、表示制御部14では、並び替え部33からの制御情報に従って、撮影画像v#1ないしv#8(の再生画面)が並び替えられる。
上述のように、ユーザが、撮影画像v#1を指定した場合には、撮影画像v#1ないしv#8は、図13Bに示すように、ユーザが指定した撮影画像v#1を先頭として、以下、位置順位に従ったループ状の連結(v#1→v#2→v#3→…→v#7→v#8→v#1)が維持されるように、撮影画像v#1,v#2,v#3,v#4,v#5,v#6,v#7,v#8の順に並び替えられる。
なお、図9ないし図13では、ユーザが指定した撮影画像や、正面顔が検出された(映っている)撮影画像が、先頭等の所定の位置に配置されるように、グループの複数の撮影画像の並び替えを行うこととしたが、撮影画像の並び替えにおいて、所定の位置に配置する撮影画像は、ユーザが指定した撮影画像や、正面顔が映っている撮影画像に限定されるものではない。
すなわち、撮影画像の並び替えにおいて、所定の位置に配置する撮影画像を、特定画像ということとすると、並び替え部33では、例えば、グループの複数の撮影画像を対象として、顔検出や人体検出を行い、例えば、顔が映っている面積や時間がより大きい撮影画像や、特定の人物が映っている撮影画像、映っている人の数がより多い撮影画像等を、特定画像に設定して、撮影画像の並び替えを行うことができる。
また、図13Aに示すような、競技が行われるトラック、その他、競技が行われるコートやコース等を表すモデルがネットワーク上のサーバから提供されている場合には、そのモデルに基づいて、グループの複数の撮影画像の中から、特定画像を設定することができる。
すなわち、例えば、トラックのモデルに基づいて、そのトラックで行われる競技のスタートやゴールを認識することができる場合には、並び替え部33において、そのスタートやゴールに近い撮影位置のカメラで撮影された撮影画像を、特定画像に設定することができる。
なお、グループの複数の撮影画像の並び替えは、ユーザによる操作部18の操作を待たずに、任意のタイミングで行うことができる。
また、特定画像を配置する位置は、例えば、ユーザによる操作部18の操作に従って設定することができる。
以上のように、図2の画像処理装置では、複数のカメラのカメラ位置関係が取得され、そのカメラ位置関係に基づいて、複数のカメラで撮影された複数の撮影画像のそれぞれに、複数の撮影画像をループ状に連結するための位置順位が付けられる。そして、複数の撮影画像が、位置順位に従って並べて配置されて表示される。
さらに、複数の撮影画像は、必要に応じて、位置順位に従った並び順を維持したまま、並び替えることができる。
したがって、例えば、近い位置で撮影された撮影画像どうしが、離れて配置されることや、離れた位置で撮影された撮影画像どうしが、近くに配置されること等を防止して、複数の撮影画像を、ユーザが扱いやすい形で提供することができる。
図14は、図2の並び替え部33が行う並び替え処理の例を説明するフローチャートである。
ステップS21において、並び替え部33は、ユーザによる操作部18の操作等に基づいて、ストレージ12に記憶されたグループの複数の撮影画像の中から、所定の位置に配置する撮影画像を、特定画像に設定して、処理は、ステップS22に進む。
ステップS22では、並び替え部33は、グループの複数の撮影画像の位置順位の並び順を維持したまま、特定画像が、所定の位置に配置されるように、グループの複数の撮影画像を並び替えるための制御情報を生成し、表示制御部14に供給して、並び替え処理は終了する。
ここで、位置順位順に従って複数の撮影画像が並んだ画像、すなわち、図9、図11、及び、図13に示したような、グループの複数の撮影画像(の再生画面)が、位置順位順に並んだ画像、並びに、図10及び図12に示したような、横軸及び縦軸を、それぞれ、時刻及び位置順位として、時刻が同期し、かつ、位置順位順に並ぶように、グループの複数の撮影画像(のフィルムロール画像等のシンボル)が配置された画像を、位置順位画像ともいう。
<逆並び替え処理>
図15は、図2の逆並び替え部34が行う逆並び替え処理の例を説明する図である。
図15Aは、グループを構成する撮影画像の撮影状態の例を示す図である。
図15Aでは、図13Aと同様に、競技場のトラックの周囲に、複数としての8つのカメラc#1ないしc#8が配置されており、トラックで行われる競技が撮影される。
この場合、位置順位付け部32(図2)は、例えば、図8Bや図15Aの場合と同様に、カメラc#1ないしc#8のカメラ位置関係に基づいて、カメラc#1ないしc#8の撮影位置が、楕円の円周上に存在することを認識し、その円周に沿った、例えば、左回りの方向を、位置順位を付けるための順位付け方向に設定する。
そして、位置順位付け部32は、順位付け方向に沿って、カメラc#1ないしc#8で撮影された撮影画像v#1ないしv#8それぞれに、位置順位を付す。
すなわち、位置順位付け部32は、カメラc#1ないしc#8のうちの、任意の1つのカメラc#iの撮影位置を始点として、順位付け方向に沿って、カメラc#1ないしc#8のそれぞれに、位置順位を付す。
いま、カメラc#1ないしc#8のうちの、例えば、カメラc#1の撮影位置が始点とされたこととすると、カメラc#1の撮影画像v#1に、1位の位置順位が付される。さらに、カメラc#2の撮影画像v#2に、2位の位置順位が付され、カメラc#3の撮影画像v#3に、3位の位置順位が付される。以下、同様に、カメラc#4ないしc#8の撮影画像v#4ないしv#8には、それぞれ、4位ないし8位の位置順位が付される。
以上のような撮影画像v#1ないしv#8が、グループとして、ストレージ12に記憶されている場合に、例えば、ユーザが、操作部18を操作することにより、撮影画像v#1ないしv#8で構成されるグループの再生を要求すると、再生部17は、ストレージ12に記憶された撮影画像v#1ないしv#8を再生して、表示制御部14に供給する。
図15Bは、撮影画像v#1ないしv#8の再生画面の表示の例を示す図である。
表示制御部14は、例えば、撮影画像v#1ないしv#8のファイル名等に基づいて、撮影画像v#1ないしv#8の位置順位を認識し、再生部17からの撮影画像v#1ないしv#8の再生画面を、位置順位順に、例えば、4×2の配置パターンに並べて配置して、表示部15に表示する。
図15Bでは、8つの撮影画像v#1ないしv#8の再生画面は、4×2の配置パターンに対して、位置順位に従い、撮影画像v#1,v#2,v#3,v#4,v#5,v#6,v#7,v#8の順に配置されて表示されている。
以上のように、撮影画像v#1ないしv#8の再生画面が、位置順位順に配置されて表示されている場合において、例えば、ユーザが、操作部18を操作すること等により、撮影画像の並び順を逆にする(リバースする)ことが指定されると、逆並び替え部34は、撮影画像v#1ないしv#8(の再生画面)の並びを、位置順位に従った並び順の逆順に並び替える。
すなわち、逆並び替え部34は、撮影画像v#1ないしv#8を、位置順位に従った並び順の逆順に並び替えるための制御情報を、表示制御部14に供給する。表示制御部14では、逆並び替え部34からの制御情報に従って、撮影画像v#1ないしv#8(の再生画面)が、位置順位に従った並び順の逆順に並び替えられる。
いまの場合、位置順位に従った撮影画像v#1ないしv#8の並び順は、撮影画像v#1,v#2,v#3,v#4,v#5,v#6,v#7,v#8の順であるので、逆並び替え部34では、撮影画像v#1ないしv#8は、図15Bに示すように、逆順である撮影画像v#8,v#7,v#6,v#5,v#4,v#3,v#2,v#1の順に並び替えられる。
なお、逆並び替え部34において、撮影画像の並び替えが行われた場合、並び替え部33で撮影画像の並び替えが行われた場合と同様に、位置順位付け部32では、並び替え後の撮影画像の並びに従って、撮影画像の位置順位を変更することができる。
位置順位を変更し、その位置順位の変更に伴い、撮影画像のファイル名を変更することにより、その後に、図15の撮影画像v#1ないしv#8で構成されるグループの再生が要求された場合に、表示部15では、変更後の位置順位に従って、撮影画像v#8ないしv#1の順で並んだ再生画面が表示される
ここで、図15では、ユーザが、操作部18を操作すること等により、撮影画像の並び順を逆にすることが指定された場合に、グループの複数の撮影画像の並びを逆に並び替える逆並び替えを行うこととしたが、撮影画像の逆並び替えは、ユーザによる操作部18の操作を待たずに、任意のタイミングで行うことができる。
すなわち、例えば、逆並び替え部34では、グループの複数の撮影画像に亘って、撮像画像に映る被写体の動き(オプティカルフロー)を検出し、その被写体の動きに基づき、位置順位に従った複数の撮像画像の並びが、例えば、ゴールからスタートに向かう並びであるかどうかを判定することができる。
そして、位置順位に従った複数の撮像画像の並びが、ゴールからスタートの方向に向かう並びである場合には、撮影画像の逆並び替えを行うことができる。
また、例えば、図15Aに示すような、競技が行われるトラック、その他、競技が行われるコートやコース等を表すモデルがネットワーク上のサーバから提供されている場合には、逆並び替え部34では、そのモデルに基づいて、スタートからゴールに向かう方向等の、競技の進行方向を認識し、位置順位に従った複数の撮像画像の並びが、競技の進行方向に沿った並びでない場合には、撮影画像の逆並び替えを行うことができる。
逆並び替え処理によれば、例えば、グループの複数の撮像画像を、競技の進行方向に沿った並びに配置することができるので、複数の撮影画像を、ユーザが扱いやすい形で提供することができる。
図16は、図2の逆並び替え部34が行う逆並び替え処理の例を説明するフローチャートである。
ステップS31において、逆並び替え部34は、ストレージ12に記憶されたグループの複数の撮影画像の位置順位順の並び(配置)を、逆順に並べ替える逆並び替えを行うべきであるかどうかを判定する。
ここで、ステップS31において、逆並び替えを行うべきであるかどうかの判定は、例えば、ユーザによる操作部18の操作によって、撮影画像の並び順を逆にすることが指定されたかどうかや、位置順位に従った複数の撮像画像の並びが、例えば、スタートからゴールの方向に向かう並びのような、競技の進行方向に沿った並びになっているかどうか等に基づいて行うことができる。
ステップS31において、逆並び替えを行うべきでないと判定された場合、逆並び替え処理は終了する。
また、ステップS31において、逆並び替えを行うべきであると判定された場合、すなわち、例えば、ユーザによる操作部18の操作によって、撮影画像の並び順を逆にすることが指定された場合や、位置順位に従った複数の撮像画像の並びが、競技の進行方向に沿った並びになっていない場合、処理は、ステップS32に進み、逆並び替え処理部34は、ストレージ12に記憶されたグループの複数の撮影画像の並びを、位置順位に従った並び順の逆順に並び替えるための制御情報を生成して、表示制御部14に供給し、逆並び替え処理は終了する。
<撮影状態画像生成処理>
図17は、撮影状態画像生成部35が生成する撮影状態画像の第1の表示例を示す図である。
図17では、表示部15において、位置順位画像と、撮影状態画像とが表示されている。
図17の位置順位画像では、図10及び図12の場合と同様に、横軸及び縦軸を、それぞれ、時刻及び位置順位として、時刻が同期し、かつ、位置順位順に並ぶように、グループの4つの撮影画像v#1ないしv#4(のシンボルとしてのフィルムロール画像)が配置されている。
撮影状態画像は、グループの複数の撮影画像を撮影した複数のカメラによる撮影の状態を表した画像であり、図17の撮影状態画像は、位置順位画像を構成するグループの4つの撮影画像v#1ないしv#4それぞれを撮影した4つのカメラc#1ないしc#4による撮影の状態を表した画像になっている。
すなわち、図17の撮影状態画像は、被写体(を模した画像)と、その被写体を撮影した4つのカメラc#1ないしc#4(を模した画像)とを含み、撮影状態画像において、カメラc#iは、そのカメラc#iで被写体を撮影したときの撮影位置に、被写体を撮影したときの撮影方向の向きで配置されている。
なお、撮影状態画像には、図中、点線の矢印で示すような、順位付け方向を表す矢印等(の画像)を含めることができる。
例えば、ユーザが、操作部18を操作することにより、編集を要求した場合には、撮影状態画像生成部35において、編集が要求されたグループの複数の撮影画像についてのカメラ位置関係に基づいて、そのグループの複数の撮影画像を撮影した複数のカメラによる撮影の状態を表した撮影状態画像を生成し、表示制御部14において、図17に示したように、撮影状態画像を、位置順位画像ととともに、表示部15に表示させることができる。
図18は、撮影状態画像生成部35が生成する撮影状態画像の第2の表示例を示す図である。
図18では、表示部15において、位置順位画像と、撮影状態画像とが表示されている。
図18の位置順位画像では、図9及び図11の場合と同様に、4つの撮影画像v#1ないしv#4(の再生画面)が、位置順位順に、横一列、すなわち、4×1の配置パターンに配置されている。
また、図18の撮影状態画像は、図17の撮影状態画像と同様に構成されている。
例えば、ユーザが、操作部18を操作することにより、再生を要求した場合には、撮影状態画像生成部35において、再生が要求されたグループの複数の撮影画像についてのカメラ位置関係に基づいて、そのグループの複数の撮影画像を撮影した複数のカメラによる撮影の状態を表した撮影状態画像を生成し、表示制御部14において、図18に示したように、撮影状態画像を、位置順位画像ととともに、表示部15に表示させることができる。
図19は、撮影状態画像生成部35が生成する撮影状態画像の第3の表示例を示す図である。
図18の第2の表示例では、位置順位画像において、4つの撮影画像v#1ないしv#4が、位置順位順に、4×1の配置パターンに配置されているが、図19の第3の表示例では、位置順位画像において、4つの撮影画像v#1ないしv#4(の再生画面)が、位置順位順に、2×2の配置パターンに配置されている。
その他の点については、図19の第3の表示例は、図18の第2の表示例と同様になっている。
以上のように、撮影状態画像が表示される場合には、ユーザは、グループの各撮影画像が撮影された撮影位置を、容易に把握することができる。
図20は、図2のカメラ位置関係取得部31と撮影状態画像生成部35が行う撮影状態画像生成処理の例を説明するフローチャートである。
ステップS41において、カメラ位置関係取得部31は、ストレージ12に記憶されたグループの複数の撮影画像を撮影した複数のカメラのカメラ位置関係を取得し、処理は、ステップS42に進む。
ステップS42において、撮影状態画像生成部35は、カメラ位置関係取得部31で取得されたカメラ位置関係等に基づいて、ストレージ12に記憶された複数の撮影画像を撮影した複数のカメラによる撮影の状態を表した撮影状態画像を生成し、表示制御部14に供給して、撮影状態画像生成処理は終了する。
なお、図17ないし図19では、撮影状態画像に、被写体(を模した画像)を含めることとしたが、撮影状態画像において、被写体は、省略することができる。
<画像間引き処理>
図21は、図2の表示制御部14及び画像間引き部36が行う画像間引き処理の例を説明する図である。
図21Aは、被写体を複数のカメラで撮影している様子の例を示す図である。
図21Aでは、被写体を囲むように、16のカメラが等間隔に配置され、被写体が撮影されている。
図21Bは、図21Aに示したように、16のカメラで、被写体が撮影された場合に得られる16の撮影画像をグループとして表示される位置順位画像の表示例を示す図である。
すなわち、図21Bは、例えば、ユーザが、操作部18を操作することにより、撮影画像の再生を要求した場合に表示される位置順位画像の表示例を示している。
位置順位画像を表示する表示モードとしては、例えば、間引きモードと非間引きモードとがある。間引きモードと非間引きモードとは、例えば、ユーザが操作部18を操作すること等によって切り替えることができる。
間引きモードでは、画像間引き部36において、画像間引き処理が行われ、これにより、位置順位画像に表示される撮影画像(の再生画面やシンボル)が、必要に応じて間引かれる。
非間引きモードでは、位置順位画像には、グループの撮影画像のすべて(の再生画面やシンボル)が表示される。
例えば、図21Aに示したように、16のカメラで、被写体が撮影され、その結果得られる16の撮影画像がグループとされた場合には、非間引きモードでは、表示制御部14において、16の撮影画像(の再生画面やシンボル)が、位置順位順に、例えば、4×4の配置パターンに配置されて、表示部15に表示される。
一方、間引きモードでは、画像間引き部36は、位置順位画像に表示する撮影画像(の再生画面)の数を決めるために、ユーザによって操作される粒度アイコンの表示を、表示制御部14に要求し、これにより、表示部15に、粒度アイコンを表示させ、画像間引き処理を行う。
図21Bは、間引きモードでの表示部15の表示例を示している。
図21Bに示すように、間引きモードでは、位置順位画像とともに、粒度アイコンが表示される。
粒度アイコンは、スライダを含み、スライダを移動(スライド)させることで、位置順位画像として表示する撮影画像(の再生画面やシンボル)の粒度(以下、表示粒度ともいう)を調整することができる。
すなわち、画像間引き部36は、粒度アイコンのスライダの位置に応じて、表示部15で(再生画面やシンボルを)表示する撮影画像の数である表示対象画像数を設定する。
さらに、画像間引き部36は、カメラ位置関係取得部31で取得されたカメラ位置関係に基づき、選択カメラの位置が、なるべく等間隔になるように、表示対象画像数だけのカメラを、選択カメラとして選択する。
そして、画像間引き部36は、表示対象画像数だけの選択カメラで撮影された撮影画像を、表示部15で(再生画面やシンボルを)表示する表示対象に設定することにより、表示部15で表示する撮影画像を間引く。
すなわち、画像間引き部36は、グループの16の撮影画像の中の、表示対象に設定された撮影画像を表す制御情報を、表示制御部14に供給する。
表示制御部14は、画像間引き部36から供給される制御情報から、グループの16の撮影画像の中で、表示対象に設定された撮影画像を認識し、その表示対象に設定された撮影画像(の再生画面やシンボル)だけを位置順位順に配置した位置順位画像を生成して、図21Bに示すように、表示部15に表示させる。
例えば、粒度アイコンのスライダが、表示粒度を小にする位置に移動された場合、画像間引き部36は、表示対象画像数を、例えば、グループの撮影画像の数に等しい16に設定し、選択カメラの位置が、なるべく等間隔になるように、表示対象画像数である16のカメラを、選択カメラとして選択する。
すなわち、表示対象画像数が16である場合には、グループの16の撮影画像を撮影した16のカメラすべてが、選択カメラに選択される。
そして、画像間引き部36は、選択カメラである16のカメラで撮影された16の撮影画像を、表示対象に設定し、その表示対象に設定された撮影画像を表す制御情報を、表示制御部14に供給する。
表示制御部14は、画像間引き部36からの制御情報から、グループの16の撮影画像を、表示対象として認識し、その表示対象である16の撮影画像(図21では、撮影画像の再生画面)を、位置順位順に、例えば、4×4の配置パターンに配置した位置順位画像を生成して、図21Bに示すように、表示部15に表示させる。
また、例えば、粒度アイコンのスライダが、表示粒度を中にする位置に移動された場合、画像間引き部36は、表示対象画像数を、例えば、グループの撮影画像の数の1/2である8に設定し、選択カメラの位置が、なるべく等間隔になるように、表示対象画像数である8のカメラを、選択カメラとして選択する。
すなわち、表示対象画像数が8である場合において、図21Aに示したように、16のカメラが、被写体を囲むように等間隔に配置され、被写体が撮影されたときには、グループの16の撮影画像を撮影した16のカメラのうちの、1つおきの8のカメラが、選択カメラに選択される。
そして、画像間引き部36は、選択カメラである8のカメラで撮影された8の撮影画像を、表示対象に設定し、その表示対象に設定された撮影画像を表す制御情報を、表示制御部14に供給する。
表示制御部14は、画像間引き部36からの制御情報から、グループの16の撮影画像のうちの、8の選択カメラで撮影された8の撮影画像を、表示対象として認識し、その表示対象である8の撮影画像(図21では、撮影画像の再生画面)を、位置順位順に、例えば、3×3の配置パターンに配置した位置順位画像を生成して、図21Bに示すように、表示部15に表示させる。
なお、8の撮影画像を、3×3の配置パターンに配置する場合には、配置パターンの1箇所が、撮影画像が配置されない箇所(以下、不使用箇所ともいう)になるが、図21では、3×3の配置パターンのうちの中心(左から2番目で、上から2番目)が、不使用箇所になっている。
粒度アイコンのスライダが、例えば、表示粒度を大にする位置に移動された場合、画像間引き部36は、表示対象画像数を、例えば、グループの撮影画像の数の1/4である4に設定し、選択カメラの位置が、なるべく等間隔になるように、表示対象画像数である4のカメラを、選択カメラとして選択する。
すなわち、表示対象画像数が4である場合において、図21Aに示したように、16のカメラが、被写体を囲むように等間隔に配置され、被写体が撮影されたときには、グループの16の撮影画像を撮影した16のカメラのうちの、3つおきの4のカメラが、選択カメラに選択される。
そして、画像間引き部36は、選択カメラである4のカメラで撮影された4の撮影画像を、表示対象に設定し、その表示対象に設定された撮影画像を表す制御情報を、表示制御部14に供給する。
表示制御部14は、画像間引き部36からの制御情報から、グループの16の撮影画像のうちの、4の選択カメラで撮影された4の撮影画像を、表示対象として認識し、その表示対象である4の撮影画像(図21では、撮影画像の再生画面)を、位置順位順に、例えば、2×2の配置パターンに配置した位置順位画像を生成して、図21Bに示すように、表示部15に表示させる。
間引きモードでは、画像間引き部36において、以上のような画像間引き処理が行われるので、ユーザは、粒度アイコンのスライダを操作することで、グループの撮影画像の数が多い場合に、位置順位画像として表示される撮影画像(の再生画面やシンボル)の数を、ユーザが所望する数に間引くことができる。
また、画像間引き処理では、グループの複数の撮影画像を撮影した複数のカメラの中から、なるべく等間隔の位置にある、表示対象画像数だけのカメラが、選択カメラとして選択されるので、例えば、特定の方向から被写体を撮影した撮影画像だけが偏って、位置順位画像として表示されることを防止することができる。
なお、表示対象画像数が、グループの撮像画像(を撮影したカメラ)の数未満の場合には、例えば、ユーザによる操作部18に応じて、選択カメラとして選択するカメラを変更することができる。この場合、位置順位画像として表示する撮影画像を、例えば、被写体を別の方向から撮影した撮影画像等に変更することができる。
図22は、図2の表示制御部14及び画像間引き部36が行う画像間引き処理の例を説明するフローチャートである。
例えば、ユーザが、操作部18を操作することにより、ストレージ12に記憶されたグループ(の撮影画像)の再生を要求すると、ステップS51において、画像間引き部36は、再生が要求されたグループの複数の撮影画像すべてを、表示対象に設定し、表示対象に設定された撮影画像を表す制御情報を、表示制御部14に供給して、処理は、ステップS52に進む。
ステップS52では、画像間引き部36は、粒度アイコンの表示を、表示制御部14に要求し、これにより、表示制御部14は、表示部15に、粒度アイコンを表示させ、処理は、ステップS53に進む。
ステップS53では、表示制御部14は、画像間引き部36から供給される制御情報から、表示対象に設定された撮影画像を認識し、その表示対象に設定された撮影画像(の再生画面)だけを含む位置順位画像を生成して、表示部15に表示させ、処理は、ステップS54に進む。
いまの場合、再生が要求されたグループの撮影画像のすべてを含む位置順位画像が表示される。
ステップS54では、ユーザが、粒度アイコンのスライダを操作するのを待って、画像間引き部36は、粒度アイコンのスライダの位置に応じて、表示対象画像数を設定(し直)し、処理は、ステップS55に進む。
ステップS55では、画像間引き部36は、カメラ位置関係取得部31で取得されたカメラ位置関係に基づき、選択カメラの位置が、なるべく等間隔になるように、表示対象画像数だけのカメラを、選択カメラとして選択して、処理は、ステップS56に進む。
ステップS56では、画像間引き部36は、表示対象画像数だけの選択カメラで撮影された撮影画像を、表示対象に設定し、表示対象に設定された撮影画像を表す制御情報を、表示制御部14に供給する。
その後、処理は、ステップS56からステップS53に戻り、上述したように、表示制御部14は、画像間引き部36から供給される制御情報から、表示対象に設定された撮影画像を認識し、その表示対象に設定された撮影画像だけを含む位置順位画像を生成して、表示部15に表示させ、以下、同様の処理が繰り返される。
以上の画像間引き処理により、粒度アイコンのスライダの操作に応じて、撮影画像が間引かれ、表示粒度が調整された位置順位画像が表示される。
<再生対象設定処理>
図23は、図2の再生対象設定部37が行う再生対象設定処理の例を説明する図である。
ユーザが、操作部18を操作することにより、ストレージ12に撮影画像が記憶されたグループの再生を要求すると、再生部17は、ストレージ12から、再生が要求されたグループの複数の撮影画像を再生して、表示制御部14に供給する。
表示制御部14は、再生部17からの複数の撮影画像の再生画面を、位置順位順に配置して、表示部15に表示させる。
したがって、この場合、再生が要求されたグループの撮影画像の数だけの再生画面が表示されるが、再生対象設定部37は、グループの撮影画像から、1つの撮影画像を、再生対象に設定し、その再生対象に設定された撮影画像だけの再生画面を表示させる再生対象設定処理を、例えば、ユーザの操作に応じて行う。
すなわち、例えば、ユーザが、操作部18を操作することにより、再生画面を1つにすることが要求された場合には、再生対象設定部37は、再生対象設定処理を行って、再生対象を設定し、その再生対象に設定された撮影画像だけの再生画面を表示させる。
図23Aは、グループとなる撮影画像の撮影の様子の例を示す図である。
図23Aでは、図7Aと同様に、人物を被写体とし、かつ、被写体の正面の位置、左側面の位置、右側面の位置、及び、背面側の位置を撮影位置として、4つのカメラc#1ないしc#4で、被写体が撮影されている。
図23Bは、図23Aに示したようにして、4つのカメラc#1ないしc#4で被写体を撮影することにより得られる4つの撮影画像v#1ないしv#4のグループを対象とした再生対象設定処理の例を示す図である。
ここで、再生対象設定部37が1つの撮影画像を再生対象に設定する設定モードとしては、例えば、順次モードや、リアルタイムモード、手動モードがある。
手動モードでは、ユーザによる操作部18の操作に従って、1つの撮影画像が、再生対象に設定される。
図23Bは、順次モードの再生対象設定処理の例を示している。
順次モードでは、再生対象設定部37は、グループの4つの撮影画像v#1ないしv#4を、例えば、位置順位順等の所定の順番で、順次、再生対象に設定し、その再生対象を表す制御情報を、再生部17に供給する。
再生部17は、再生対象設定部37から供給される制御情報が表す再生対象に設定された撮影画像の全体の区間を再生区間として、その再生対象に設定された撮影画像を再生し、表示制御部14に供給する。
したがって、例えば、グループの4つの撮影画像v#1ないしv#4の位置順位が、それぞれ、1位ないし4位であり、再生対象設定部37が、位置順位順に、順次、4つの撮影画像v#1ないしv#4それぞれを、再生対象に設定する場合には、再生部17では、撮影画像v#1の全体の区間が再生され、以下、撮影画像v#2ないしv#4それぞれの全体の区間が、順次再生される。
この場合、表示制御部14では、撮影位置が異なる4つの撮影画像v#1ないしv#4それぞれの全体の区間を順次再生した1つの再生画面が、表示部15に表示される。
図24は、図2の再生対象設定部37が行う再生対象設定処理の他の例を説明する図である。
図24Aは、グループとなる撮影画像の撮影の様子の例を示す図である。
図24Aでは、陸上競技のトラックの周囲を囲む楕円の円周上の4点を撮影位置として、4つのカメラc#1ないしc#4をトラックに向けて、陸上競技の試合が撮影されている。
図24Bは、図24Aに示したようにして、4つのカメラc#1ないしc#4で撮影した4つの撮影画像v#1ないしv#4のグループを対象とした再生対象設定処理の例を示す図である。
すなわち、図24Bは、リアルタイムモードの再生対象設定処理の例を示している。
リアルタイムモードでは、再生対象設定部37は、グループの4つの撮影画像v#1ないしv#4の時刻同期をとり、その時刻同期がとられた状態の4つの撮影画像v#1ないしv#4を、リアルタイム(1倍速)で再生した場合の再生時間(以下、リアルタイム再生時間ともいう)の各時刻に再生する1つの撮影画像を、4つの撮影画像v#1ないしv#4の中から選択して、撮影対象に設定する。
すなわち、再生対象設定部37は、例えば、リアルタイム再生時間を、グループの撮影画像v#1ないしv#4の数に等しい4つの区間に等分する等の分割を行い、4つの区間のうちのi番目の区間に対して、4つの撮影画像v#1ないしv#4のうちの1つの撮影画像(例えば、撮影画像v#iや、位置順位がi位の撮影画像等)を、再生対象に設定する。
いま、リアルタイム再生時間を分割する区間を、分割区間ということとすると、再生部17は、リアルタイム再生時間を分割して得られる各分割区間において、その分割区間に対して再生対象に設定された撮影画像の、その分割区間に対応する区間を再生区間として、再生対象に設定された撮影画像を再生し、表示制御部14に供給する。
したがって、例えば、4つの撮影画像v#1ないしv#4が、同一の開始時刻から、同一の撮影時間だけ撮影された画像であり、再生対象設定部37が、リアルタイム再生時間を等分した4つの分割区間のうちのi番目の分割区間に対して、4つの撮影画像v#1ないしv#4のうちの、撮影画像v#iを、再生対象に設定する場合には、再生部17では、図24Bに示すように、リアルタイム再生時間の1番目(最初)の分割区間において、撮影画像v#1の最初の1/4の区間が再生され、リアルタイム再生時間の2番目の分割区間において、撮影画像v#2の1/4から2/4の区間が再生される。そして、リアルタイム再生時間の3番目の分割区間において、撮影画像v#3の2/4から3/4の区間が再生され、リアルタイム再生時間の4番目(最後)の分割区間において、撮影画像v#4の3/4から最後の区間が再生される。
この場合、表示制御部14では、撮影位置が異なる4つの撮影画像v#1ないしv#4を時刻同期をとって再生した4つの再生画面のうちの1つの再生画面が、表示部15に表示される。
また、リアルタイムモードでは、再生対象設定部37は、例えば、時刻同期がとられた撮影画像v#1ないしv#4のうちの、所定の条件を満たす区間(以下、条件満足区間ともいう)を有する1つの撮影画像を、その条件満足区間に対応する、リアルタイム再生時間の区間に対する再生対象に設定することができる。
なお、条件満足区間は、その条件満足区間の全体に亘って、所定の条件を満たす区間であっても良いし、条件満足区間の一部だけが、所定の条件を満たす区間であっても良い。
また、1つの撮影画像に対して、条件満足区間は、存在しなくても良いし、複数存在しても良い。
但し、条件満足区間は、他の条件満足区間と重複してはならず、かつ、リアルタイム再生時間の各時刻は、いずれかの条件満足区間に含まれていなければならない。
再生部17は、各条件満足区間に対応する、リアルタイム再生時間の各区間において、その区間に対して再生対象に設定された撮影画像を、条件満足区間を再生区間として再生し、表示制御部14に供給する。
この場合も、リアルタイム再生時間を分割区間に分割した場合と同様に、表示制御部14では、撮影位置が異なる4つの撮影画像v#1ないしv#4を時刻同期をとって再生した4つの再生画面のうちの1つの再生画面が、表示部15に表示される。
ここで、条件満足区間が満足する所定の条件としては、例えば、撮影画像に、特定の被写体が映っていることを採用することができる。撮影画像に、特定の被写体が映っているかどうかは、例えば、撮影画像を対象として、被写体認識を行うことにより判定することができる。
また、条件満足区間が満足する所定の条件としては、例えば、撮影画像を撮影したカメラが、特定の被写体に近いカメラであることを採用することができる。撮影画像を撮影したカメラが、特定の被写体に近いカメラであるかどうかは、例えば、特定の被写体に、GPSを携帯させて、特定の被写体の位置を検出することにより判定することができる。
条件満足区間が満足する所定の条件として、例えば、撮影画像に、特定の被写体が映っていることや、撮影画像を撮影したカメラが、特定の被写体に近いカメラであることを採用する場合には、ユーザは、特定の被写体が映っているか、又は、特定の被写体が近くに存在する状況の画像だけを、再生画面として視聴することができる。
図25は、図2の再生対象設定部37が行う再生対象設定処理の例を説明するフローチャートである。
ストレージ12に撮影画像が記憶されたグループの再生が要求されると、ステップS61において、再生対象設定部37は、例えば、ユーザが操作部18を操作することにより設定した設定モード(順次モード、リアルタイムモード、又は、手動モード)を取得し、処理は、ステップS62に進む。
ステップS62では、再生対象設定部37は、設定モードに従って、再生が要求されたグループの撮影画像の中から、再生対象を設定し、その再生対象を表す制御情報を、再生部17に供給して、再生対象設定処理は終了する。
<ループ連結判定処理>
図26ないし図29を参照して、ループ連結判定処理について説明する。
上述の場合には、位置順位を、グループの複数の撮影画像をループ状に連結するための順位として、図4の位置順位付け処理において、そのような位置順位(以下、ループ位置順位ともいう)を、グループの複数の撮影画像のそれぞれに付けることとしたが、位置順位を、グループの複数の撮影画像を、ループ状ではなく、単にシリーズに連結するための順位として、位置順位付け部32(図2)において、そのような位置順位(以下、シリーズ位置順位ともいう)を、グループの複数の撮影画像のそれぞれに付ける位置順位付け処理を行うことができる。
撮影画像に対して、ループ位置順位を付けるか、又は、シリーズ位置順位を付けるかは、例えば、ユーザの操作に応じて設定することができる。
また、位置順位付け部32において、グループの複数の撮影画像を、ループ状に連結すべきかどうかのループ連結判定を行うループ連結判定処理を行い、そのループ連結判定の結果に従い、ループ位置順位、又は、シリーズ位置順位を、グループの複数の撮影画像に付けることができる。
ここで、ループ連結判定では、例えば、グループの複数の撮影画像を、ループ状に連結した場合にメリットがあるときに、グループの複数の撮影画像を、ループ状に連結すべきと判定し、グループの複数の撮影画像を、ループ状に連結した場合にメリットがあるとはいえないときに、グループの複数の撮影画像を、ループ状に連結すべきでないと判定することができる。
図26は、グループの複数の撮影画像を、ループ状に連結した場合にメリットがあるとはいえないケースの一例を説明する図である。
図26Aは、図7Bと同様に、人物を被写体とし、かつ、被写体の正面側の直線上の4点を撮影位置として、4つのカメラc#1ないしc#4で、被写体が撮影されている撮影状態を示している。
この場合、位置順位付け部32では、撮影位置が直線上に存在するカメラc#1ないしc#4で撮影された撮影画像v#1ないしv#4については、例えば、図7Bで説明したように、カメラc#1で撮影された撮影画像v#1に、1位の位置順位が、カメラc#2で撮影された撮影画像v#2に、2位の位置順位が、カメラc#3で撮影された撮影画像v#3に、3位の位置順位が、カメラc#4で撮影された撮影画像v#4に、4位の位置順位が、それぞれ付される。
図26Bは、図26Aで説明したように、位置順位が付された撮影画像v#1ないしv#4(の再生画面)の表示例を示している。
例えば、ユーザが、操作部18を操作することにより、4つの撮影画像v#1ないしv#4で構成されるグループの再生を要求すると、例えば、図9で説明したように、表示制御部14は、撮影画像v#1ないしv#4の再生画面を、例えば、位置順位順に、左から並べて配置して、表示部15に表示させる。
撮影画像v#1ないしv#4に付された位置順位が、ループ位置順位である場合、ユーザが、撮影画像v#1ないしv#4のうちのいずれかとしての、例えば、撮影画像v#3を先頭にするように指定すると、並び替え部33による並び替え処理では、例えば、図9で説明した場合と同様に、ループ位置順位に従ったループ状の連結を維持したまま、ユーザが指定した撮影画像v#3が先頭になるように、撮影画像v#1ないしv#4が並び替えられる。
すなわち、図26Bに示すように、撮影画像v#3を先頭として、以下、ループ位置順位に従ったループ状の連結(v#1→v#2→v#3→v#4→v#1)が維持されるように、撮影画像v#4,v#1,v#2の順に並び替えられる。
以上のように、撮影画像v#1ないしv#4について、ループ位置順位が付された場合には、ユーザが撮影画像を指定すると、そのユーザが指定した撮影画像を先頭として、ループ位置順位に従ったループ状の連結が維持されるように、撮影画像v#1ないしv#4が並び替えられる。
しかしながら、撮影画像v#1ないしv#4が、図26Aに示したように、撮影位置が直線上に存在するカメラc#1ないしc#4で撮影された画像である場合に、例えば、図26Bに示したように、ユーザが指定した撮影画像v#3を先頭として、ループ位置順位に従ったループ状の連結が維持されるように、撮影画像v#4,v#1,v#2の順に並び替えると、ユーザによっては、撮影画像v#1ないしv#4が視聴しにくいと感じることがあり、この場合、ループ位置順位を付して、グループの複数の撮影画像v#1ないしv#4を、ループ状に連結することにメリットがあるとはいえない。
そこで、位置順位付け部32では、グループの複数の撮影画像を、ループ状に連結することにメリットがあるかどうかによって、グループの複数の撮影画像を、ループ状に連結すべきかどうかのループ連結判定を行うループ連結判定処理を行い、そのループ連結判定の結果に従い、ループ位置順位、又は、シリーズ位置順位を、グループの複数の撮影画像に付けることができる。
なお、撮影画像のファイル名には、位置順位の他、撮影画像に付された位置順位が、ループ位置順位、及び、シリーズ位置順位のうちのいずれであるのかを表す情報を含めることができる。
また、グループの複数の撮影画像を、ループ状に連結することにメリットがあるケースとしては、例えば、条件(1)グループの複数の撮影画像が、3以上のカメラで撮影された画像であること、条件(2)複数のカメラの撮影位置を連結した連結線(以下、カメラ連結線ともいう)が、円や、楕円、矩形等の単純な形状の図形(プリミティブな図形)の輪郭を近似するような軌跡になること、及び、条件(3)カメラ連結線が近似する図形の重心と、カメラ連結線の両端のそれぞれとを結ぶ直線どうしがなす、カメラ連結線側(カメラが多数配置されている側)の角度が、180度を超えること、の3つの条件(1)ないし(3)のすべてを満たすケース等を採用することができる。
例えば、図5ないし図8に示した撮影状態の中では、図6B、図7A、図8A、及び、図8Bの撮影状態で撮影された複数の撮影画像が、3つの条件(1)ないし(3)のすべてを満たし、ループ連結判定処理において、ループ状に連結すべきとの判定結果が得られる。
一方、図5Aないし図5C、図6A、図6C、図7B、及び、図8Cの撮影状態で撮影された複数の撮影画像は、3つの条件(1)ないし(3)のうちの少なくとも1つを満たさないため、ループ連結判定処理において、ループ状に連結すべきでないとの判定結果が得られる。
図27は、位置順位付け部32が行うループ連結判定処理の例を説明するフローチャートである。
ステップS71において、位置順位付け部32は、位置順位を付ける対象(以下、順位付け対象ともいう)のグループの複数の撮影画像を撮影した複数のカメラのカメラ位置関係を、カメラ位置関係取得部31から取得し、処理は、ステップS72に進む。
ステップS72では、位置順位付け部32は、順位付け対象の複数の撮影画像を撮影した複数のカメラのカメラ位置関係に基づき、その複数のカメラそれぞれの撮影位置を、カメラ連結線が最も短くなり、かつ、枝分かれしないように(一筆書きで書けるように)連結することで、順位付け対象の複数の撮影画像についてのカメラ連結線を求め(描画し)、処理は、ステップS73に進む。
ステップS73では、位置順位付け部32は、カメラ連結線の両端である始点と終点(カメラ連結線の始点と終点は、順位付け方向に沿って決定される)を繋げて良いかどうかの評価、すなわち、順位付け対象の複数の撮影画像を、カメラ連結線に沿ってループ状に連結すべきであるかどうかの判定を、例えば、上述の3つの条件(1)ないし(3)が満たされるかどうかを判定することによって行う。
順位付け対象の複数の撮影画像が、条件(1)ないし(3)のすべてを満たす場合、すなわち、順位付け対象の複数の撮影画像が、3以上のカメラで撮影された画像であり(条件(1))、順位付け対象の複数の撮影画像についてのカメラ連結線がプリミティブな図形の輪郭を近似するような軌跡になり(条件(2))、順位付け対象の複数の撮影画像についてのカメラ連結線が近似する図形の重心と、そのカメラ連結線の両端のそれぞれとを結ぶ直線どうしがなす、カメラ連結線側の角度が、180度を超える場合(条件(3))、位置順位付け部32は、順位付け対象の複数の撮影画像を、ループ状に連結すべきであると判定し、ループ連結判定処理は終了する。
この場合、位置順位付け部32では、位置順位付け処理において、図4で説明したように、順位付け対象の複数の撮影画像に、ループ位置順位が付される。
一方、順位付け対象の複数の撮影画像が、条件(1)ないし(3)の1つでも満たさない場合、位置順位付け部32は、順位付け対象の複数の撮影画像を、ループ状に連結すべきでないと判定し、ループ連結判定処理は終了する。
この場合、位置順位付け部32では、位置順位付け処理において、順位付け対象の複数の撮影画像に、シリーズ位置順位が付される。
図28は、人物を被写体とし、かつ、被写体の正面の位置、左側面の位置、右側面の位置、及び、背面側の位置を撮影位置として、4つのカメラc#1ないしc#4で、被写体を撮影することにより得られる4つの撮影画像が、順位付け対象である場合の、ループ連結判定処理を説明する図である。
図28では、カメラc#2とc#3の撮影位置どうしが連結され、カメラc#3とc#4の撮影位置どうしが連結され、カメラc#1とc#2の撮影位置どうしが連結されることで、順位付け対象のカメラc#1ないしc#4で撮影された撮影画像について、カメラ連結線が最も短くなり、かつ、一筆書きで書けるカメラ連結線として、円の輪郭を近似するカメラ連結線が描画されている。
そして、図28では、順位付け対象のカメラc#1ないしc#4で撮影された撮影画像が、条件(1)ないし(3)のすべてを満たすため、順位付け対象のカメラc#1ないしc#4で撮影された撮影画像を、カメラ連結線に沿ってループ状に連結すべきであると判定されている(カメラ連結線の両端である始点と終点を繋げて良いとの評価がされている)。
図29は、人物を被写体とし、かつ、被写体の正面側の直線上の4点を撮影位置として、4つのカメラc#1ないしc#4で、被写体を撮影することにより得られる4つの撮影画像が、順位付け対象である場合の、ループ連結判定処理を説明する図である。
図29では、カメラc#1とc#2の撮影位置どうしが連結され、カメラc#2とc#3の撮影位置どうしが連結され、カメラc#3とc#4の撮影位置どうしが連結されることで、順位付け対象のカメラc#1ないしc#4で撮影された撮影画像について、カメラ連結線が最も短くなり、かつ、一筆書きで書けるカメラ連結線として、直線を近似するカメラ連結線が描画されている。
そして、図29では、順位付け対象のカメラc#1ないしc#4で撮影された撮影画像が、条件(1)ないし(3)のうちの、条件(2)及び(3)を満たさないため、順位付け対象のカメラc#1ないしc#4で撮影された撮影画像を、カメラ連結線に沿ってループ状に連結すべきでないと判定されている(カメラ連結線の両端である始点と終点を繋げるべきでないとの評価がされている)。
なお、ループ連結判定処理において、順位付け対象の複数の撮影画像を、ループ状に連結すべきでないと判定され、位置順位付け処理において、順位付け対象の複数の撮影画像に、シリーズ位置順位が付された場合、並び替え部33の並び替え処理では、例えば、グループの複数の撮影画像のうちの、ユーザが先頭にするように指定した撮影画像と、その撮影画像よりもシリーズ順位が低い撮影画像とだけを、シリーズ順位順に並べて配置することができる。あるいは、並び替え処理を行わないこととすることができる。
<本技術を適用したコンピュータの説明>
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図30は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体111に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体111としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。
CPU102は、入出力インタフェース110を介して、ユーザによって、入力部107が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、CPU102は、ハードディスク105に格納されたプログラムを、RAM(Random Access Memory)104にロードして実行する。
これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
なお、入力部107は、キーボードや、マウス、マイク等で構成される。また、出力部106は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
すなわち、例えば、本技術は、動画、及び、静止画のいずれにも適用することができる。
さらに、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下のような構成をとることができる。
<1>
複数のカメラの位置関係を取得するカメラ位置関係取得部と、
前記複数のカメラの位置関係に基づいて、前記複数のカメラで撮影された複数の撮影画像のそれぞれに、前記複数の撮影画像をループ状に連結するための位置順位を付ける位置順位付け部と
を備える画像処理装置。
<2>
前記位置順位付け部は、前記複数の撮影画像のそれぞれに、前記複数の撮影画像をループ状に連結するための位置順位を付ける
<1>に記載の画像処理装置。
<3>
前記複数の撮影画像を、前記撮影画像の位置順位に従って並べて、表示部に表示させる表示制御部をさらに備える
<1>に記載の画像処理装置。
<4>
前記位置順位に従った並び順を維持したまま、前記複数の撮影画像のうちの特定の画像が所定の位置に配置されるように、前記複数の撮影画像を並び替える並び替え部をさらに備える
<3>に記載の画像処理装置。
<5>
前記撮影画像の位置順位に従った前記複数の撮影画像の並びを、逆順に並び替える逆並び替え部をさらに備える
<3>又は<4>に記載の画像処理装置。
<6>
前記複数のカメラの位置関係に基づいて、前記複数のカメラによる撮影の状態を表した撮影状態画像を生成する撮影状態画像生成部をさらに備え、
前記表示制御部は、前記撮影状態画像も表示させる
<3>ないし<5>のいずれかに記載の画像処理装置。
<7>
前記表示部で表示する前記撮影画像を間引く画像間引き部をさらに備える
<3>ないし<6>のいずれかに記載の画像処理装置。
<8>
前記画像間引き部は、
前記表示部で表示する前記撮影画像の数である表示対象画像数を設定し、
前記複数のカメラの位置関係に基づき、選択カメラの位置が等間隔になるように、前記表示対象画像数だけのカメラを、前記選択カメラとして選択し、
前記表示対象画像数だけの前記選択カメラで撮影された前記撮影画像を、前記表示部で表示する表示対象に設定する
ことにより、前記表示部で表示する前記撮影画像を間引く
<7>に記載の画像処理装置。
<9>
前記複数の撮影画像から、再生対象とする撮影画像を設定する再生対象設定部と、
前記再生対象の撮影画像を再生する再生部と
をさらに備える<3>ないし<8>のいずれかに記載の画像処理装置。
<10>
前記再生対象設定部は、前記複数の撮影画像を、順次、再生対象に設定し、
前記再生部は、前記再生対象の撮影画像の全体の区間を再生区間として、前記再生対象の撮影画像を再生する
<9>に記載の画像処理装置。
<11>
前記再生対象設定部は、時刻同期がとられた前記複数の撮影画像のうちの、所定の条件を満たす区間を有する撮影画像を、再生対象に設定し、
前記再生部は、前記再生対象の撮影画像の前記所定の条件を満たす区間を再生区間として、前記再生対象の撮影画像を再生する
<9>に記載の画像処理装置。
<12>
前記位置順位付け部は、さらに、前記位置順位に応じて、前記複数の撮影画像それぞれのファイル名を変更する
<1>ないし<11>のいずれかに記載の画像処理装置。
<13>
複数のカメラの位置関係を取得し、
前記複数のカメラの位置関係に基づいて、前記複数のカメラで撮影された複数の撮影画像のそれぞれに、前記複数の撮影画像をループ状に連結するための位置順位を付ける
ステップを含む画像処理方法。
<14>
複数のカメラの位置関係を取得するカメラ位置関係取得部と、
前記複数のカメラの位置関係に基づいて、前記複数のカメラで撮影された複数の撮影画像のそれぞれに、前記複数の撮影画像をループ状に連結するための位置順位を付ける位置順位付け部と
して、コンピュータを機能させるためのプログラム。
11 画像取得部, 12 ストレージ, 13 時刻同期部, 14 表示制御部, 15 表示部, 16 画像配置制御部, 17 再生部, 18 操作部, 19 制御部, 31 カメラ位置関係取得部, 32 位置順位付け部, 33 並び替え部, 34 逆並び替え部, 35 撮影状態画像生成部, 36 画像間引き部, 37 再生対象設定部, 101 バス, 102 CPU, 103 ROM, 104 RAM, 105 ハードディスク, 106 出力部, 107 入力部, 108 通信部, 109 ドライブ, 110 入出力インタフェース, 111 リムーバブル記録媒体

Claims (14)

  1. 複数のカメラの位置関係を取得するカメラ位置関係取得部と、
    前記複数のカメラの位置関係に基づいて、前記複数のカメラで撮影された複数の撮影画像のそれぞれに、前記複数の撮影画像を連結するための位置順位を付ける位置順位付け部と
    を備える画像処理装置。
  2. 前記位置順位付け部は、前記複数の撮影画像のそれぞれに、前記複数の撮影画像をループ状に連結するための位置順位を付ける
    請求項1に記載の画像処理装置。
  3. 前記複数の撮影画像を、前記撮影画像の位置順位に従って並べて、表示部に表示させる表示制御部をさらに備える
    請求項1に記載の画像処理装置。
  4. 前記位置順位に従った並び順を維持したまま、前記複数の撮影画像のうちの特定の画像が所定の位置に配置されるように、前記複数の撮影画像を並び替える並び替え部をさらに備える
    請求項3に記載の画像処理装置。
  5. 前記撮影画像の位置順位に従った前記複数の撮影画像の並びを、逆順に並び替える逆並び替え部をさらに備える
    請求項3に記載の画像処理装置。
  6. 前記複数のカメラの位置関係に基づいて、前記複数のカメラによる撮影の状態を表した撮影状態画像を生成する撮影状態画像生成部をさらに備え、
    前記表示制御部は、前記撮影状態画像も表示させる
    請求項3に記載の画像処理装置。
  7. 前記表示部で表示する前記撮影画像を間引く画像間引き部をさらに備える
    請求項3に記載の画像処理装置。
  8. 前記画像間引き部は、
    前記表示部で表示する前記撮影画像の数である表示対象画像数を設定し、
    前記複数のカメラの位置関係に基づき、選択カメラの位置が等間隔になるように、前記表示対象画像数だけのカメラを、前記選択カメラとして選択し、
    前記表示対象画像数だけの前記選択カメラで撮影された前記撮影画像を、前記表示部で表示する表示対象に設定する
    ことにより、前記表示部で表示する前記撮影画像を間引く
    請求項7に記載の画像処理装置。
  9. 前記複数の撮影画像から、再生対象とする撮影画像を設定する再生対象設定部と、
    前記再生対象の撮影画像を再生する再生部と
    をさらに備える請求項3に記載の画像処理装置。
  10. 前記再生対象設定部は、前記複数の撮影画像を、順次、再生対象に設定し、
    前記再生部は、前記再生対象の撮影画像の全体の区間を再生区間として、前記再生対象の撮影画像を再生する
    請求項9に記載の画像処理装置。
  11. 前記再生対象設定部は、時刻同期がとられた前記複数の撮影画像のうちの、所定の条件を満たす区間を有する撮影画像を、再生対象に設定し、
    前記再生部は、前記再生対象の撮影画像の前記所定の条件を満たす区間を再生区間として、前記再生対象の撮影画像を再生する
    請求項9に記載の画像処理装置。
  12. 前記位置順位付け部は、さらに、前記位置順位に応じて、前記複数の撮影画像それぞれのファイル名を変更する
    請求項3に記載の画像処理装置。
  13. 複数のカメラの位置関係を取得し、
    前記複数のカメラの位置関係に基づいて、前記複数のカメラで撮影された複数の撮影画像のそれぞれに、前記複数の撮影画像を連結するための位置順位を付ける
    ステップを含む画像処理方法。
  14. 複数のカメラの位置関係を取得するカメラ位置関係取得部と、
    前記複数のカメラの位置関係に基づいて、前記複数のカメラで撮影された複数の撮影画像のそれぞれに、前記複数の撮影画像を連結するための位置順位を付ける位置順位付け部と
    して、コンピュータを機能させるためのプログラム。
JP2013186305A 2013-09-09 2013-09-09 画像処理装置、画像処理方法、及び、プログラム Active JP6187811B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013186305A JP6187811B2 (ja) 2013-09-09 2013-09-09 画像処理装置、画像処理方法、及び、プログラム
EP14767156.4A EP3000111A1 (en) 2013-09-09 2014-09-01 Image information processing method, apparatus and program utilizing a camera position sequence
PCT/JP2014/004472 WO2015033546A1 (en) 2013-09-09 2014-09-01 Image information processing method, apparatus and program utilizing a camera position sequence
US14/901,770 US11265525B2 (en) 2013-09-09 2014-09-01 Image information processing method, apparatus, and program utilizing a position sequence
CN201480037279.9A CN105359504B (zh) 2013-09-09 2014-09-01 利用摄像机位置顺位的图像信息处理方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013186305A JP6187811B2 (ja) 2013-09-09 2013-09-09 画像処理装置、画像処理方法、及び、プログラム

Publications (3)

Publication Number Publication Date
JP2015053636A true JP2015053636A (ja) 2015-03-19
JP2015053636A5 JP2015053636A5 (ja) 2016-03-10
JP6187811B2 JP6187811B2 (ja) 2017-08-30

Family

ID=51570814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013186305A Active JP6187811B2 (ja) 2013-09-09 2013-09-09 画像処理装置、画像処理方法、及び、プログラム

Country Status (5)

Country Link
US (1) US11265525B2 (ja)
EP (1) EP3000111A1 (ja)
JP (1) JP6187811B2 (ja)
CN (1) CN105359504B (ja)
WO (1) WO2015033546A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239717A1 (ja) * 2018-06-11 2019-12-19 富士フイルム株式会社 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP2020036121A (ja) * 2018-08-28 2020-03-05 株式会社Nttドコモ 情報処理装置及び投影装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614578B2 (en) * 2016-03-23 2020-04-07 Akcelita, LLC System and method for tracking people, animals and objects using a volumetric representation and artificial intelligence
US10049462B2 (en) * 2016-03-23 2018-08-14 Akcelita, LLC System and method for tracking and annotating multiple objects in a 3D model
US10360445B2 (en) * 2016-03-23 2019-07-23 Akcelita, LLC System and method for tracking persons using a volumetric representation
CN107333031B (zh) * 2017-07-27 2020-09-01 李静雯 一种适用于校园足球比赛的多路视频自动编辑方法
JP7193938B2 (ja) * 2018-07-04 2022-12-21 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US11763467B2 (en) 2018-09-28 2023-09-19 Intel Corporation Multi-cam ball location method and apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034250A (ja) * 1999-07-19 2001-02-09 Mitsubishi Electric Corp 映像表示装置、映像表示方法および映像を表示するためのプログラムを記録した記録媒体
JP2002252830A (ja) * 2001-02-22 2002-09-06 Hitachi Kokusai Electric Inc 画像記録装置
JP2004186824A (ja) * 2002-11-29 2004-07-02 Jikei Univ School Of Medicine 時空間多重画像装置および方法
JP2005012415A (ja) * 2003-06-18 2005-01-13 Matsushita Electric Ind Co Ltd 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP2012249188A (ja) * 2011-05-30 2012-12-13 Oki Electric Ind Co Ltd 映像配信システム及び方法

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4089597A (en) * 1976-03-11 1978-05-16 Robert Bruce Collender Stereoscopic motion picture scanning reproduction method and apparatus
US4321625A (en) * 1977-11-16 1982-03-23 Lectrolarm Custom Systems, Inc. Control system for plurality of video cameras
US4158487A (en) * 1978-02-17 1979-06-19 Collender Robert B Stereoscopic real image scanning reproduction method and apparatus
US4589140A (en) * 1983-03-21 1986-05-13 Beltronics, Inc. Method of and apparatus for real-time high-speed inspection of objects for identifying or recognizing known and unknown portions thereof, including defects and the like
US5184732A (en) * 1985-12-20 1993-02-09 Gersan Establishment Shape sorting
US4698682A (en) * 1986-03-05 1987-10-06 Rca Corporation Video apparatus and method for producing the illusion of motion from a sequence of still images
FR2661061B1 (fr) * 1990-04-11 1992-08-07 Multi Media Tech Procede et dispositif de modification de zone d'images.
US5258837A (en) * 1991-01-07 1993-11-02 Zandar Research Limited Multiple security video display
US5448291A (en) * 1993-06-30 1995-09-05 Wickline; Dennis E. Live video theater and method of presenting the same utilizing multiple cameras and monitors
US5613048A (en) * 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
US7843497B2 (en) * 1994-05-31 2010-11-30 Conley Gregory J Array-camera motion picture device, and methods to produce new visual and aural effects
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US6522325B1 (en) * 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
US6538698B1 (en) * 1998-08-28 2003-03-25 Flashpoint Technology, Inc. Method and system for sorting images in an image capture unit to ease browsing access
US6707487B1 (en) * 1998-11-20 2004-03-16 In The Play, Inc. Method for representing real-time motion
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
WO2001089221A1 (en) * 2000-05-18 2001-11-22 Imove Inc. Multiple camera video system which displays selected images
US7540011B2 (en) * 2001-06-11 2009-05-26 Arrowsight, Inc. Caching graphical interface for displaying video and ancillary data from a saved video
FR2834416B1 (fr) 2001-12-28 2004-05-21 Thomson Licensing Sa Procede de diffusion de services audiovisuels, central de diffusion et support d'enregistrement, procede de visualisation d'emissions audiovisuelles et dispositif associes
US7046292B2 (en) * 2002-01-16 2006-05-16 Hewlett-Packard Development Company, L.P. System for near-simultaneous capture of multiple camera images
US6710713B1 (en) * 2002-05-17 2004-03-23 Tom Russo Method and apparatus for evaluating athletes in competition
US20070070210A1 (en) 2003-04-11 2007-03-29 Piccionelli Gregory A Video production with selectable camera angles
CA2563478A1 (en) * 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
FR2872943B1 (fr) * 2004-07-07 2006-10-27 Leo Vision Soc Par Actions Sim Procede d'obtention d'une succession d'images sous la forme d'un effet tournant
WO2006024078A1 (en) * 2004-08-30 2006-03-09 Trace Optic Technologies Pty Ltd A method and apparatus of camera control
JP2006086671A (ja) * 2004-09-15 2006-03-30 Hitachi Ltd 自動追尾機能を有する撮像装置
KR100720722B1 (ko) * 2005-06-21 2007-05-22 삼성전자주식회사 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
US20090268033A1 (en) * 2005-08-30 2009-10-29 Norimichi Ukita Method for estimating connection relation among wide-area distributed camera and program for estimating connection relation
JP4525618B2 (ja) * 2006-03-06 2010-08-18 ソニー株式会社 映像監視システムおよび映像監視プログラム
JP4561657B2 (ja) * 2006-03-06 2010-10-13 ソニー株式会社 映像監視システムおよび映像監視プログラム
JP4725452B2 (ja) * 2006-08-04 2011-07-13 株式会社ニコン デジタルカメラ及び画像処理プログラム
WO2008035745A1 (en) * 2006-09-20 2008-03-27 Panasonic Corporation Monitor system, camera and video image coding method
US8274564B2 (en) * 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
US8094182B2 (en) * 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
JP2008147838A (ja) * 2006-12-07 2008-06-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム
AU2006252090A1 (en) * 2006-12-18 2008-07-03 Canon Kabushiki Kaisha Dynamic Layouts
US7992097B2 (en) * 2006-12-22 2011-08-02 Apple Inc. Select drag and drop operations on video thumbnails across clip boundaries
US7898576B2 (en) * 2007-02-28 2011-03-01 Honeywell International Inc. Method and system for indexing and searching objects of interest across a plurality of video streams
JP4730341B2 (ja) * 2007-06-06 2011-07-20 株式会社日立製作所 撮像装置
EP2301241B1 (en) * 2007-06-12 2014-08-13 IN Extenso Holdings INC. Distributed synchronized video viewing and editing
JP4416017B2 (ja) * 2007-07-18 2010-02-17 ソニー株式会社 撮像システム
US20090113505A1 (en) * 2007-10-26 2009-04-30 At&T Bls Intellectual Property, Inc. Systems, methods and computer products for multi-user access for integrated video
JP2009109880A (ja) * 2007-10-31 2009-05-21 Sony Corp 表示制御装置、表示制御方法、およびプログラム
US9690442B2 (en) * 2008-10-17 2017-06-27 Adobe Systems Incorporated Generating customized effects for image presentation
JP2010113655A (ja) * 2008-11-10 2010-05-20 Canon Inc 画像処理装置、画像処理装置の制御方法、及び制御プログラム
JP5537040B2 (ja) * 2009-01-28 2014-07-02 キヤノン株式会社 表示制御装置および表示制御方法
US8180107B2 (en) * 2009-02-13 2012-05-15 Sri International Active coordinated tracking for multi-camera systems
WO2010098024A1 (ja) * 2009-02-24 2010-09-02 三菱電機株式会社 人物追跡装置及び人物追跡プログラム
US9479768B2 (en) * 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
JP2011033870A (ja) * 2009-08-03 2011-02-17 Sony Corp 画像処理装置、画像処理方法およびプログラム
US8564623B2 (en) * 2009-12-11 2013-10-22 Molecular Devices, Llc Integrated data visualization for multi-dimensional microscopy
US8274592B2 (en) * 2009-12-22 2012-09-25 Eastman Kodak Company Variable rate browsing of an image collection
JP2011135246A (ja) * 2009-12-24 2011-07-07 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2011166264A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8787618B2 (en) * 2010-04-13 2014-07-22 Sony Corporation Content information processing device, content information processing method, content information processing program, and personal digital assistant
JP2012004739A (ja) 2010-06-15 2012-01-05 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP5724230B2 (ja) * 2010-07-07 2015-05-27 ソニー株式会社 表示制御装置、表示制御方法、プログラム
US8555170B2 (en) * 2010-08-10 2013-10-08 Apple Inc. Tool for presenting and editing a storyboard representation of a composite presentation
JP5678576B2 (ja) * 2010-10-27 2015-03-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および監視システム
GB2485969A (en) * 2010-11-12 2012-06-06 Sony Corp Video surveillance with anticipated arrival time of object in another camera view
US8861890B2 (en) * 2010-11-24 2014-10-14 Douglas Alan Lefler System and method for assembling and displaying individual images as a continuous image
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US9182229B2 (en) * 2010-12-23 2015-11-10 Trimble Navigation Limited Enhanced position measurement systems and methods
JP5977922B2 (ja) * 2011-02-24 2016-08-24 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法、透過型頭部装着型表示装置
CN103502986B (zh) * 2011-03-07 2015-04-29 科宝2股份有限公司 用于从事件或地理位置处的图像提供者进行分析数据采集的系统及方法
JP2012242918A (ja) * 2011-05-17 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5967473B2 (ja) * 2011-06-03 2016-08-10 パナソニックIpマネジメント株式会社 撮像装置及び撮像システム
US8405740B2 (en) * 2011-06-24 2013-03-26 Eastman Kodak Company Guidance for image capture at different locations
US9792955B2 (en) * 2011-11-14 2017-10-17 Apple Inc. Automatic generation of multi-camera media clips
US9449583B2 (en) * 2011-12-15 2016-09-20 Lenovo (Beijing) Co., Ltd. Control method and electronic apparatus
JP5548671B2 (ja) * 2011-12-27 2014-07-16 株式会社ソニー・コンピュータエンタテインメント 画像処理システム、画像提供サーバ、情報処理装置、および画像処理方法
US20130215239A1 (en) * 2012-02-21 2013-08-22 Sen Wang 3d scene model from video
GB2502065A (en) * 2012-05-14 2013-11-20 Sony Corp Video comparison apparatus for sports coverage
US9257090B2 (en) * 2012-10-04 2016-02-09 Spirority, Inc. Graphical display of content on a display device in a spiral pattern
US9311310B2 (en) * 2012-10-26 2016-04-12 Google Inc. System and method for grouping related photographs
US9087386B2 (en) * 2012-11-30 2015-07-21 Vidsys, Inc. Tracking people and objects using multiple live and recorded surveillance camera video feeds
US9292936B2 (en) * 2013-01-09 2016-03-22 Omiimii Ltd. Method and apparatus for determining location
US9118843B2 (en) * 2013-01-17 2015-08-25 Google Inc. Methods and systems for creating swivel views from a handheld device
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034250A (ja) * 1999-07-19 2001-02-09 Mitsubishi Electric Corp 映像表示装置、映像表示方法および映像を表示するためのプログラムを記録した記録媒体
JP2002252830A (ja) * 2001-02-22 2002-09-06 Hitachi Kokusai Electric Inc 画像記録装置
JP2004186824A (ja) * 2002-11-29 2004-07-02 Jikei Univ School Of Medicine 時空間多重画像装置および方法
JP2005012415A (ja) * 2003-06-18 2005-01-13 Matsushita Electric Ind Co Ltd 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP2012249188A (ja) * 2011-05-30 2012-12-13 Oki Electric Ind Co Ltd 映像配信システム及び方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239717A1 (ja) * 2018-06-11 2019-12-19 富士フイルム株式会社 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JPWO2019239717A1 (ja) * 2018-06-11 2021-04-01 富士フイルム株式会社 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP2021083117A (ja) * 2018-06-11 2021-05-27 富士フイルム株式会社 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP7416736B2 (ja) 2018-06-11 2024-01-17 富士フイルム株式会社 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP2020036121A (ja) * 2018-08-28 2020-03-05 株式会社Nttドコモ 情報処理装置及び投影装置
JP7246146B2 (ja) 2018-08-28 2023-03-27 株式会社Nttドコモ 情報処理装置及び映像投影システム

Also Published As

Publication number Publication date
WO2015033546A1 (en) 2015-03-12
CN105359504A (zh) 2016-02-24
JP6187811B2 (ja) 2017-08-30
US20160381339A1 (en) 2016-12-29
CN105359504B (zh) 2020-03-24
US11265525B2 (en) 2022-03-01
EP3000111A1 (en) 2016-03-30

Similar Documents

Publication Publication Date Title
JP6187811B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
AU2019216671B2 (en) Method and apparatus for playing video content from any location and any time
JP6558587B2 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
CN108369816B (zh) 用于从全向视频创建视频剪辑的设备和方法
JP6178524B2 (ja) パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置
US11363325B2 (en) Augmented reality apparatus and method
US10205969B2 (en) 360 degree space image reproduction method and system therefor
US11533438B2 (en) Method to configure a virtual camera path
JP6787394B2 (ja) 情報処理装置、情報処理方法、プログラム
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
JP2014220723A (ja) 表示制御装置、表示制御方法、およびプログラム
US20120307068A1 (en) Surround video recording
US20140294366A1 (en) Capture, Processing, And Assembly Of Immersive Experience
US20180124374A1 (en) System and Method for Reducing System Requirements for a Virtual Reality 360 Display
Mase et al. Socially assisted multi-view video viewer
US10664225B2 (en) Multi vantage point audio player
US10090020B1 (en) Content summarization
US20150304724A1 (en) Multi vantage point player
WO2016203896A1 (ja) 生成装置
WO2018147089A1 (ja) 情報処理装置および方法
JP2014220722A (ja) 表示制御装置、表示制御方法、およびプログラム
KR20120115633A (ko) 3디 카메라시스템
Saini et al. Automated Video Mashups: Research and Challenges
JP2008236708A (ja) バーチャル撮影スタジオの媒体制作装置
WO2015173828A1 (en) Methods, circuits, devices, systems and associated computer executable code for composing composite content

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170607

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170719

R151 Written notification of patent or utility model registration

Ref document number: 6187811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250