JP2005277857A - Image recorder/reproducer, imaging device, recording medium and image reproducer - Google Patents
Image recorder/reproducer, imaging device, recording medium and image reproducer Download PDFInfo
- Publication number
- JP2005277857A JP2005277857A JP2004089178A JP2004089178A JP2005277857A JP 2005277857 A JP2005277857 A JP 2005277857A JP 2004089178 A JP2004089178 A JP 2004089178A JP 2004089178 A JP2004089178 A JP 2004089178A JP 2005277857 A JP2005277857 A JP 2005277857A
- Authority
- JP
- Japan
- Prior art keywords
- information
- imaging
- image
- cut
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、被写体の像を光電変換することにより被写体を撮影し、撮影した画像を記録すると共に、画像を再生する画像記録再生装置に関する。また、画像記録再生装置において用いられる、被写体を撮影するための撮像装置、画像を記録する記録媒体、画像を再生する画像再生装置にも関する。 The present invention relates to an image recording / reproducing apparatus that captures a subject by photoelectrically converting the subject image, records the captured image, and reproduces the image. The present invention also relates to an imaging device for photographing a subject, a recording medium for recording an image, and an image reproducing device for reproducing an image, which are used in the image recording / reproducing device.
従来、複数の画像を表示する技術が開示されている。例えば、特許文献1には、全体画像の一部を他の画像に切り替える技術が記載されている。また、特許文献2には、インターネットからの情報として適宜に必要な部分画像を取り出して、この部分画像とインターディスク上の記憶固定された情報とを同期合成して表示させる技術が記載されている。
しかし、撮像装置によって撮像された動画像の全体(全体画像)から一部の部分画像(切出し画像)を切り出し、全体の動画像と部分画像とを同期させて表示する技術の開示はなされていなかった。このため、例えば、複数の被写体を含む全体画像と、特定の被写体のみに注目した切出し画像とを両方表示させて鑑賞したいというユーザの要求に応えることができなかった。 However, there is no disclosure of a technique for cutting out a partial image (cut image) from the entire moving image (whole image) captured by the imaging apparatus and displaying the entire moving image and the partial image in synchronization. It was. For this reason, for example, it has not been possible to meet a user's request to view and view both an entire image including a plurality of subjects and a cut-out image focused only on a specific subject.
本発明は、上述した問題点に鑑みてなされたものであって、動画像の全体画像とその一部分の切出し画像とを同期させて再生することができる画像記録再生装置、撮像装置、記録媒体および画像再生装置を提供することを目的とする。 The present invention has been made in view of the above-described problems, and is an image recording / reproducing apparatus, an imaging apparatus, a recording medium, and an image recording / reproducing apparatus capable of reproducing an entire moving image and a part of the clipped image in synchronization with each other. An object is to provide an image reproducing apparatus.
本発明は上記の課題を解決するためになされたもので、請求項1に記載の発明は、被写体を連続的に撮影し、該被写体を含む全体画像を示す撮像情報を生成する撮像手段と、前記被写体における注目点の位置を連続的に検出し、該位置の連続的な変化に関する位置情報を出力する注目点検出手段と、前記撮像情報と、前記位置情報と、前記撮像情報と前記位置情報との時間的な関連を示す同期情報とを含み、前記撮像情報、前記位置情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、前記位置情報および前記同期情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、前記画像切出し手段によって切り出された前記切出し画像と前記全体画像とを、前記同期情報に基づいて再生する再生手段とを具備することを特徴とする画像記録再生装置である。
The present invention has been made in order to solve the above-described problems, and the invention according to
請求項2に記載の発明は、被写体を連続的に撮影し、該被写体を含む全体画像を示す撮像情報を生成する撮像手段と、前記被写体における注目点の位置を連続的に検出し、該位置の連続的な変化に関する位置情報を出力する注目点検出手段と、前記全体画像と前記位置情報との時間的な関連を示す同期情報および前記位置情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、前記撮像情報と、前記切出し画像を示す切出し画像情報と、前記同期情報とを含み、前記撮像情報、前記切出し画像情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、前記切出し画像と前記全体画像とを、前記同期情報に基づいて再生する再生手段とを具備することを特徴とする画像記録再生装置である。 According to the second aspect of the present invention, there is provided an imaging unit that continuously shoots a subject and generates imaging information indicating an entire image including the subject, and continuously detects a position of a point of interest in the subject. Attention point detecting means for outputting position information relating to continuous change of the image, synchronization information indicating a temporal relationship between the entire image and the position information, and the position information based on the position of the subject. Image pick-up means for cutting out a cut-out image including a point of interest, the image pickup information, cut-out image information indicating the cut-out image, and the synchronization information, wherein the image pickup information, the cut-out image information, and the synchronization information are separated Data generation means for generating an information group configured to be possible, and reproduction means for reproducing the cut-out image and the whole image based on the synchronization information An image recording and reproducing apparatus.
請求項3に記載の発明は、被写体を連続的に撮影し、該被写体を含む全体画像を示す撮像情報を生成する撮像手段と、前記被写体における注目点の位置を連続的に検出し、該位置の連続的な変化に関する第1の位置情報を出力する注目点検出手段と、前記撮像情報と、前記第1の位置情報と、前記撮像情報と前記第1の位置情報との時間的な関連を示す同期情報とを含み、前記撮像情報、前記第1の位置情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段とを具備することを特徴とする撮像装置である。 According to the third aspect of the present invention, there is provided an imaging unit that continuously shoots a subject and generates imaging information indicating an entire image including the subject, and continuously detects a position of a point of interest in the subject. A point-of-interest detection means for outputting first position information relating to a continuous change of the image, the imaging information, the first position information, and the temporal relationship between the imaging information and the first position information. A data generation unit configured to generate an information group configured to be separable from the imaging information, the first position information, and the synchronization information. .
請求項4に記載の発明は、請求項3に記載の撮像装置において、前記撮像手段はさらに、前記撮像情報と共に、撮像領域における撮像状態に関する撮像領域情報を生成し、前記データ生成手段は、前記撮像手段によって生成された前記撮像情報および前記撮像領域情報と、前記第1の位置情報と、前記同期情報とを含み、前記撮像情報、前記撮像領域情報、前記第1の位置情報、および前記同期情報が分離可能に構成された情報群を生成することを特徴とする。 According to a fourth aspect of the present invention, in the imaging apparatus according to the third aspect, the imaging unit further generates imaging area information regarding an imaging state in an imaging area together with the imaging information, and the data generation unit Including the imaging information and the imaging area information generated by the imaging means, the first position information, and the synchronization information, the imaging information, the imaging area information, the first position information, and the synchronization An information group configured so that information can be separated is generated.
請求項5に記載の発明は、請求項3に記載の撮像装置において、前記撮像手段はさらに、前記撮像情報と共に、撮像領域における撮像状態に関する撮像領域情報を生成し、前記撮像領域情報と前記第1の位置情報とに基づいて、前記第1の位置情報に係る座標系と、前記撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第1の位置情報を、前記撮像手段に固有の座標系における第2の位置情報に変換する関係情報生成手段をさらに具備し、前記データ生成手段は、前記撮像手段によって生成された前記撮像情報と、前記第2の位置情報と、前記撮像情報と前記同期情報とを含み、前記撮像情報、前記第2の位置情報、および前記同期情報が分離可能に構成された情報群を生成することを特徴とする。 According to a fifth aspect of the present invention, in the imaging device according to the third aspect, the imaging unit further generates imaging area information regarding an imaging state in the imaging area together with the imaging information, and the imaging area information and the first Based on the position information of the first position information, and generates the relationship information relating the coordinate system related to the first position information and the coordinate system unique to the imaging means, and based on the relationship information, the first information Further comprising relation information generating means for converting the position information of the second information into second position information in a coordinate system unique to the imaging means, wherein the data generating means includes the imaging information generated by the imaging means, An information group including second position information, the imaging information, and the synchronization information, wherein the imaging information, the second position information, and the synchronization information are configured to be separable is generated. That.
請求項6に記載の発明は、請求項5に記載の撮像装置において、前記注目点検出手段および前記関係情報生成手段を複数具備することを特徴とする。 According to a sixth aspect of the present invention, in the imaging apparatus according to the fifth aspect of the present invention, a plurality of the attention point detecting means and the relationship information generating means are provided.
請求項7に記載の発明は、被写体を連続的に撮影し、該被写体を含む全体画像を示す撮像情報を生成する撮像手段と、前記被写体の位置を連続的に検出し、該位置の連続的な変化に関する第1の位置情報を出力する注目点検出手段と、前記撮像情報と前記第1の位置情報との時間的な関連を示す同期情報および前記第1の位置情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、前記撮像情報と、前記切出し画像を示す切出し画像情報と、前記同期情報とを含み、前記撮像情報、前記切出し画像情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段とを具備することを特徴とする撮像装置である。 According to the seventh aspect of the present invention, there is provided an imaging unit that continuously shoots a subject and generates imaging information indicating an entire image including the subject, continuously detects the position of the subject, and continuously detects the position. Based on the point-of-interest detection means for outputting the first position information relating to a change, the synchronization information indicating the temporal relationship between the imaging information and the first position information, and the first position information Image cutting means for cutting out a cutout image including the target point of the subject from the image, the imaging information, cutout image information indicating the cutout image, and the synchronization information, the imaging information, the cutout image information, And an image generation apparatus comprising a data generation unit configured to generate an information group configured so that the synchronization information is separable.
請求項8に記載の発明は、請求項7に記載の撮像装置において、前記撮像手段はさらに、撮像領域における撮像状態に関する撮像領域情報を生成し、前記撮像領域情報と前記第1の位置情報とに基づいて、前記第1の位置情報に係る座標系と前記撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第1の位置情報を第2の位置情報に変換する関係情報生成手段をさらに具備し、前記画像切出し手段は、前記同期情報および前記第2の位置情報に基づいて、前記全体画像から前記切出し画像を切り出すことを特徴とする。 According to an eighth aspect of the present invention, in the imaging apparatus according to the seventh aspect, the imaging means further generates imaging area information relating to an imaging state in the imaging area, and the imaging area information and the first position information Based on the first position information, and generating the relationship information relating the coordinate system specific to the imaging means and the second position information based on the relationship information. The image information is further extracted from the whole image based on the synchronization information and the second position information.
請求項9に記載の発明は、請求項8に記載の撮像装置において、前記注目点検出手段、前記関係情報生成手段、前記画像切出し手段を複数具備することを特徴とする。 According to a ninth aspect of the present invention, in the imaging apparatus according to the eighth aspect of the present invention, the image pickup apparatus includes a plurality of the point-of-interest detection means, the relationship information generation means, and the image cutout means.
請求項10に記載の発明は、被写体を含み連続的に撮影された全体画像を示す撮像情報と、前記被写体の連続的な位置の変化に関する第1の位置情報と、前記撮像情報と前記第1の位置情報との時間的な関連を示す同期情報とが記録されたことを特徴とする記録媒体である。 According to a tenth aspect of the present invention, there is provided imaging information indicating an entire image continuously captured including a subject, first position information regarding a continuous change in the subject, the imaging information, and the first The recording medium is recorded with synchronization information indicating a temporal relationship with the position information.
請求項11に記載の発明は、請求項10に記載の記録媒体において、前記撮像情報と前記第1の位置情報とを識別可能にするヘッダ情報と、撮像領域における撮像状態に関する撮像領域情報とがさらに記録されたことを特徴とする。 According to an eleventh aspect of the present invention, in the recording medium according to the tenth aspect, header information that makes it possible to identify the imaging information and the first position information, and imaging area information related to an imaging state in the imaging area. It is further recorded.
請求項12に記載の発明は、請求項10または請求項11に記載の記録媒体において、前記同期情報は、前記撮像情報の記録開始時刻と前記第1の位置情報の記録開始時刻との時間差を示す情報と、前記全体画像のサンプリング時間およびサンプル数を示す情報と、前記第1の位置情報のサンプリング時間およびサンプル数を示す情報とを含むことを特徴とする。 According to a twelfth aspect of the present invention, in the recording medium according to the tenth or eleventh aspect, the synchronization information includes a time difference between a recording start time of the imaging information and a recording start time of the first position information. And information indicating the sampling time and the number of samples of the whole image, and information indicating the sampling time and the number of samples of the first position information.
請求項13に記載の発明は、請求項10に記載の記録媒体において、前記第1の位置情報に替えて、前記被写体の連続的な位置の変化に関し、撮像手段に固有の座標系における第2の位置情報が記録され、前記撮像情報と前記第2の位置情報とを識別可能にするヘッダ情報がさらに記録されたことを特徴とする。 According to a thirteenth aspect of the present invention, in the recording medium according to the tenth aspect, the second position in the coordinate system unique to the imaging means is related to a continuous change in the position of the subject instead of the first position information. The position information is recorded, and header information that enables the imaging information and the second position information to be identified is further recorded.
請求項14に記載の発明は、被写体を含み連続的に撮影された全体画像を示す撮像情報と、前記被写体の連続的な位置の変化に応じて、前記撮像情報中の各全体画像の一部が切り出された切出し画像を示す切出し画像情報と、前記撮像情報と前記切出し画像情報との時間的な関連を示す同期情報とが記録されたことを特徴とする記録媒体である。 According to a fourteenth aspect of the present invention, there is provided imaging information indicating a whole image continuously captured including a subject, and a part of each whole image in the imaging information according to a change in a continuous position of the subject. A recording medium in which cut-out image information indicating a cut-out image obtained by cutting-out and synchronization information indicating temporal relation between the imaging information and the cut-out image information is recorded.
請求項15に記載の発明は、請求項14に記載の記録媒体において、前記撮像情報と前記切出し画像情報とを識別可能にするヘッダ情報がさらに記録されたことを特徴とする。 According to a fifteenth aspect of the present invention, in the recording medium according to the fourteenth aspect, header information that enables the imaging information and the cut-out image information to be identified is further recorded.
請求項16に記載の発明は、請求項14または請求項15に記載の記録媒体において、前記同期情報は、前記撮像情報の記録開始時刻と前記切出し画像情報の記録開始時刻との時間差を示す情報を含むことを特徴とする。 According to a sixteenth aspect of the present invention, in the recording medium according to the fourteenth or fifteenth aspect, the synchronization information is information indicating a time difference between a recording start time of the imaging information and a recording start time of the cut-out image information. It is characterized by including.
請求項17に記載の発明は、請求項10〜請求項16のいずれかの項に記載の記録媒体において、前記撮像情報は、記録開始時刻と、他の情報と識別するための識別情報と、サンプリング時間と、サンプリングされた前記全体画像のデータとを含むことを特徴とする。 The invention according to claim 17 is the recording medium according to any one of claims 10 to 16, wherein the imaging information includes a recording start time, identification information for distinguishing from other information, It includes a sampling time and data of the sampled whole image.
請求項18に記載の発明は、被写体を含み連続的に撮影された全体画像を示す撮像情報と、前記被写体の連続的な位置の変化に関する第1の位置情報と、前記撮像情報と前記第1の位置情報との時間的な関連を示す同期情報とが記録された記録媒体から、前記撮像情報と前記第1の位置情報と前記同期情報とを読み出す読出手段と、前記同期情報および前記第1の位置情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、前記撮像情報に基づいて、前記全体画像を再生するための全体画像信号を生成すると共に、前記切出し画像を示す切出し画像情報に基づいて、前記切出し画像を再生するための切出し画像信号を生成し、前記同期情報に基づいて、前記全体画像信号および前記切出し画像信号を出力する再生手段とを具備することを特徴とする画像再生装置である。 According to an eighteenth aspect of the present invention, there is provided imaging information indicating an entire image continuously captured including a subject, first positional information relating to a continuous change of the subject, the imaging information, and the first Reading means for reading out the imaging information, the first position information, and the synchronization information from a recording medium on which synchronization information indicating a temporal relationship with the position information is recorded, the synchronization information, and the first information Based on the position information, an image cutout means for cutting out a cutout image including the target point of the subject from the whole image, and a whole image signal for reproducing the whole image based on the imaging information are generated. Generating a cut-out image signal for reproducing the cut-out image based on the cut-out image information indicating the cut-out image, and generating the whole image signal and the cut-out image based on the synchronization information. An image reproducing apparatus characterized by comprising a reproducing means for outputting a signal.
請求項19に記載の発明は、請求項18に記載の画像再生装置において、前記記録媒体にさらに、撮像領域における撮像状態を示す撮像領域情報が記録されている場合に、前記撮像領域情報と前記第1の位置情報とに基づいて、前記第1の位置情報に係る座標系と、撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第1の位置情報を、前記撮像手段に固有の座標系における第2の位置情報に変換する関係情報生成手段と、前記第2の位置情報に基づいて、前記全体画像からの画像の切出し位置を算出する切出し位置算出手段とをさらに具備し、前記読出手段はさらに、前記記録媒体から前記撮像領域情報を読み出して前記関係情報生成手段へ出力し、前記画像切出し手段は、前記切出し位置算出手段によって算出された前記切出し位置および前記同期情報に基づいて、前記全体画像中の各画像から、前記被写体の注目点を含む切出し画像を切り出すことを特徴とする。 According to a nineteenth aspect of the present invention, in the image reproducing device according to the eighteenth aspect, when imaging area information indicating an imaging state in the imaging area is further recorded on the recording medium, the imaging area information and the imaging area information Based on the first position information, relation information for associating the coordinate system related to the first position information with the coordinate system unique to the imaging means is generated, and based on the relation information, the first information Based on the second position information, the relation information generating means for converting the position information into the second position information in the coordinate system unique to the image pickup means, and the cutout position of the image from the whole image is calculated. A cutting position calculation unit; and the reading unit further reads out the imaging area information from the recording medium and outputs it to the relationship information generation unit, and the image cutting unit calculates the cutting position calculation. Based on the extraction position and said synchronization information calculated by means of the image of the whole in the image, and wherein the cutting the cutout image including a target point of the object.
請求項20に記載の発明は、請求項18に記載の画像再生装置において、前記第1の位置情報に替えて、撮像手段に固有の座標系における第2の位置情報が前記記録媒体に記録されている場合に、前記読出手段は、前記撮像情報と前記第1の位置情報と前記同期情報とを前記記録媒体から読み出し、前記画像切出し手段は、前記同期情報および前記第2の位置情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出すことを特徴とする。 According to a twentieth aspect of the present invention, in the image reproducing device according to the eighteenth aspect, in place of the first position information, second position information in a coordinate system unique to the imaging unit is recorded on the recording medium. The reading means reads the imaging information, the first position information, and the synchronization information from the recording medium, and the image cutout means is based on the synchronization information and the second position information. Then, a cut-out image including the target point of the subject is cut out from the whole image.
請求項21に記載の発明は、被写体を含み連続的に撮影された全体画像を示す撮像情報と、前記被写体の連続的な位置の変化に応じて、前記撮像情報中の各全体画像の一部が切り出された切出し画像を示す切出し画像情報と、前記撮像情報と前記切出し画像情報との時間的な関連を示す同期情報とが記録された記録媒体から、前記撮像情報と前記切出し画像情報と前記同期情報とを読み出す読出手段と、前記撮像情報に基づいて、前記全体画像を再生する全体画像信号を生成すると共に、前記切出し画像情報に基づいて、前記切出し画像を再生する切出し画像信号を生成し、前記同期情報に基づいて、前記全体画像信号および前記切出し画像信号を出力する再生手段とを具備することを特徴とする画像再生装置である。 According to a twenty-first aspect of the present invention, there is provided imaging information indicating a whole image continuously captured including a subject, and a part of each whole image in the imaging information according to a change in a continuous position of the subject. From the recording medium in which the cut-out image information indicating the cut-out image cut out and the synchronization information indicating the temporal relationship between the image-capturing information and the cut-out image information is recorded, the image-capturing information, the cut-out image information, and the Reading means for reading out the synchronization information, and generating an entire image signal for reproducing the entire image based on the imaging information, and generating an extracted image signal for reproducing the extracted image based on the extracted image information. An image reproduction apparatus comprising: reproduction means for outputting the entire image signal and the cut-out image signal based on the synchronization information.
請求項22に記載の発明は、請求項18〜請求項21のいずれかの項に記載の画像再生装置において、前記再生手段によって出力された前記全体画像信号および前記切出し画像信号に基づいて、前記全体画像および前記切出し画像を表示する表示手段をさらに具備することを特徴とする。 According to a twenty-second aspect of the present invention, in the image reproducing device according to any one of the eighteenth to twenty-first aspects, the whole image signal and the cut-out image signal output by the reproducing unit are used. It further comprises display means for displaying the entire image and the cut image.
本発明によれば、同期情報に基づいて切出し画像の切出しと全体画像および切出し画像の再生とを制御するようにしたので、動画像の全体画像とその一部分の切出し画像とを同期させて再生および表示することができるという効果が得られる。 According to the present invention, since the extraction of the clipped image and the reproduction of the entire image and the clipped image are controlled based on the synchronization information, the entire image of the moving image and the clipped image of a part thereof are played back and synchronized. The effect that it can display is acquired.
以下、図面を参照し、本発明を実施するための最良の形態について説明する。まず、以下の全ての実施形態で用いられる用語を以下のように定義する。
注目対象:カメラで撮影し、画像を出力させたい対象物や人、あるいはその一部を示す。
注目点:注目対象に含まれる点、あるいは注目対象近傍の点であり、後述するGPSセンサ等のセンサの検出対象を示す。これは点に限定されるものではなく、検出方法によっては所定の範囲を有する場合もある。
The best mode for carrying out the present invention will be described below with reference to the drawings. First, terms used in all the following embodiments are defined as follows.
Target object: Indicates an object or person, or a part of the object or person who wants to capture an image and output an image.
Attention point: A point included in the attention object or a point in the vicinity of the attention object, and indicates a detection target of a sensor such as a GPS sensor described later. This is not limited to a point, and may have a predetermined range depending on the detection method.
フィールド空間:注目対象が存在する空間であり、センサ等によって、注目対象が含まれる位置を示す位置情報を検出することができる空間(領域)を示す。
フィールド座標:フィールド空間内に存在する注目点等の位置を、フィールド空間内の所定の基準位置に対する相対的な位置の位置情報として特定することができる1つの座標系を示す。この座標系は、X,Y,Z軸で表現される座標系である。
撮像領域:カメラごとの撮像領域を示す。また、カメラの視野範囲にあり、さらに、カメラの光学系におけるピント調整の度合が所定レベル以上である領域を示す。原則として、カメラはフィールド空間内を撮影する。
Field space: A space in which a target object exists, and indicates a space (region) in which position information indicating a position where the target object is included can be detected by a sensor or the like.
Field coordinates: A coordinate system that can specify the position of a point of interest or the like existing in the field space as position information of a position relative to a predetermined reference position in the field space. This coordinate system is a coordinate system expressed by the X, Y, and Z axes.
Imaging area: Indicates an imaging area for each camera. Further, it indicates an area that is in the field of view of the camera, and further, the degree of focus adjustment in the camera optical system is equal to or higher than a predetermined level. As a rule, the camera captures the field space.
カメラ座標:カメラの全撮像領域の画角を規定する線の交点を原点として、撮像方向を軸(k軸)の1つとした座標系を示す。この座標系は、図3のi,j,k空間である。また、ここで、画角を規定する線とは、図3に示されるような、CCD(Charge Coupled Device)などの撮像素子の端の画素に結像する撮像領域を立体的に形づける線を示す。本実施形態においては、撮像素子平面の横方向に平行な軸iと、撮像素子平面の縦方向に平行な軸jと、撮像方向を示す軸kとの3つの軸によって表現される、撮像素子に固有の座標系を示す。 Camera coordinates: A coordinate system with the origin of the intersection of lines defining the angle of view of the entire imaging area of the camera and the imaging direction as one of the axes (k-axis). This coordinate system is the i, j, k space of FIG. Here, the line defining the angle of view is a line that three-dimensionally forms an imaging region that forms an image on an end pixel of an imaging element such as a CCD (Charge Coupled Device) as shown in FIG. Show. In the present embodiment, the imaging element is represented by three axes: an axis i parallel to the horizontal direction of the imaging element plane, an axis j parallel to the vertical direction of the imaging element plane, and an axis k indicating the imaging direction. Shows the unique coordinate system.
カメラ空間:カメラ座標を用いてカメラに対する位置を特定することができる空間を示す。
撮像素子平面座標:CCDなどの撮像素子が出力する画像データの横方向に関わる軸Xcと縦方向に関わる軸Ycとの2つの軸によって規定され、撮像素子の中心を原点とし、撮像素子に固有の座標系を示す。ただし、原点の位置は撮像素子の中心に限定されず、例えば左上の画素位置であってもよい。
Camera space: A space in which a position relative to the camera can be specified using camera coordinates.
Image sensor plane coordinates: Defined by two axes, an axis Xc related to the horizontal direction and an axis Yc related to the vertical direction of image data output from an image sensor such as a CCD. The center of the image sensor is the origin and is specific to the image sensor. Indicates the coordinate system. However, the position of the origin is not limited to the center of the image sensor, and may be the upper left pixel position, for example.
図1は、本発明の第1の実施形態による画像記録再生装置の構成を示すブロック図である。図において、1は撮像装置であり、被写体を撮像して全体画像の動画像を撮像情報として生成する。2は撮像装置1によって生成された撮像情報を含む各種の情報を記録する記録媒体となるDVD(Digital Versatile Disk)である。3は表示装置(画像再生装置)であり、DVD2から撮像情報である全体画像を読み出し、全体画像から画像を切り出して切出し画像を生成すると共に、全体画像を表示するための全体画像信号と切出し画像を表示するための切出し画像信号とを同期させて外部のモニター等に出力する。撮像装置1によって撮像される被写体は、予めGPS(Global Posisioning System)センサ等の位置検出手段を装着しているものとする。
FIG. 1 is a block diagram showing a configuration of an image recording / reproducing apparatus according to the first embodiment of the present invention. In the figure,
なお、DVD2は、撮像装置1に対して着脱可能なフラッシュメモリやCD−ROM等の記録媒体であってもよい。また、表示装置3はモニター等の表示手段を備えた構成としてもよい。
The
撮像装置1において、101は注目点検出手段であり、被写体に装着されたGPSセンサ等の位置検出手段から、注目点の位置を示す注目点位置情報を無線等により連続的に取得し、出力データ生成手段103へ出力する。この注目点位置情報は、前述したフィールド座標で記述される。102は撮像手段であり、CCD等の撮像素子を備え、撮像時に被写体の像を光電変換し、画素ごとの連続的な画像を撮像情報として出力データ生成手段103へ出力する。また、撮像手段102は、撮像領域を特定可能な情報としてレンズ状態とカメラ撮影状態(カメラのフィールド座標における位置、方向および回転の情報)を示す撮像領域情報を出力データ生成手段103へ出力する。
In the
出力データ生成手段103(データ生成手段)は、注目点検出手段101から出力された注目点位置情報と、撮像手段102から出力された撮像情報と撮像領域情報とが分離可能に構成された情報群を生成する。この情報群には、これらの情報を識別可能にする識別情報と、撮像情報と注目点位置情報との時間的な関連を示す同期情報も含まれている。出力データ生成手段103は、これらの情報による情報群をDVD2へ記録する。
The output data generation means 103 (data generation means) is an information group configured so that the attention point position information output from the attention point detection means 101 and the imaging information and imaging area information output from the imaging means 102 can be separated. Is generated. This information group also includes identification information that enables identification of these pieces of information, and synchronization information that indicates temporal relations between the imaging information and the point-of-interest position information. The output
表示装置3において、301はデータ解読分離手段(読出手段)であり、DVD2から情報群を読み出し、情報群から、撮像領域情報、注目点位置情報、撮像情報、および同期情報を分離し、各情報に対応した手段へ出力する。302は関係情報生成手段であり、データ解読分離手段301から出力された撮像領域情報および注目点位置情報に基づいて、フィールドの3次元空間の各位置とカメラ空間との関係を示す関係情報を生成する。後述するように、関係情報に基づいて、被写体のフィールド座標をカメラ空間におけるカメラ座標に変換することができ、さらにカメラ座標を撮像素子平面座標に変換することができる。したがって、画像内における注目点の画素位置を特定することができる。関係情報生成手段302は、生成した関係情報に基づいて、注目点の画素位置(撮像素子平面座標)を算出する。
In the
303は切出し位置算出手段であり、関係情報生成手段302から出力された画素位置に基づいて、全体画像の中から切出し画像を切り出す位置を算出する。この場合、注目点を含む被写体のサイズに関するサイズ情報を予め記録し、このサイズ情報に基づいて切出しの大きさを決定してもよい。304は切り出し手段であり、データ解読分離手段301から出力された撮像情報と、切出し位置算出手段303から出力された切出し位置を示す情報と、同期制御手段305から出力された同期情報とに基づいて、全体画像の中から切出し画像を切り出す。切出し手段304は図示せぬバッファを備えており、入力される撮像情報を蓄積し、切出し位置を示す情報と同期して出力することができる。
同期制御手段305は、データ解読分離手段301から出力された同期情報に基づいて、画像出力手段306および307(再生手段)による画像データの出力タイミングを制御する。また、同期制御手段305は、切出し手段304による切出し画像の切出しが全体画像に同期して行われるように、切出し手段304を制御する。画像出力手段306はデータ解読分離手段301から出力された撮像情報に基づいて、全体画像を表示するための全体画像信号を生成し、外部の表示手段へ出力する。また、画像出力手段307は切出し手段304から出力された切出し画像に基づいて、切出し画像を表示するための切出し画像信号を生成し、外部の表示手段へ出力する。画像出力手段306および307は図示せぬバッファを備えており、入力される撮像情報あるいは切出し画像を蓄積することができ、全体画像と切出し画像との同期をとって出力することができる。
The
次に、本実施形態において、出力データ生成手段103によって出力されてDVD2に記録され、表示装置3によって解読されるデータの構造について説明する。図2はデータの構造を示す参考図である。出力データ生成手段103によって生成され、DVD2に記録される情報群のデータ構造は図2(a)のようになっている。DVD2に記録された場合のデータの先頭のアドレスをAdr−Xとして、各情報の先頭のアドレスが示されている。データの先頭は、各情報の先頭のアドレスを示すヘッダ情報である。ヘッダ情報には、撮像領域情報の先頭のアドレスがAdr−X+D、注目点位置情報の先頭のアドレスがAdr−X+E、撮像情報の先頭のアドレスがAdr−X+Fであることを示す情報が格納されている。
Next, in the present embodiment, the structure of data output by the output data generation means 103, recorded on the
図2(b)には、注目点位置情報の構造が示されている。先頭には、注目点位置情報の記録開始時刻T0が格納されている。続いて、情報の種別が注目点位置情報であることを示す種別情報が格納されている。続いて、注目点位置情報のサンプリングに関するサンプリング時間Δtとサンプル数pとが、それぞれ格納されている。これらの後には、サンプリングされた注目点位置情報M1〜Mpが格納されている。 FIG. 2B shows the structure of attention point position information. At the beginning, the recording start time T0 of the attention point position information is stored. Subsequently, type information indicating that the type of information is attention point position information is stored. Subsequently, the sampling time Δt and the number of samples p related to the sampling of the target point position information are stored. After these, sampled point-of-interest position information M1 to Mp is stored.
図2(c)には、撮像情報の構造が示されている。先頭には、撮像情報の記録開始時刻T0が格納されている。ここでは、注目点位置情報と撮像情報は同時に記録が開始されたものとする。続いて、情報の種別が撮像情報であることを示す種別情報が格納されている。続いて、撮像情報のサンプリング時間Δtとサンプル数pとが、それぞれ格納されている。これらの後には、サンプリングされた撮像情報G1〜Gpが格納されている。上記の記録開始時刻とサンプリング時間とによって、撮像情報と注目点位置情報との時間的な関連を示す同期情報が構成される。 FIG. 2C shows the structure of the imaging information. At the beginning, a recording start time T0 of imaging information is stored. Here, it is assumed that the attention point position information and the imaging information are simultaneously started to be recorded. Subsequently, type information indicating that the type of information is imaging information is stored. Subsequently, the sampling time Δt and the number of samples p of the imaging information are stored. After these, sampled imaging information G1 to Gp is stored. The recording start time and the sampling time constitute synchronous information indicating temporal relation between the imaging information and the target point position information.
次に、本実施形態による画像記録再生装置の動作を説明する。撮影時に、ユーザによって撮影動作が指示されると、撮像手段102は被写体の像を連続的に光電変換し、画素ごとの連続的な画像を示す撮像情報と、撮像領域を特定可能にするレンズ状態およびカメラ撮影状態を示す撮像領域情報とを出力データ生成手段103へ出力する。また、注目点検出手段101は、被写体に装着された位置検出手段から注目点位置情報を、無線等により取得し、出力データ生成手段103へ出力する。出力データ生成手段103は、注目点位置情報、撮像情報、および撮像領域情報に基づいて、前述したデータ構造の情報群を生成し、DVD2へ記録する。
Next, the operation of the image recording / reproducing apparatus according to the present embodiment will be described. When a shooting operation is instructed by the user at the time of shooting, the
続いて、ユーザによってデータの再生および表示が指示されると、データ解読分離手段301はDVD2から情報群を読み出す。データ解読分離手段301はヘッダ情報を読み取り、各情報を分離し、分離した各情報を、各情報に対応した手段へ出力する。撮像情報は切出し手段304および画像出力手段306へ出力され、撮像領域情報および注目点位置情報は関係情報生成手段302へ出力される。また、同期情報(注目点位置情報および撮像情報のそれぞれの記録開始時刻およびサンプリング時間等の情報)は同期制御手段305へ出力される。
Subsequently, when data reproduction and display are instructed by the user, the data decoding / separating means 301 reads the information group from the
関係情報生成手段302は、撮像領域情報および注目点位置情報に基づいて、関係情報を生成し、この関係情報に基づいて、注目点の画素位置(撮像素子平面座標)を算出する。切出し位置算出手段303は、この画素位置に基づいて、切出し画像の切出し位置を算出し、切出し位置を示す情報を切出し手段304へ出力する。例えば、切出し位置算出手段303は、注目点の画素位置を中心として、所定の画像サイズを切り出すように指定する情報を切出し手段304へ出力する。
The relationship
切出し手段304は、撮像情報と、切出し位置算出手段303から出力された切出し位置に関する情報とに基づいて、全体画像の中から切出し画像を切り出す。同期制御手段305は、同期情報中の記録開始時刻T0およびサンプリング時間Δtに基づいて切出し手段304を制御し、切出し位置に関する情報と全体画像とを対応させる。全体画像を示す撮像情報は画像出力手段306に蓄積され、切出し画像は画像出力手段307へ出力される。同期制御手段305は、同期情報中の記録開始時刻T0およびサンプリング時間Δtに基づいて、全体画像信号および切出し画像信号の出力タイミングを決定し、決定したタイミングで、画像出力手段306および307に対して出力を指示する。
The
同期制御手段305による出力タイミングの指定は以下のようになる。同期制御手段305は、同期情報に基づいて、全体画像信号および切出し画像信号の出力タイミングを決定する。同期制御手段305は、撮像情報の記録開始時刻および注目点位置情報の記録開始時刻を参照し、両者はT0で等しいため、最初の全体画像信号および切出し画像信号の出力タイミングを同一とする。注目点位置情報および撮像情報のサンプリング時間はΔtで共に等しいので、同期制御手段305は、次の全体画像信号および切出し画像信号の出力タイミングをΔt経過後とする。以下、同様にして、全体画像信号および切出し画像信号の出力タイミングが決定される。すなわち、全体画像と切出し画像とが同じ時刻に撮像した画像で、かつ、その切出し画像を出力するための注目点位置情報もほぼ同時刻となるように同期することが好ましい。そのために、撮像情報である動画像の所定時刻の静止画とその所定時刻に最も近い時刻の注目点位置情報とによって、切出し画像を出力し、同じ所定時刻の静止画である全体画像と共に同期して出力するように出力タイミングを決定する。
The designation of output timing by the synchronization control means 305 is as follows. The
次に、本実施形態において、注目点のフィールド座標を撮像素子平面座標に変換する手法(関係情報生成手段302の機能)について説明する。図3は、サッカー場をフィールド空間とした場合の、そのフィールド空間とカメラの撮像領域との相互関係を示している。カメラの撮像領域は、画角を規定する4本の線によって囲まれた空間領域である。画角を規定する4本の線の交点がカメラ座標の原点である。撮像装置1の撮像領域内には、選手A,B,Cが存在している。
Next, in the present embodiment, a method for converting the field coordinates of the target point into the imaging element plane coordinates (function of the relationship information generating unit 302) will be described. FIG. 3 shows the correlation between the field space and the imaging area of the camera when the soccer field is a field space. The imaging area of the camera is a spatial area surrounded by four lines that define the angle of view. The intersection of the four lines that define the angle of view is the origin of the camera coordinates. Players A, B, and C exist in the imaging area of the
i,j,k軸は、撮像装置1が撮影する方向および/または撮像装置1が撮影する画角を基準とするカメラ座標を示している。カメラの撮像領域における注目点の位置は、フィールドにおける注目点のフィールド座標と、関係情報とに基づいて算出される。関係情報は、フィールド座標をカメラ座標または撮像素子平面座標に変換するための対応関係をテーブルとしたテーブル情報、あるいはその関係を示す座標変換式、あるいはその式を表すパラメータなどである。
The i, j, and k axes indicate camera coordinates based on the direction in which the
以下、図4を参照し、上記の座標変換を行う手法について説明する。図4には、画角を規定する線の交点位置を原点とし、カメラ方向をk軸、CCD102Aの撮像領域の横方向をi方向とするカメラ座標を算出するための3つのセンサの配置関係が示されている。また、カメラ座標における注目点とその注目点を撮像するCCD102Aの画素との関係がカメラ座標で示されている。
Hereinafter, with reference to FIG. 4, a method for performing the coordinate transformation will be described. FIG. 4 shows an arrangement relationship of three sensors for calculating camera coordinates with the origin of the intersection position of the lines defining the angle of view, the camera direction as the k axis, and the horizontal direction of the imaging area of the
図において、CCD102Aは、撮像手段102が備えるCCDである。CCD102Aについては、図4中の画角を規定する線の延長線上(計算上の仮想的なCCD位置)に実際のサイズのものが配置されている。計算上の仮想的なCCD位置は、カメラ空間の原点Oから距離k0の位置であるとする。110Aはレンズである。117A〜117Cは、撮像装置1に設けられたGPSセンサ等の位置検出センサである。位置検出センサ117A〜117Cは、各フィールド座標を検出する。
In the figure, a
図示されるように、位置検出センサ117Aのカメラ空間(図4のi軸、j軸、およびk軸によって規定される空間)におけるカメラ座標は(0,L,0)であり、位置検出センサ117Bのカメラ座標は(0,L,−k0)であり、位置検出センサ117Cのカメラ座標は(M,L,−k0)である。また、注目点のカメラ座標は(k2/k0×pt,k2/k0×(−pt),k2)である。なお、ptはCCD102Aの撮像平面における画素間ピッチである。
As shown in the drawing, the camera coordinates in the camera space of the position detection sensor 117A (the space defined by the i-axis, j-axis, and k-axis in FIG. 4) are (0, L, 0), and the position detection sensor 117B. Is (0, L, -k0), and the camera coordinate of the position detection sensor 117C is (M, L, -k0). The camera coordinates of the attention point are (k2 / k0 × pt, k2 / k0 × (−pt), k2). Note that pt is the inter-pixel pitch in the imaging plane of the
これらの位置検出センサ117A〜117Cを図4に示されるような配置関係にすることにより、前述したテーブル情報または座標変換式等の関係情報を導くことができる。これにより、画角を規定する線の交点位置であるカメラ空間の原点Oがフィールドにおける位置として検出可能になる。さらに、カメラの撮影方向やその方向を中心とした撮像画像の回転が検出可能になる。 By arranging these position detection sensors 117A to 117C as shown in FIG. 4, the related information such as the table information or the coordinate conversion formula described above can be derived. As a result, the origin O of the camera space, which is the intersection position of the lines defining the angle of view, can be detected as a position in the field. Furthermore, it becomes possible to detect the shooting direction of the camera and the rotation of the captured image around that direction.
これにより、画角を規定する線の交点位置であるカメラ空間の原点Oと、撮影方向のk方向と、回転によって算出される画像の横方向であるi方向とを求め、その結果、画像の縦方向であるj方向を算出することができる。なお、撮像装置1において3つの位置検出用のセンサによって3箇所の位置情報が検出されるとして説明したが、それに限定されるわけではない。例えば、撮像装置1の1箇所の位置情報の検出や、別の撮像装置による撮像装置1の姿勢検出による方向検出、回転検出などを行ってもよい。また、図4における長さL,Mを含めた3つの位置検出センサ117A〜117Cの配置関係は、撮像装置1内部のROM等に予め記録されているものとする。
Thereby, the origin O of the camera space which is the intersection position of the lines defining the angle of view, the k direction of the photographing direction, and the i direction which is the horizontal direction of the image calculated by the rotation are obtained. The j direction which is the vertical direction can be calculated. Note that, although it has been described that the position information of three positions is detected by the three position detection sensors in the
図4には、撮像素子平面の座標軸XcおよびYcが示されている。図5に撮像素子平面の座標系を示す。図4のカメラ座標系における注目点(k=k2となる点においてk軸に直交する平面上に存在している)は、図5に示されるような(Xc,Yc)で表される撮像素子平面座標上の位置に変換することができる。図4、図5において撮像素子は縦3画素、横3画素であるとして説明したが、それに限定されるわけではない。 FIG. 4 shows the coordinate axes Xc and Yc of the imaging element plane. FIG. 5 shows a coordinate system of the imaging element plane. An attention point in the camera coordinate system of FIG. 4 (exists on a plane orthogonal to the k-axis at a point where k = k2) is represented by (Xc, Yc) as shown in FIG. It can be converted to a position on a plane coordinate. In FIGS. 4 and 5, the image pickup device is described as having three vertical pixels and three horizontal pixels, but is not limited thereto.
撮像手段102は、レンズ状態とカメラ撮影状態(カメラの位置、方向および回転の情報)とに基づいて、フィールドの3次元空間の各位置とカメラ空間との関係を示す関係情報を生成する。位置検出センサ117A〜117Cによって、そのフィールドにおける座標を検出することと、L,M,k0の3つの既知情報と、各センサを結ぶ線が直交するなどの配置関係情報とに基づいて、図4中の原点やCCD102Aの中心それぞれのフィールド座標を算出することができる。これにより、フィールド座標をカメラ座標の3次元空間に変換する[数1]で示される座標変換式(関係情報)を導くことができる。
The
図6は、注目点の位置座標よりフィールド座標、カメラ座標、撮像素子(CCD102A)の画素平面座標の順に変換して、画素位置を算出する手順を示すフローチャートである。図6に示されるように、注目点のフィールド座標(X,Y,Z)を[数1]で示される形式の式によってカメラ座標(i,j,k)に変換する(ステップS601)。続いて、カメラ座標(i,j,k)より撮像倍率αをα=k/k0として算出する(ステップS602)。ここで、kは、原点から注目点を含むk軸に垂直な平面のk軸上の距離であり、具体的にはk1、k2などである。続いて、撮像素子(CCD102A)の平面座標を(Xc×pt,Yc×pt,−k0)として、画素を特定するXcおよびYcを算出する(ステップS603)。すなわち、Xc=i/α/pt、Yc=1/α/ptである。
FIG. 6 is a flowchart showing a procedure for calculating the pixel position by converting the position coordinates of the target point in the order of field coordinates, camera coordinates, and pixel plane coordinates of the image sensor (
図7は、図4の変形例を示している。関係情報を生成するためのキャリブレーションにおいて、位置検出センサ117A〜117Dを、フィールド空間において、カメラの方向とは関係なく平行四辺形となるように配置し、それぞれのフィールド座標を検出する。例えば、サッカーグランドでの平行四辺形として、ゴールエリアの長方形の4隅に4つの位置検出センサ117A〜117Dを配置すればよい。それによって、位置検出センサ117A〜117Dによって得られるフィールド座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3,Y3,Z3)と各センサのCCD111Aに撮像される像位置と、k0、pt、CCD111Aの縦、横の画素数とに基づいて、[数1]の変換行列を算出することができる。 FIG. 7 shows a modification of FIG. In the calibration for generating the relationship information, the position detection sensors 117A to 117D are arranged in the field space so as to be parallelograms regardless of the direction of the camera, and the respective field coordinates are detected. For example, four position detection sensors 117A to 117D may be arranged at the four corners of the goal area rectangle as parallelograms in a soccer ground. Thereby, field coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) obtained by the position detection sensors 117A to 117D and image positions picked up by the CCD 111A of each sensor, Based on k0, pt, and the number of vertical and horizontal pixels of the CCD 111A, the transformation matrix of [Formula 1] can be calculated.
なお、図7においては、位置検出センサ117A〜117Dを、長方形となるように配置したが、一般的には、平行四辺形を形成するように配置すればよい。 In FIG. 7, the position detection sensors 117 </ b> A to 117 </ b> D are arranged so as to be rectangular, but in general, they may be arranged so as to form a parallelogram.
図8は、図4の他の変形例を示している。先の図4においては、3つの位置検出センサ117A〜117Cをカメラ内部に備え、それによって、カメラの撮影軸、画像の回転、原点のフィールド座標を算出するようにし、最終的には、前述した[数1]を導き出すようにしている。この変形例においては、それに限定するものではなく、[数1]を導く別の方法を図8において説明する。 FIG. 8 shows another modification of FIG. In FIG. 4, the three position detection sensors 117A to 117C are provided inside the camera, thereby calculating the camera's shooting axis, image rotation, and origin field coordinates. [Equation 1] is derived. In this modification, the present invention is not limited to this, and another method for deriving [Equation 1] will be described with reference to FIG.
この変形例においては、CCD111Aの真後ろに、フィールド座標位置を検出することができる位置検出センサ117Aを配置し、撮像領域内の中心に位置検出センサ117Bを移動させ(位置検出センサ117Bを装着した人を移動させる)、位置検出センサ117Bの位置検出を行う。 In this modification, a position detection sensor 117A capable of detecting a field coordinate position is disposed immediately behind the CCD 111A, and the position detection sensor 117B is moved to the center in the imaging region (the person wearing the position detection sensor 117B). The position of the position detection sensor 117B is detected.
位置検出センサ117Aから位置検出センサ117Bの方向がカメラの方向であることが分かる。また、その位置検出センサ117Aと位置検出センサ117Bとの間に原点Oがあることが分かり、予め設計によって既知である位置検出センサ117Aから距離k6だけ離れた位置を、画角を規定する線の交点位置である原点Oとして、そのフィールド位置座標を算出することができる。 It can be seen that the direction from the position detection sensor 117A to the position detection sensor 117B is the direction of the camera. Further, it can be seen that there is an origin O between the position detection sensor 117A and the position detection sensor 117B, and a position separated by a distance k6 from the position detection sensor 117A, which is known in advance by design, is a line that defines the angle of view. The field position coordinates can be calculated as the origin O which is the intersection position.
続いて、カメラの画像の回転方向を知るために、位置検出センサ117Cを、撮像領域内の中心の横方向にある所定の画素位置に配置されるように移動させる(位置検出センサ117Cを装着した人を移動させる)。これにより、位置検出センサ117Cのフィールド座標のi方向の距離i’と、撮像された撮像素子平面での距離Xc’×ptとの比として倍率αを算出することができる。 Subsequently, in order to know the rotation direction of the image of the camera, the position detection sensor 117C is moved so as to be arranged at a predetermined pixel position in the lateral direction of the center in the imaging region (with the position detection sensor 117C attached). Move people). As a result, the magnification α can be calculated as the ratio of the distance i ′ in the i direction of the field coordinates of the position detection sensor 117C and the distance Xc ′ × pt on the image pickup device plane.
なお、図8はk3=k4の場合であるが、図8で示されるk3とk4とが一致しなくても、位置検出センサ117Bの点を通りk軸に垂直でi軸に平行な線を導き出せるので、位置検出センサ117Cのカメラからの距離が特に限定されるものではない。さらに、位置検出センサ117Cは、k軸とi軸とを含む面内に配置されているとしているが、それに限定されるわけではない。回転を規定するために、センサ117Cはk軸とi軸とを含む面内になくてもよく、撮像領域内にあればよい。以上により、原点、撮像方向、および画像の回転の3つがフィールド座標系において算出可能となり、[数1]を導くことができる。 FIG. 8 shows a case where k3 = k4. However, even if k3 and k4 shown in FIG. 8 do not match, a line passing through the point of the position detection sensor 117B and perpendicular to the k-axis and parallel to the i-axis is shown. Since the distance can be derived, the distance of the position detection sensor 117C from the camera is not particularly limited. Furthermore, although the position detection sensor 117C is arranged in a plane including the k-axis and the i-axis, the position detection sensor 117C is not limited to this. In order to regulate the rotation, the sensor 117C does not have to be in a plane including the k-axis and the i-axis, and may be in the imaging region. As described above, the origin, the imaging direction, and the rotation of the image can be calculated in the field coordinate system, and [Equation 1] can be derived.
次に、本発明の第2の実施形態について説明する。図9は、第2の実施形態による画像記録再生装置の構成を示すブロック図である。本実施形態においては、撮像装置1は、注目点位置情報をカメラ座標に変換し、撮像情報と共にDVD2に記録する。また、表示装置3は、DVD2からカメラ座標を読み出し、カメラ座標に基づいて画像の切出し位置を算出する。図において、図1と同一の構成には同一の符号を付与し、説明を省略する。
Next, a second embodiment of the present invention will be described. FIG. 9 is a block diagram showing a configuration of an image recording / reproducing apparatus according to the second embodiment. In the present embodiment, the
撮像装置1において、104は関係情報生成手段であり、撮像手段102から出力された撮像領域情報および注目点検出手段101から出力された注目点位置情報に基づいて、注目点位置情報(フィールド座標)とカメラ座標とを関係付ける関係情報を生成し、この関係情報に基づいて、注目点位置情報が示すフィールド座標をカメラ座標に変換し、カメラ座標情報を生成する。出力データ生成手段103は、撮像情報とカメラ座標情報とが分離可能に構成された情報群を生成する。この情報群には、これらの情報を識別可能にする識別情報と、これらの情報の時間的な関連を示す同期情報も含まれている。
In the
表示装置3において、データ解読分離手段301は、DVD2から情報群を読み出し、情報群から、カメラ座標情報、撮像情報、および同期情報を分離し、各情報に対応した手段へ出力する。切出し位置算出手段303は、データ解読分離手段301から出力されたカメラ座標を撮像素子平面座標に変換し、注目点の画素位置を算出すると共に、この画素位置に基づいて、切出し画像の切出し位置を算出する。
In the
次に、本実施形態において、出力データ生成手段103によって出力されてDVD2に記録され、表示装置3によって解読されるデータの構造について説明する。図10はデータの構造を示す参考図である。出力データ生成手段103によって生成され、DVD2に記録される情報群のデータ構造は図10(a)のようになっている。ヘッダ情報には、注目点のカメラ座標情報の先頭のアドレスがAdr−X+D、撮像情報の先頭のアドレスがAdr−X+Eであることを示す情報が格納されている。
Next, in the present embodiment, the structure of data output by the output data generation means 103, recorded on the
図10(b)には、注目点のカメラ座標情報の構造が示されている。先頭には、カメラ座標情報の記録開始時刻T0が格納されている。続いて、情報の種別がカメラ座標情報であることを示す種別情報が格納されている。続いて、カメラ座標情報のサンプリングに関するサンプリング時間Δt×5とサンプル数qとが、それぞれ格納されている。これらの後には、サンプリングされた注目点位置情報M1〜Mqが格納されている。図10(c)には、撮像情報の構造が示されている。この構造は図2(c)と同一である。撮像情報のサンプリング時間はカメラ座標情報のサンプリング時間の5分の1であり、サンプル数pとqとの間には、p=q×5の関係がある。 FIG. 10B shows the structure of the camera coordinate information of the target point. The recording start time T0 of camera coordinate information is stored at the top. Subsequently, type information indicating that the type of information is camera coordinate information is stored. Subsequently, the sampling time Δt × 5 and the number of samples q relating to the sampling of the camera coordinate information are stored. After these, sampled point-of-interest position information M1 to Mq is stored. FIG. 10C shows the structure of the imaging information. This structure is the same as FIG. The sampling time of imaging information is one fifth of the sampling time of camera coordinate information, and there is a relationship of p = q × 5 between the number of samples p and q.
同期制御手段305は、同期情報に基づいて、全体画像信号および切出し画像信号の出力タイミングを決定する。また、同期制御手段305は、切出し手段304による切出し画像の切出しが全体画像に同期して行われるように、切出し手段304を制御する。サンプリング時間に上記の関係があるため、同期制御手段305は、切出し位置算出手段303によって算出された1つの算出位置を5つの切出し画像の切出しに用いるように、切出し手段304を制御する。すなわち、切出し手段304は、最初の切出し位置を用いて、撮像情報G1〜G5が示す全体画像から切出し画像を切り出し、次の切り出し位置を用いて、撮像情報G6〜G10が示す全体画像から切出し画像を切り出すという具合にして、切出し画像を切り出していく。
The
同期制御手段305による出力タイミングの指定は以下のようになる。同期制御手段305は、撮像情報の記録開始時刻およびカメラ座標情報の記録開始時刻を参照し、両者はT0で等しいため、最初の全体画像信号および切出し画像信号の出力タイミングを同一とする。カメラ座標情報および撮像情報のサンプリング時間は上記のように異なるが、切出し手段304によって、全体画像の画像数と同じ画像数の切出し画像が生成されるので、同期制御手段305は、以降の全体画像信号および切出し画像信号を共にΔtの周期で出力する。
The designation of output timing by the synchronization control means 305 is as follows. The
次に、本発明の第3の実施形態について説明する。図11は、第3の実施形態による画像記録再生装置の構成を示すブロック図である。本実施形態においては、注目点が複数であり、撮像装置1は、各注目対象に対応した関係情報を生成する。また、表示装置3は、複数の関係情報に基づいて、全体画像から複数の切出し画像を切り出す。図において、図1および図9と同一の構成には同一の符号を付与し、説明を省略する。
Next, a third embodiment of the present invention will be described. FIG. 11 is a block diagram showing a configuration of an image recording / reproducing apparatus according to the third embodiment. In the present embodiment, there are a plurality of attention points, and the
図において、撮像装置1は、2つの注目点検出手段101Aおよび101Bと、これらに対応した関係情報生成手段104Aおよび104Bを備えている。注目点検出手段101Aおよび101Bによって、2つの異なる注目点の注目点位置情報が取得される。これにより、例えば2人の被写体のそれぞれに装着された位置検出手段の位置を検出することができる。出力データ生成手段103は、撮像情報と2つのカメラ座標情報とが分離可能に構成された情報群を生成する。この情報群には、これらの情報を識別可能にする識別情報と、これらの情報の時間的な関連を示す同期情報も含まれている。
In the figure, the
表示装置3において、データ解読分離手段301は、DVD2から情報群を読み出し、情報群から、2つのカメラ座標情報、撮像情報、および同期情報を分離し、各情報に対応した手段へ出力する。2つのカメラ座標情報に対応した切出し位置算出手段303Aおよび303Bは、切出し位置を算出し、それぞれ切出し手段304Aおよび304Bへ切出し位置を出力する。切出し手段304Aおよび304Bは全体画像から各注目点を含む切出し画像を切り出し、画像出力手段307Aおよび307Bへそれぞれ出力する。
In the
次に、本実施形態において、出力データ生成手段103によって出力されてDVD2に記録され、表示装置3によって解読されるデータの構造について説明する。図12はデータの構造を示す参考図である。出力データ生成手段103によって生成され、DVD2に記録される情報群のデータ構造は図12(a)のようになっている。ヘッダ情報には、注目点Aのカメラ座標情報の先頭のアドレスがAdr−X+D、注目点Bのカメラ座標情報の先頭のアドレスがAdr−X+E、撮像情報の先頭のアドレスがAdr−X+Fであることを示す情報が格納されている。
Next, in the present embodiment, the structure of data output by the output data generation means 103, recorded on the
図12(b)には、注目点Aのカメラ座標情報の構造が示されている。先頭には、情報の種別がカメラ座標情報であることを示す種別情報が格納されている。続いて、各カメラ座標情報の記録時刻とカメラ座標情報とが交互に格納されている。i番目(i=0,1,・・・q)のカメラ座標情報の記録時刻TiはTi=T0+Δw×iであり、各カメラ座標情報に対して記録時刻が関係付けられている。注目点Bのカメラ座標情報の構造も同様である。図12(c)には、撮像情報の構造が示されている。この構造は図2(c)と同一である。 FIG. 12B shows the structure of the camera coordinate information of the point of interest A. At the top, type information indicating that the type of information is camera coordinate information is stored. Subsequently, the recording time of each camera coordinate information and the camera coordinate information are stored alternately. The recording time Ti of the i-th (i = 0, 1,... q) camera coordinate information is Ti = T0 + Δw × i, and the recording time is associated with each camera coordinate information. The structure of the camera coordinate information of the attention point B is the same. FIG. 12C shows the structure of the imaging information. This structure is the same as FIG.
同期制御手段305は、同期情報に基づいて、全体画像信号および切出し画像信号の出力タイミングを決定する。また、同期制御手段305は、切出し手段304Aおよび304Bによる切出し画像の切出しが全体画像に同期して行われるように、切出し手段304Aおよび304Bを制御する。
The
同期制御手段305は、同期情報に基づいて切出し手段304Aおよび304Bを制御し、1つの全体画像から1つの切出し画像が切り出されるようにする。同期制御手段305は、撮像情報の記録開始時刻および最初のカメラ座標情報の記録時刻を参照し、両者はT0で等しいため、最初の全体画像から画像を切り出すように、切出し手段304Aおよび304Bを制御する。以降は、サンプリング時間Δtを加算することにより撮像情報の記録時刻を算出し、注目点AおよびBのカメラ座標情報の記録時刻と比較する。同期制御手段305は、各撮像情報の記録時刻に最も近い記録時刻のカメラ座標情報を用いて画像を切り出すように、切出し手段304Aおよび304Bを制御する。
The
これにより、全体画像の画像数と同じ画像数の2種類の切出し画像が生成される。同期制御手段305による出力タイミングの指定は以下のようになる。同期制御手段305は、撮像情報の記録開始時刻および最初のカメラ座標情報の記録時刻を参照し、両者はT0で等しいため、最初の全体画像信号および切出し画像信号の出力タイミングを同一とする。これ以降、同期制御手段305は、Δtの周期で全体画像信号および2種類の切出し画像信号が出力されるように、画像出力手段306、画像出力手段307Aおよび307Bを制御する。
As a result, two types of cut-out images having the same number of images as the entire image are generated. The designation of output timing by the synchronization control means 305 is as follows. The
次に、本発明の第4の実施形態について説明する。図13は、第4の実施形態による画像記録再生装置の構成を示すブロック図である。本実施形態においては、撮像装置1は関係情報を生成すると共に、複数の切出し画像を切り出し、全体画像と複数の切出し画像とをDVD2に記録する。また、表示装置3はDVD2から情報群を読み出し、全体画像と複数の切出し画像とを分離する。図において、図1、図9、および図11と同一の構成には同一の符号を付与し、説明を省略する。
Next, a fourth embodiment of the present invention will be described. FIG. 13 is a block diagram showing a configuration of an image recording / reproducing apparatus according to the fourth embodiment. In the present embodiment, the
撮像装置1において、105Aおよび105Bは切出し位置算出手段であり、それぞれ関係情報生成手段104Aおよび105Bから出力されたカメラ座標情報が示すカメラ座標を撮像素子平面座標に変換し、注目点の画素位置を算出すると共に、この画素位置に基づいて、切出し画像の切出し位置を算出する。106Aおよび106Bは切出し手段であり、それぞれ切出し位置算出手段105Aおよび105Bによって算出された切出し位置に基づいて、全体画像から切出し画像を切り出し、出力データ生成手段103へ出力する。出力データ生成手段103は、撮像情報と2つの切出し画像情報とが分離可能に構成された情報群を生成する。この情報群には、これらの情報を識別可能にする識別情報と、これらの情報の時間的な関連を示す同期情報も含まれている。
In the
同期制御手段107は、撮像情報に含まれる記録開始時刻およびサンプリング時間と、2種類の注目点位置情報に含まれる記録開始時刻およびサンプリング時間とに基づいて、切出し手段106Aおよび106Bによる切出し画像の切出しを制御する。この制御の手法は、第1〜第3の実施形態における同期制御手段305による制御の手法と同様である。
The synchronization control means 107 extracts the cut-out images by the cut-out means 106A and 106B based on the recording start time and sampling time included in the imaging information and the recording start time and sampling time included in the two types of attention point position information. To control. This control method is the same as the control method performed by the
表示装置3において、データ解読分離手段301は、DVD2から情報群を読み出し、情報群から、撮像情報(全体画像)、2つの切出し画像、および同期情報を分離し、各情報に対応した画像出力手段306、307A、および307Bへ出力する。
In the
次に、本実施形態において、出力データ生成手段103によって出力されてDVD2に記録され、表示装置3によって解読されるデータの構造について説明する。図14はデータの構造を示す参考図である。出力データ生成手段103によって生成され、DVD2に記録される情報群のデータ構造は図14(a)のようになっている。ヘッダ情報には、注目点Aの切出し画像の先頭のアドレスがAdr−X+D、注目点Bの切出し画像の先頭のアドレスがAdr−X+E、撮像情報の先頭のアドレスがAdr−X+Fであることを示す情報が格納されている。
Next, in the present embodiment, the structure of data output by the output data generation means 103, recorded on the
図14(b)には、注目点Aの切出し画像情報Aの構造が示されている。先頭には、切出し画像情報Aの記録開始時刻T0が格納されている。続いて、情報の種別が注目点Aの切出し画像情報Aであることを示す種別情報が格納されている。続いて、切出し画像情報Aのサンプリングに関するサンプリング時間Δtとサンプル数pとが、それぞれ格納されている。これらの後には、切出し画像情報S1−1〜S1−pが格納されている。図14(c)には、撮像情報の構造が示されている。この構造は図2(c)と同一である。同期制御手段107による切出し手段106Aおよび106Bの制御と、同期制御手段305による全体画像信号および2つの切出し画像信号の出力タイミングの制御は前述した第1〜第3の実施形態と同様である。 FIG. 14B shows the structure of the cut-out image information A at the point of interest A. The recording start time T0 of the cutout image information A is stored at the top. Subsequently, type information indicating that the type of information is cut-out image information A of the point of interest A is stored. Subsequently, the sampling time Δt and the number of samples p related to the sampling of the cut-out image information A are stored. After these, cut-out image information S1-1 to S1-p are stored. FIG. 14C shows the structure of the imaging information. This structure is the same as FIG. The control of the clipping means 106A and 106B by the synchronization control means 107 and the control of the output timing of the whole image signal and the two clipped image signals by the synchronization control means 305 are the same as in the first to third embodiments described above.
次に、本発明の第5の実施形態について説明する。本実施形態においては、第3の実施形態における表示装置3の変形例を示す。撮像装置1の構成は第3の実施形態と同一である。図15は、第5の実施形態による表示装置3の構成を示すブロック図である。図において、308はDVD再生部であり、CPU315の制御によって動作し、DVDの記録形式に従ってDVD2の内部に記録されているデータを読み出し、RAM(Random Access Memory)314やHDD(Hard Disk Drive)316に保存する。
Next, a fifth embodiment of the present invention will be described. In the present embodiment, a modification of the
309は表示制御部であり、CPU315の制御に従って、表示部310に表示するデータ等を制御する。表示部310は、表示制御部309から出力された画像用の信号(全体画像信号および切出し画像信号)に基づいて、動画像を表示する液晶モニタ等である。311はキーボードであり、ユーザの入力に応じて文字やコマンドデータなどを入力する。312はマウスであり、表示部310に表示されるカーソルの動作と、記録されたデータの再生実行とを制御するための入力がユーザの操作によって行われる。
313はROM(Read Only Memory)であり、電源ON時の起動においてCPU315の動作を規定するプログラムや各種のパラメータを保存する。RAM314は各種のデータを一時的に記憶する。CPU315は表示装置3内の各部を制御する。CPU315によって、第3の実施形態におけるデータ解読分離手段301、切出し位置算出手段303Aおよび303B、切出し手段304Aおよび304B、および同期制御手段305の機能が実現される。HDD316はOS(Operating System)に関するデータやアプリケーションプログラム等を保存する。上記の各部はバスBに接続されている。317は電源であり、上記各部に対して給電を行う。
次に、アプリケーションプログラムによる表示装置3の動作を、図16および図17のフローチャートを用いて説明する。まず、各種の初期設定が行われ(ステップS1601)、表示部310にユーザ設定画面が表示される(ステップS1602)。図18(a)はユーザ設定画面の表示例である。続いて、CPU315は、キーボード311あるいはマウス312からのユーザの入力を監視し、全データ(全体画像および切出し画像)を表示する全データ表示モードがユーザによって選択されたかどうかを判定する(ステップS1603)。全データ表示モードが選択されなかった場合には、一部のデータを表示する他の処理を行う(ステップS1604)。
Next, the operation of the
一方、全データ表示モードが選択された場合、CPU315は、表示部310に表示された画面中のプレイボタンがユーザによって押されたかどうか判定する(ステップS1605)。プレイボタンが押されていない場合はステップS1603へ戻る。プレイボタンが押された場合は、CPU315はDVD再生部308に対してデータの読み取りを指示する。DVD308は、この指示に基づいて、DVD2からデータを読み出す。CPU315はこのデータをDVD再生部308から受け取り、RAM314に保存する(ステップS1606)。
On the other hand, when the all data display mode is selected, the
続いて、CPU315は、RAM314に保存したデータのヘッダ情報を読み出し(ステップS1607)、ヘッダ情報に従い、全体画像の撮像情報を予め決められたウィンドウAのサイズと表示部310の解像度とに応じて、実際に表示部310に表示される画像のサイズに変換し、RAM314内のtmpAエリアに保存する(ステップS1608)。
Subsequently, the
続いて、CPU315は、ヘッダ情報に従い、注目点Aのカメラ座標の時系列データをRAM314から読み出し、各画面の切出し位置を算出し、1画面ごとに切出し画像情報Aを生成し、RAM314内のtmpBエリアに保存する(ステップS1609)。この画像の切出しにおいて、CPU315は撮像情報のj番目(j=0,1,2・・・)の画面の記録時刻T0+j×Δtに最も近い記録時刻T0+k×Δwに相当するk番目のカメラ座標を用いて切出し位置を算出し、j番目の切出し画像を切り出す。
Subsequently, the
続いて、CPU315は、ヘッダ情報に従い、注目点Bのカメラ座標の時系列データをRAM314から読み出し、各画面の切出し位置を算出し、1画面ごとに切出し画像情報Bを生成し、RAM314内のtmpCエリアに保存する(ステップS1610)。この画像の切出しにおいても、CPU315は撮像情報のj番目(j=0,1,2・・・)の画面の記録時刻T0+j×Δtに最も近い記録時刻T0+k×Δwに相当するk番目のカメラ座標を用いて切出し位置を算出し、j番目の切出し画像を切り出す。
Subsequently, the
続いて、CPU315は撮像情報が示す全体画像、上記の切出し画像情報AおよびBをRAM314内の各tmpAエリア、tmpBエリア、およびtmpCエリアから読み出し、表示制御部309へ出力する。このとき、CPU315は全体画像を表示部310のウィンドウAにサンプリング時間Δtの間隔で表示するように表示制御部309に指示する。また、CPU315は切り出し画像情報Aが示す切出し画像を表示部310のウィンドウBにサンプリング時間Δtの間隔で表示するように表示制御部309に指示すると共に、切出し画像情報Bが示す切出し画像を表示部310のウィンドウCにサンプリング時間Δtの間隔で表示するように表示制御部309に指示する。表示制御部309は、この指示に基づいて、全体画像信号および2つの切出し画像信号を、各ウィンドウの同期を取りながらΔtの間隔で表示部310へ出力する。表示部310は、各ウィンドウに画像を表示する(ステップS1611)。
Subsequently, the
図18(b)は表示部310に表示される各ウィンドウA〜Cの例である。ウィンドウAには全体画像が表示され、ウィンドウBには、注目点Aを含む切出し画像が表示され、ウィンドウCには、注目点Bを含む切出し画像が表示される。
FIG. 18B is an example of each of the windows A to C displayed on the
なお、記録媒体に記録される情報群の構造は上記の実施形態に限定されるわけではない。例えば、第2の実施形態におけるカメラ座標情報のサンプリング時間と撮像情報のサンプリング時間とが等しくてもよい。 The structure of the information group recorded on the recording medium is not limited to the above embodiment. For example, the camera coordinate information sampling time and the imaging information sampling time in the second embodiment may be equal.
なお、情報群中に含まれる同期情報としての撮像情報の記録開始時刻と、注目点位置情報、撮像領域情報、カメラ座標情報、または切出し画像の記録開始時刻とに関しては、それぞれの記録開始時刻を用意する必要はなく、撮像情報の記録開始時刻と、注目点位置情報、撮像領域情報、カメラ座標情報、または切出し画像の記録開始時刻との時間差がわかればよい。 Note that the recording start time of the imaging information as the synchronization information included in the information group and the recording start time of the attention point position information, the imaging region information, the camera coordinate information, or the clipped image recording start time are set as follows. There is no need to prepare, and it is only necessary to know the time difference between the recording start time of the imaging information and the point of interest position information, imaging area information, camera coordinate information, or the recording start time of the cut-out image.
なお、被写体の位置を検出する手法として、例えば、無線LANやRFID(電波方式認識:Radio Frequency−Identification)タグ等を利用した電波や電磁波によって被写体の位置を検出するようにしてもよい。この場合には、被写体の影響が少なく、安定して被写体の位置を検出することができる。また、赤外線や超音波などの光や音を用いて被写体の位置を検出するようにしてもよい。 As a method for detecting the position of the subject, for example, the position of the subject may be detected by radio waves or electromagnetic waves using a wireless LAN or an RFID (Radio Frequency-Identification) tag. In this case, the influence of the subject is small and the position of the subject can be detected stably. Further, the position of the subject may be detected using light and sound such as infrared rays and ultrasonic waves.
以上で説明したように、第1〜第5の実施形態によれば、全体画像を示す撮像情報と、注目点位置情報または注目点のカメラ座標情報または注目点を含む切出し画像情報と、同期情報とを分離可能な情報として構成すると共に、同期情報に基づいて切出し画像の切出しと全体画像および切出し画像の再生とを制御するようにしたので、動画像の全体画像とその一部分の切出し画像とを同期させて再生および表示することができる。これにより、ユーザが、全体の様子と、注目する被写体の様子とを同時あるいは選択的に見ることができる。 As described above, according to the first to fifth embodiments, the imaging information indicating the entire image, the attention point position information, the camera coordinate information of the attention point, or the cut-out image information including the attention point, and the synchronization information Are configured as separable information, and the cutout of the cutout image and the whole image and the reproduction of the cutout image are controlled based on the synchronization information. Can be played and displayed in sync. Thereby, the user can see the whole state and the state of the subject of interest simultaneously or selectively.
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。 As described above, the embodiments of the present invention have been described in detail with reference to the drawings, but the specific configuration is not limited to these embodiments, and includes design changes and the like within a scope not departing from the gist of the present invention. It is.
1・・・撮像装置、2・・・DVD、3・・・表示装置、101,101A,101B・・・注目点検出手段、102・・・撮像手段、102A・・・CCD、103・・・出力データ生成手段、104,104A,104B,302・・・関係情報生成手段、105A,105B,303,303A,303B・・・切出し位置算出手段、106A,106B,304,304A,304B・・・切出し手段、107,305・・・同期制御手段、110A・・・レンズ、117A,117B,117C,117D・・・位置検出センサ、301・・・データ解読分離手段、306,307,307A,307B・・・画像出力手段、308・・・DVD再生部、309・・・表示制御部、310・・・表示部、311・・・キーボード、312・・・マウス、313・・・ROM、314・・・RAM、315・・・CPU、316・・・HDD、317・・・電源。
DESCRIPTION OF
Claims (22)
前記被写体における注目点の位置を連続的に検出し、該位置の連続的な変化に関する位置情報を出力する注目点検出手段と、
前記撮像情報と、前記位置情報と、前記撮像情報と前記位置情報との時間的な関連を示す同期情報とを含み、前記撮像情報、前記位置情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、
前記位置情報および前記同期情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、
前記画像切出し手段によって切り出された前記切出し画像と前記全体画像とを、前記同期情報に基づいて再生する再生手段と、
を具備することを特徴とする画像記録再生装置。 Imaging means for continuously imaging a subject and generating imaging information indicating an entire image including the subject;
Attention point detection means for continuously detecting the position of the attention point in the subject and outputting position information regarding the continuous change in the position;
The imaging information, the position information, and synchronization information indicating a temporal relationship between the imaging information and the position information, and the imaging information, the position information, and the synchronization information are configured to be separable Data generation means for generating an information group;
Based on the position information and the synchronization information, an image cutout unit that cuts out a cutout image including the target point of the subject from the whole image;
Playback means for playing back the clipped image and the whole image cut out by the image cutout means based on the synchronization information;
An image recording / reproducing apparatus comprising:
前記被写体における注目点の位置を連続的に検出し、該位置の連続的な変化に関する位置情報を出力する注目点検出手段と、
前記全体画像と前記位置情報との時間的な関連を示す同期情報および前記位置情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、
前記撮像情報と、前記切出し画像を示す切出し画像情報と、前記同期情報とを含み、前記撮像情報、前記切出し画像情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、
前記切出し画像と前記全体画像とを、前記同期情報に基づいて再生する再生手段と、
を具備することを特徴とする画像記録再生装置。 Imaging means for continuously imaging a subject and generating imaging information indicating an entire image including the subject;
Attention point detection means for continuously detecting the position of the attention point in the subject and outputting position information regarding the continuous change in the position;
Image cutout means for cutting out a cutout image including the target point of the subject from the whole image based on the synchronization information indicating the temporal relationship between the whole image and the position information and the position information;
Data generation means for generating an information group configured to include the imaging information, the cut-out image information indicating the cut-out image, and the synchronization information, the image pickup information, the cut-out image information, and the synchronization information being separable When,
Playback means for playing back the clipped image and the whole image based on the synchronization information;
An image recording / reproducing apparatus comprising:
前記被写体における注目点の位置を連続的に検出し、該位置の連続的な変化に関する第1の位置情報を出力する注目点検出手段と、
前記撮像情報と、前記第1の位置情報と、前記撮像情報と前記第1の位置情報との時間的な関連を示す同期情報とを含み、前記撮像情報、前記第1の位置情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、
を具備することを特徴とする撮像装置。 Imaging means for continuously imaging a subject and generating imaging information indicating an entire image including the subject;
Attention point detection means for continuously detecting the position of the attention point in the subject and outputting first position information relating to the continuous change of the position;
Including the imaging information, the first position information, and synchronization information indicating a temporal relationship between the imaging information and the first position information, the imaging information, the first position information, and the Data generation means for generating a group of information configured such that the synchronization information is separable;
An imaging apparatus comprising:
前記データ生成手段は、前記撮像手段によって生成された前記撮像情報および前記撮像領域情報と、前記第1の位置情報と、前記同期情報とを含み、前記撮像情報、前記撮像領域情報、前記第1の位置情報、および前記同期情報が分離可能に構成された情報群を生成することを特徴とする請求項3に記載の撮像装置。 The imaging means further generates imaging area information related to the imaging state in the imaging area together with the imaging information,
The data generation means includes the imaging information and the imaging area information generated by the imaging means, the first position information, and the synchronization information, and includes the imaging information, the imaging area information, and the first information. The imaging apparatus according to claim 3, wherein an information group configured to be separable from the position information and the synchronization information is generated.
前記撮像領域情報と前記第1の位置情報とに基づいて、前記第1の位置情報に係る座標系と、前記撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第1の位置情報を、前記撮像手段に固有の座標系における第2の位置情報に変換する関係情報生成手段をさらに具備し、
前記データ生成手段は、前記撮像手段によって生成された前記撮像情報と、前記第2の位置情報と、前記撮像情報と前記同期情報とを含み、前記撮像情報、前記第2の位置情報、および前記同期情報が分離可能に構成された情報群を生成する
ことを特徴とする請求項3に記載の撮像装置。 The imaging means further generates imaging area information related to the imaging state in the imaging area together with the imaging information,
Based on the imaging area information and the first position information, relation information that associates a coordinate system related to the first position information and a coordinate system unique to the imaging unit is generated, and the relation information Further comprising relation information generating means for converting the first position information into second position information in a coordinate system unique to the imaging means,
The data generation means includes the imaging information generated by the imaging means, the second position information, the imaging information and the synchronization information, the imaging information, the second position information, and the The imaging apparatus according to claim 3, wherein the information group is configured so that the synchronization information is separable.
前記被写体の位置を連続的に検出し、該位置の連続的な変化に関する第1の位置情報を出力する注目点検出手段と、
前記撮像情報と前記第1の位置情報との時間的な関連を示す同期情報および前記第1の位置情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、
前記撮像情報と、前記切出し画像を示す切出し画像情報と、前記同期情報とを含み、前記撮像情報、前記切出し画像情報、および前記同期情報が分離可能に構成された情報群を生成するデータ生成手段と、
を具備することを特徴とする撮像装置。 Imaging means for continuously imaging a subject and generating imaging information indicating an entire image including the subject;
Attention point detection means for continuously detecting the position of the subject and outputting first position information relating to the continuous change of the position;
Image cutout means for cutting out a cutout image including the target point of the subject from the whole image based on the synchronization information indicating the temporal relationship between the imaging information and the first position information and the first position information. When,
Data generation means for generating an information group configured to include the imaging information, the cut-out image information indicating the cut-out image, and the synchronization information, the image pickup information, the cut-out image information, and the synchronization information being separable When,
An imaging apparatus comprising:
前記撮像領域情報と前記第1の位置情報とに基づいて、前記第1の位置情報に係る座標系と前記撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第1の位置情報を第2の位置情報に変換する関係情報生成手段をさらに具備し、
前記画像切出し手段は、前記同期情報および前記第2の位置情報に基づいて、前記全体画像から前記切出し画像を切り出す
ことを特徴とする請求項7に記載の撮像装置。 The imaging means further generates imaging area information relating to an imaging state in the imaging area,
Based on the imaging area information and the first position information, relation information that associates a coordinate system related to the first position information with a coordinate system unique to the imaging means is generated, and the relation information is Further comprising a relation information generating means for converting the first position information into second position information,
The imaging apparatus according to claim 7, wherein the image cutout unit cuts out the cutout image from the entire image based on the synchronization information and the second position information.
前記被写体の連続的な位置の変化に関する第1の位置情報と、
前記撮像情報と前記第1の位置情報との時間的な関連を示す同期情報と、
が記録されたことを特徴とする記録媒体。 Imaging information indicating an entire image continuously captured including the subject;
First position information relating to a continuous change in the position of the subject;
Synchronization information indicating a temporal relationship between the imaging information and the first position information;
A recording medium on which is recorded.
前記被写体の連続的な位置の変化に応じて、前記撮像情報中の各全体画像の一部が切り出された切出し画像を示す切出し画像情報と、
前記撮像情報と前記切出し画像情報との時間的な関連を示す同期情報と、
が記録されたことを特徴とする記録媒体。 Imaging information indicating an entire image continuously captured including the subject;
Cutout image information indicating a cutout image obtained by cutting out a part of each whole image in the imaging information according to a change in the continuous position of the subject,
Synchronization information indicating a temporal relationship between the imaging information and the cut-out image information;
A recording medium on which is recorded.
前記同期情報および前記第1の位置情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出す画像切出し手段と、
前記撮像情報に基づいて、前記全体画像を再生するための全体画像信号を生成すると共に、前記切出し画像を示す切出し画像情報に基づいて、前記切出し画像を再生するための切出し画像信号を生成し、前記同期情報に基づいて、前記全体画像信号および前記切出し画像信号を出力する再生手段と、
を具備することを特徴とする画像再生装置。 Imaging information indicating a whole image continuously captured including a subject, first positional information regarding a change in the continuous position of the subject, and temporal relationship between the imaging information and the first positional information Reading means for reading out the imaging information, the first position information, and the synchronization information from a recording medium on which synchronization information indicating is recorded,
Image cutout means for cutting out a cutout image including the target point of the subject from the whole image based on the synchronization information and the first position information;
Generating an entire image signal for reproducing the entire image based on the imaging information, and generating a cut-out image signal for reproducing the cut-out image based on the cut-out image information indicating the cut-out image; Reproducing means for outputting the whole image signal and the cut-out image signal based on the synchronization information;
An image reproducing apparatus comprising:
前記撮像領域情報と前記第1の位置情報とに基づいて、前記第1の位置情報に係る座標系と、撮像手段に固有の座標系とを関係付ける関係情報を生成すると共に、該関係情報に基づいて、前記第1の位置情報を、前記撮像手段に固有の座標系における第2の位置情報に変換する関係情報生成手段と、
前記第2の位置情報に基づいて、前記全体画像からの画像の切出し位置を算出する切出し位置算出手段と、
をさらに具備し、
前記読出手段はさらに、前記記録媒体から前記撮像領域情報を読み出して前記関係情報生成手段へ出力し、
前記画像切出し手段は、前記切出し位置算出手段によって算出された前記切出し位置および前記同期情報に基づいて、前記全体画像中の各画像から、前記被写体の注目点を含む切出し画像を切り出す
ことを特徴とする請求項18に記載の画像再生装置。 When imaging area information indicating an imaging state in the imaging area is further recorded on the recording medium,
Based on the imaging area information and the first position information, relation information that associates the coordinate system related to the first position information and the coordinate system unique to the imaging unit is generated, and the relation information is Based on the first position information, the relationship information generating means for converting the first position information into second position information in a coordinate system unique to the imaging means,
Cutout position calculating means for calculating a cutout position of the image from the whole image based on the second position information;
Further comprising
The reading means further reads the imaging area information from the recording medium and outputs the information to the relation information generating means,
The image cutout unit cuts out a cutout image including a point of interest of the subject from each image in the whole image based on the cutout position calculated by the cutout position calculation unit and the synchronization information. The image reproducing device according to claim 18.
前記読出手段は、前記撮像情報と前記第1の位置情報と前記同期情報とを前記記録媒体から読み出し、
前記画像切出し手段は、前記同期情報および前記第2の位置情報に基づいて、前記全体画像から、前記被写体の注目点を含む切出し画像を切り出す
ことを特徴とする請求項18に記載の画像再生装置。 In place of the first position information, when the second position information in the coordinate system unique to the imaging means is recorded on the recording medium,
The reading means reads the imaging information, the first position information, and the synchronization information from the recording medium,
The image reproduction device according to claim 18, wherein the image cutout unit cuts out a cutout image including a target point of the subject from the whole image based on the synchronization information and the second position information. .
前記撮像情報に基づいて、前記全体画像を再生する全体画像信号を生成すると共に、前記切出し画像情報に基づいて、前記切出し画像を再生する切出し画像信号を生成し、前記同期情報に基づいて、前記全体画像信号および前記切出し画像信号を出力する再生手段と、
を具備することを特徴とする画像再生装置。 Image capturing information indicating a whole image continuously captured including a subject, and a cut-out image indicating a cut-out image in which a part of each whole image in the image capturing information is cut out in accordance with a change in the continuous position of the subject. Reading means for reading out the imaging information, the cut-out image information, and the synchronization information from a recording medium on which image information and synchronization information indicating temporal relation between the imaging information and the cut-out image information are recorded;
Based on the imaging information, generates an entire image signal for reproducing the entire image, generates an extracted image signal for reproducing the extracted image based on the extracted image information, and based on the synchronization information, Reproducing means for outputting the whole image signal and the cut-out image signal;
An image reproducing apparatus comprising:
22. The display device according to claim 18, further comprising display means for displaying the whole image and the cut image based on the whole image signal and the cut image signal output by the reproduction means. An image reproducing device according to any one of the above items.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004089178A JP4262620B2 (en) | 2004-03-25 | 2004-03-25 | Imaging apparatus and image reproduction apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004089178A JP4262620B2 (en) | 2004-03-25 | 2004-03-25 | Imaging apparatus and image reproduction apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005277857A true JP2005277857A (en) | 2005-10-06 |
JP4262620B2 JP4262620B2 (en) | 2009-05-13 |
Family
ID=35177041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004089178A Expired - Fee Related JP4262620B2 (en) | 2004-03-25 | 2004-03-25 | Imaging apparatus and image reproduction apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4262620B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007049449A1 (en) * | 2005-10-26 | 2007-05-03 | Matsushita Electric Industrial Co., Ltd. | Video reproducing device, video recorder, video reproducing method, video recording method, and semiconductor integrated circuit |
JP2016127377A (en) * | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | Image processing apparatus and image processing method, image reproducer and image reproducing method and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08307739A (en) * | 1995-05-11 | 1996-11-22 | Canon Inc | Video camera |
JP2003046911A (en) * | 2001-05-22 | 2003-02-14 | Matsushita Electric Ind Co Ltd | Monitoring recording system and method therefor |
JP2003078818A (en) * | 2001-09-03 | 2003-03-14 | Nippon Hoso Kyokai <Nhk> | Telop device |
JP2003264764A (en) * | 2002-03-08 | 2003-09-19 | Hitachi Ltd | Image recording and reproducing device |
-
2004
- 2004-03-25 JP JP2004089178A patent/JP4262620B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08307739A (en) * | 1995-05-11 | 1996-11-22 | Canon Inc | Video camera |
JP2003046911A (en) * | 2001-05-22 | 2003-02-14 | Matsushita Electric Ind Co Ltd | Monitoring recording system and method therefor |
JP2003078818A (en) * | 2001-09-03 | 2003-03-14 | Nippon Hoso Kyokai <Nhk> | Telop device |
JP2003264764A (en) * | 2002-03-08 | 2003-09-19 | Hitachi Ltd | Image recording and reproducing device |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007049449A1 (en) * | 2005-10-26 | 2007-05-03 | Matsushita Electric Industrial Co., Ltd. | Video reproducing device, video recorder, video reproducing method, video recording method, and semiconductor integrated circuit |
JPWO2007049449A1 (en) * | 2005-10-26 | 2009-04-30 | パナソニック株式会社 | VIDEO REPRODUCTION DEVICE, VIDEO RECORDING DEVICE, VIDEO REPRODUCTION METHOD, VIDEO RECORDING METHOD, AND SEMICONDUCTOR INTEGRATED CIRCUIT |
US8018521B2 (en) | 2005-10-26 | 2011-09-13 | Panasonic Corporation | Image reproducing apparatus, image recorder, image reproducing method, image recording method, and semiconductor integrated circuit |
JP2016127377A (en) * | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | Image processing apparatus and image processing method, image reproducer and image reproducing method and program |
Also Published As
Publication number | Publication date |
---|---|
JP4262620B2 (en) | 2009-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4760892B2 (en) | Display control apparatus, display control method, and program | |
JP4557035B2 (en) | Information processing apparatus, information processing method, program, and recording medium | |
JP4626668B2 (en) | Image processing apparatus, display control method, program, and recording medium | |
CN102918858B (en) | 3-D panoramic image creating apparatus, 3-D panoramic image creating method,3-D panoramic image replay apparatus, and 3-D panoramic image replay method | |
KR101694689B1 (en) | Method for generating video data and image photographing device thereof | |
EP2104336A2 (en) | Composition determination device, composition determination method, and program | |
WO2000077537A1 (en) | Method and apparatus for determining sound source | |
JP5928386B2 (en) | Display control apparatus, display control method, and program | |
JP2006217070A (en) | Monitoring recording apparatus | |
JP2013076924A5 (en) | ||
JP2014168126A (en) | Image processor, image processing method and program | |
JP2009141555A (en) | Imaging apparatus with voice input function and its voice recording method | |
JP5477777B2 (en) | Image acquisition device | |
JP2016053788A (en) | Information terminal device, information processing method, system, and program | |
JP2019092006A (en) | Information processing apparatus, information processing method, and program | |
US20140086551A1 (en) | Information processing apparatus and information processing method | |
US20050251741A1 (en) | Methods and apparatus for capturing images | |
JP5329130B2 (en) | Search result display method | |
JP4262620B2 (en) | Imaging apparatus and image reproduction apparatus | |
JP2013016933A (en) | Terminal device, imaging method, and program | |
JP2009239349A (en) | Photographing apparatus | |
JP5479149B2 (en) | Image generation device | |
JP2008172485A (en) | Stream data generating device and reproducing device | |
JP4512220B2 (en) | Image display device | |
JP2016063867A (en) | Drawing device, drawing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090120 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090209 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4262620 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |