JP2004356968A - Information recording device to moving image and information reproducing device from moving image, method, program, and record medium - Google Patents

Information recording device to moving image and information reproducing device from moving image, method, program, and record medium Download PDF

Info

Publication number
JP2004356968A
JP2004356968A JP2003152409A JP2003152409A JP2004356968A JP 2004356968 A JP2004356968 A JP 2004356968A JP 2003152409 A JP2003152409 A JP 2003152409A JP 2003152409 A JP2003152409 A JP 2003152409A JP 2004356968 A JP2004356968 A JP 2004356968A
Authority
JP
Japan
Prior art keywords
recording
moving image
information
pixel
bit depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003152409A
Other languages
Japanese (ja)
Other versions
JP3884724B2 (en
Inventor
Ken Tsutsuguchi
拳 筒口
Yoshinobu Tonomura
佳伸 外村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2003152409A priority Critical patent/JP3884724B2/en
Publication of JP2004356968A publication Critical patent/JP2004356968A/en
Application granted granted Critical
Publication of JP3884724B2 publication Critical patent/JP3884724B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method for recording information other than color and voice simultaneously with video in the partial pixel of a moving image, and for recording information in video to be interpolated and corrected in reproduction and for reproducing the information. <P>SOLUTION: There are provided a means for storing quantity that is converted into numbers and varies with time; a means for converting the numeric value into the quantity of variation of bit depth that is bit depth per one pixel of the moving image or smaller; a means for determining record pixel position information, namely to which pixel position of the moving image of the next frame the quantity of variation in the next frame is recorded for storage; a means for setting the recording bit depth of the recording bit depth recording pixel position information of the quantity of recording position variation of the variation data of an initial frame, so that the sum of the recording bit depth of the quantity of variation and that of the recording pixel position information is the bit depth per pixel of the moving image or smaller; a means for recording the quantity of variation after conversion and the recording pixel position information at a specific position in the moving image; and a means for recording the moving image to which the data are recorded as if it were a normal moving image. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、ディジタル動画像のある画素に、色情報ではなく他の情報を数値化して記録し、また、前記動画像を再生する際には当該画素から記録情報を取得しつつ、当該画素の色情報は周辺の画素の色情報から補間して再生することにより、複数の測定記録ファイルを用いることなく動画像と撮影時の各種データを同時に記録および再生できることを目的とする、動画像への情報記録装置および動画像からの情報再生装置、方法、プログラム、並びに記録媒体に関するものである。
【0002】
【従来の技術】
映像撮影と同時に温度等の情報を測定し記録する手法として、以下のような方法がある。
【0003】
特許文献1「映像データ保存装置」がある。これは、撮影と平行してセンサ等から取り込まれる各種信号の条件により、短期映像記録を長期映像に切り替えるものである。ここでは、センサから取り込まれた信号自体は、映像を記録するかどうかのトリガーとして用いており、信号自体の記録については言及されない。
【0004】
いわゆる色情報ではないものを映像として記録する方法として、例えば特許文献2「撮像システム及びそれを用いた温度計測方法」がある。これは、物体の撮影と、該物体の温度分布を高精度に計測し、映像を処理して温度情報を計算し、映像と温度情報とを表示手段に表示することができるものであり、温度計測手段は映像処理手段からの各色光に対する出力信号のうち、少なくとも1つの出力信号が予め設定した値に達しないときに温度計測を中断又は温度計算を中断する制御手段を有することを特徴としている。
【0005】
また、特許文献3「映像記録再生システム」においては、映像、音声信号以外の環境情報を、ビデオカメラの記録媒体である磁気テープ等の音声信号チャネルに記録することを特徴としている。
【0006】
これらをまとめると、従来手法においては、動画像を記録する部分にはあくまで色情報を記録するものであり、赤外線カメラのように温度情報を色情報に変換することはあるが、色情報を記録している動画像部分に、色情報以外の情報を記録することはない。これは、動画像情報記録部に、色情報に対応したもの以外を記録すると、その部分の画質が周囲と異なるため、画像が劣化してしまうためである。
【0007】
一般にビデオ撮影などにおいて、画像信号と音声信号以外の情報を記録する場合は、撮影日時やタイムコードなどの比較的小量な情報は同時に記録できるが、気温や湿度など、映像と同程度の長さを記録する場合、映像ファイル以外のファイルに記録するか、あるいは音声記録チャネルの一部を使用するなどの手段しかなかった。
【0008】
【特許文献1】
特許第3387957号
【特許文献2】
特開2001−272278号公報
【特許文献3】
特開平8−111838号公報
【0009】
【発明が解決しようとする課題】
本発明の目的は、映像と同時に記録した色、音声以外の情報を、動画像の一部の画素に記録し、再生する際には該当画素の色情報が周囲に比べ不自然とならないように修正する映像への情報記録および再生方法を提供することにある。
【0010】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
【0011】
本発明の動画像への情報記録装置は、動画像をフレームごとに入力し短期的に記憶する手段と、前記動画像と時間的同期が取れている一種類または複数種類の数値化された時間変動する量を入力し短期的に記憶する手段と、前記数値を、前記動画像の色情報を記録する際の1画素あたりのビット深度以下の所定のビット深度で表されうる数値(以下、変動量と称する)として変換する手段と、次のフレームの変動量が、次のフレームの動画像のどの画素位置に記録されるかという情報(以下、記録画素位置情報と称する)を、所定のビット深度で表されうる数値範囲内で決定し記憶する手段と、初期フレームの動画像における変動データの記録位置、変動量の記録ビット深度、および、前記記録画素位置情報の記録ビット深度を、前記変動量の記録ビット深度と、前記記録画素位置情報の記録ビット深度との合計が、動画像の色情報を記録する際の1画素あたりのビット深度以下であるように設定する手段と、前記変換後の変動量と、前記記録画素位置情報とを、現在のフレームの動画像の所定の位置に記録する手段と、前記データを記録した動画像を通常の動画像のように記録する手段と、を有することを特徴とする。
【0012】
また、本発明の動画像への情報記録装置は、前記の情報記録装置において、画素値として記録する変動データは、輝度情報と、変換後の変動量と、記録画素位置情報とを含むことを特徴とする。
【0013】
また、本発明の動画像からの情報再生装置は、前記情報記録装置により記録された映像を再生する情報再生装置であって、動画像を読み込む手段と、動画像のある画素位置に記録されている変動データから、再帰的に次のフレームにおける変動データが記録されている画素位置を取得する手段と、前記再帰的に得られる画素位置から変動データを取得する手段と、前記変動量を変換する手段と、前記変換された変動量を記憶する手段と、当該位置の画素値を周囲の画素値から補間する手段と、前記補間後の動画像を記憶する手段と、を有することを特徴とする。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態を詳細に説明する。
【0015】
本発明の実施の形態では、動画像の色情報のビット深度と同じビット深度を持ち、変動量、記録画素位置その他を含めて前記ビット深度で表したものをまとめて変動データと称する。また、記録画素位置以外の情報を、変動量と称する。
【0016】
本発明の実施の形態は、時間変動する情報を数値化したもの、即ち前記変動量を、映像ファイルの一部の画素に画素値として記録する手段を有することを最も主要な特徴とする。
【0017】
時間変動する情報の例としては、温度、湿度、圧力、気圧、血圧、濃度、風力、光量等、測定可能な物理量が挙げられる。
【0018】
図1は、本実施の形態の基本的な考え方を示している。映像と同じ時間軸に沿って変動する量がある時、本来色情報、あるいは輝度情報として記録すべき動画像の画素に、当該量を記録するものである。画像記録部に記録することにより、記録された画素位置に記録されるべき情報は失われてしまうものの、記録される画素位置の数が画像記録の画素数に比べて充分に少なければ、見た目の自然さを損なうことなく有用なデータを記録することが可能となる。
【0019】
また、図2に示すように、なるべく画像情報の見た目の自然さを損なわないように、記録する画素位置を毎フレームごとに変更すれば、より効果的である。
【0020】
図3は、本実施の形態の記録側の基本構成図である。本実施の形態は、
100 基本情報設定機能、
101 動画像短期記憶機能、
102 変動量短期記憶機能、
111 変動量変換機能、
112 記録位置記憶機能、
113 変動データ記録機能、
121 動画像記録機能、
130 基本情報記録機能、
から構成される。
【0021】
また、本実施の形態によって記録された映像ファイルを再生する際の基本構成図を図4に示す。図4に示すように、再生側の基本構成図は、
200 基本情報読込機能、
201 動画像読込機能、
202 記録位置取得機能、
203 変動データ読込機能、
204 変動量変換機能、
205 変動量記憶機能、
211 画素値補間機能、
212 動画像記憶機能、
から構成される。
【0022】
なお、音声記録部は本発明の手段とは直接関連がないため、本明細書では、音声に関わる部分の説明は省略する。もちろん、本発明により記録される映像に、従来の映像ファイルと同様、音声データを記録することを妨げるものではない。
【0023】
本実施の形態の作用を例を挙げて説明する
本実施の形態を適用する際に、どのような変動量が記録されているか、データの型は何か、数値の範囲はどれほどか、記録数値の単位は何か、という情報は、あらかじめ既知であるものとする。これらの情報は本発明において本質的なものではないが、後述する基本情報に加えて別途データファイルとして記録しても良いし、あるいは、これらの情報を動画像のヘッダ部分に記録しても良く、再生時にこれを利用してもよい。
【0024】
いずれにせよ、これらの情報は時間変動するデータのように、時系列データとして記録する必要はないため、その記録容量は少ない。
【0025】
また、変動データの記録を行う画素位置は複数あっても良いが、1画素の場合の組み合わせで実現できるため、1画素の場合につき説明を行う。これを複数画素に拡張可能なことは明白である。
【0026】
まず、図3における100の基本情報設定機能において、基本情報、即ち、記録開始の1フレーム目のどの位置に1フレーム目の変動データを記録するか、という位置情報、および、変動量のビット深度、および、前記位置情報を記述するためのビット深度を設定する。例えば図5(a)に示すように、変動量と位置情報とを記録するような場合はその合計値が動画像の1画素あたりのビット深度に相当するように、また、請求項2のように変動量が輝度情報を含む場合は、図5(b)に示すように、輝度情報記録部、変動量記録部、位置情報記録部の合計値が動画像の1画素あたりのビット深度に相当するように設定する。なお、説明を容易にするために、特に混乱しない限り、輝度情報も変動量に含めて考えることとする。
【0027】
以下、映像の1画素あたりのビット深度をB、位置記録用ビット深度(水平方向)をW、位置記録用ビット深度(鉛直方向)をH、変動量記録用ビット深度をd=B−(W+H)とする。初期フレームの変動データ記録画素位置を(w0,h0)とする。
【0028】
これらの情報は、本発明を利用した形態において全て共通であれば、特に外部ファイルとして記録する必要はないが、そうでない場合には130の基本情報記録機能によって出力する。
【0029】
次に、101の動画像短期記憶機能によって、ビデオ信号等の動画像情報を短期的に記憶する。同時に、102の変動量短期記憶機能によって、ビデオ信号、音声信号以外の測定量を短期的に記憶する。この記憶の順序は重要ではないが、変動量は動画像と同じ周期で記憶されるものである。動画像よりも短い周期で記録したい場合は、動画像1フレームに記録する変動データの数を増やし、複数画素分記録すればよい。
【0030】
次に、111の変動量変換機能により、100の基本情報設定機能により設定された変動量用のビット深度にて変動量を変換する。
【0031】
112の記録位置記憶機能は、次のフレームのどの画素位置に記録するかを決定し、当該画素位置を記憶する機能である。
【0032】
113の変動データ記録機能は、101の動画像短期記憶機能により記憶された動画像の所定の画素位置に、111の変動量変換機能により変換されたデータと、112の記録位置記憶機能により決定された次のフレームの変動データ記録位置を記録する機能である。
【0033】
そして、121の動画像記録機能により、113の変動データ記録機能の結果生成される動画像を、非圧縮または可逆圧縮にて外部記憶装置に記録・出力する。
以上により、本発明の目的である、時間変動する測定量を動画像の画素値として記録することが可能となる。
【0034】
また、本発明によって記録された映像ファイルを再生する際には、以下の処理を行うこととなる。図4の200基本情報読込機能により、再生する動画像に付随する基本情報を読込み、当該動画像の1画素あたりのビット深度B、位置記録用ビット深度(水平方向)W、位置記録用ビット深度(鉛直方向)H、変動量記録用ビット深度d=B−(W+H)、初期フレームの変動データ記録画素位置(w0,h0)を取得する。
【0035】
次に、201の動画像読込機能により動画像を読込み、1フレームずつ記憶する。
【0036】
次に202の記録位置取得機能により、記憶したフレームのどの画素位置に変動データが記録されているかを取得する。初期フレームについては画素位置(w0,h0)が既知である。2フレーム目は、初期フレームの変動データから取得可能であり、以降、再帰的に取得することになる。
【0037】
次に203の変動データ読込機能により、記録画素位置から変動データを読み込む。2フレーム目以降は、この変動データから、202の記録位置取得機能により記録画素位置を取得することとなる。
【0038】
次に、204の変動量変換機能により、203の変動データ読込機能により読み込んだ変動データから測定された量を取得し、利用可能な形に変換し、205の変動量記憶機能により記憶する。どのような形に変換するか、記憶した量をどのように利用するかは、本発明の利用形態に依存し、本発明の範疇ではない。
【0039】
次に、211の画素値補間機能により、前記変動量が記録されていた部分の色情報を決定する。その際、例えば周囲の画素値の平均を取っても良いし、変動データの記録位置が直前のフレームと異なる場合は、直前のフレームの同じ画素位置の色情報を用いても良い。この補間の方法も本発明にとって本質的ではない。
【0040】
次に212の動画像記憶機能により、補間された動画像を記憶する。記憶された動画像をどのように利用するかは、本発明の利用形態に依存する。
【0041】
なお、以上において、画素位置がフレームごとに変動する場合、今回のフレームに前回のフレームの記録画素位置を記録する方法もありえる。この場合、再生時に、次に示す実施例のように逐次的に情報を読み込んでいくのではなく、一度最終フレームまで読み込んだ上で、情報を取り出す処理を行うことになるが、その処理は次の再生側の実施例と同様になり、フレーム番号が先頭フレームからのインクリメントではなく、最終フレームからのデクリメントになるのみである。
【0042】
[実施例]
以下、本発明の実施例を示す。
まず、記録側の実施例について説明する。
画像上の位置は、左上隅を原点に取り、右にx軸、下向きにy軸とし、画像上の画素の位置は原点からの整数値で表せるものとする。
【0043】
本実施例では、映像の1画素あたりのビット深度を24ビット、位置記録用ビット深度(水平方向)を4ビット、位置記録用ビット深度(鉛直方向)を4ビット、データ記録用ビット深度を16ビット(24−(4+4))とし、変動量は16ビットの範囲内で記述できるものとする。初期フレームでの記録位置を(w0,h0)=(0,0)とする。これらの情報は、記録動画像の付随ファイルとして別ファイルに出力する。
【0044】
例えば、センサーおよびビデオカメラが計算機に接続されているものとする。センサーからの信号は、ビデオカメラと同期が取れており、例えば1/30秒毎に計算機に入力するものとする。
【0045】
以下、フレーム番号をi(i=0,1,・・・)で表し、i番目の動画像をI(i)、i番目の変動量をD(i)とおく。
【0046】
記録開始後のステップにおいて、動画像I(0)を取得し、短期記憶装置上に記憶する。同時に、センサーからの信号も記憶されている。センサーからの信号は、この段階では何ビットで表現されていても良い。この際の変換の手法は本発明の本質とするところではない。
【0047】
この段階で、センサー信号を16ビットに変換し、これをD’(0)と表す。次のフレームの映像信号I(1)を取得し、短期記憶装置上に記憶する。同時に、センサーからの信号も記憶する。
【0048】
次のフレームI(1)のどこに記録するかを決定する。例えば、本実施例では、水平方向、鉛直方向ともに4ビット(16)で表すので、現在の記録位置(0,0)から、縦横16画素の距離以内にある画素位置を決定する。この画素位置の決定手段は本発明の本質ではないが、例えば、再生時にこの画素部分の色情報を補間するため、周囲の色情報と同じような色情報を持っていることが望ましい。この位置を(w1,h1)とする。
【0049】
この段階で、(w0,h0)の位置に書くべき情報が揃ったため、画像I(0)の位置(w0,h0)に、w1、h1、D’(0)を書き込む。
【0050】
以下、この処理を繰り返すこととなる。この処理手順を以下に示す:
1 初期記録位置P(0)を設定する。
2 映像I(0)を取得し、記憶する。
3 情報D(0)を取得し、記憶する。
4 映像I(0)上の記録画素位置P(i)を記憶する。
5 i=0とおき、以下を繰り返す。
6 情報D(i)を指定されたビット深度dで記述し、これをD’(i)とする。
7 映像I(i+1)を取得し、記憶する。
8 情報D(i+1)を取得し、記憶する。
9 映像I(i+1)上の記録画素位置P(i+1)を決定する。
10 映像I(i)上の記録画素位置P(i)を参照する。
11 映像I(i)上の位置P(i)に、D’(i)とP(i+1)とを上書きする。
12 映像I(i)を書き出す。
13 処理を終了するなら終了し、しない場合はiをインクリメントし、7に戻る。
【0051】
図6はこの処理手順を示したフローチャートである。
図6において、動画像ビット深度(B)を設定し(601)、変動量ビット深度(d)を設定し(602)、位置情報ビット深度(W+H)を設定し(603)、フレーム番号iを0として(604)、初期フレームでの記録画素位置(P(i=0))を設定する。ここまでのステップは図3の100の基本情報設定機能によって実行される。そして、130の基本情報記録機能によって、変動量ビット深度(d)、位置情報ビット深度(W+H)、初期フレームでの記録画素位置(P(i=0))が記録される(606)。そして、図3の101の動画像短期記憶機能により最初のフレームの動画像I(i=0)が読み込まれ記憶され(607)、102の変動量短期記憶機能により最初のフレームに記録する変動量D(i=0)が読み込まれ記憶される(608)。
【0052】
次に、ステップ609以降のループに入る。図3の111の変動量変換機能により変動量D(i)がD’(i)に変換され、101の動画像短期記憶機能により次のフレームの動画像I(i+1)が読み込まれ記憶され(610)、102の変動量短期記憶機能により変動量D(i+1)が読み込まれ記憶され(611)、i=i+1として、ステップ609に戻る。
【0053】
一方、図3の112の記録位置記憶機能により次のフレームの記録位置P(i+1)が決定され記憶される(612)。そして、113の変動データ記録機能により次のフレームの記録位置P(i+1)と変換されたi番目の変動量D’(i)がi番目のフレームの動画像I(i)の記録位置P(i)に記録される(613)。次に、121の動画像記録機能によりi番目のフレームの動画像I(i)が記録される(614)。ここで記録される動画像I(i)は、記録位置P(i)以外の画素は通常の動画の画素と同じものであるが、記録位置P(i)には、ステップ613による処理により、次のフレームの記録位置P(i+1)と変換されたi番目の変動量D’(i)が記録されている。
【0054】
なお、記録画素位置を全く変更しない場合は、この処理の特殊な場合であり、W=H=0とおいて、以下のような処理の流れになる:
1 初期記録位置P(0)を設定する。
2 i=0とおき、以下を繰り返す。
3 映像I(i)を取得し、記憶する。
4 情報D(i)を取得し、記憶する。
5 映像I(i)上の記録画素位置をP(i)=P(0)とする。
6 映像I(i)上の位置P(i)に、D’(i)を上書きする。
7 映像I(i)を書き出す。
8 処理を終了するなら終了し、しない場合はiをインクリメントし、3に戻る。
次に、再生側の実施例について説明する。
【0055】
再生側においては、映像の1画素あたりのビット深度24ビット、位置記録用ビット深度(水平方向)4ビット、位置記録用ビット深度(鉛直方向)4ビット、データ記録用ビット深度16ビット、および、初期記録画素位置(0,0)については、基本情報ファイルを読み込むことで取得する。
本実施例では、画素値を周囲の色情報の平均値により補間するものとする。
【0056】
動画像を読込み、1フレーム目の色情報を取得し記憶する。その際、(0,0)に記録されているデータを変換し、1フレーム目の情報D’(0)を取得する。同時に2フレーム目の情報記録画素位置P(1)を取得する。
【0057】
次に、(0,0)位置の色情報を、周囲の画素値の平均値を取ることにより、補間する。(0,0)の場合、隣接する画素は(1,0)、(1,1)、(0,1)の3点なので、この3点の色情報の平均値としてもよい。例えば、周囲に9画素あるような場合は9画素分の平均値としてよいし、直前のフレームの記録画素位置が異なる場合、直前のフレームの同じ位置にある色を用いても良い。いずれにせよ、この補間方法は本究明の本質的な問題ではない。
【0058】
補間後に、1フレーム目の画像情報、1フレーム目に付随する変動情報を出力し、記憶部へ記憶する。また、2フレーム目の情報記録画素位置P(1)を記憶部へ記憶する。
【0059】
以上を繰り返すことにより、動画像、および、動画像のある画素に記録された情報を取得し、利用することが可能となる。
1 画素値補間方法を設定する。
2 必要があればデータファイルを読み込む。
3 B、W、H、dを得る。
4 初期記録位置P(0)を取得する。
5 i=0とおき、以下を繰り返す。
6 映像I(i)を取得し、記憶する。
7 I(i)上のP(i)からD’(i)を取得し、記憶する。
8 D’(i)からデータおよび次のフレームでの記録位置P(i+1)を得る。
9 P(i+1)を記憶する。
10 映像I(i)上の位置P(i)の色情報を補間する。
11 映像I(i)を書き出す。
12 iをインクリメントし、6に戻る。
【0060】
図7はこの処理手順を示したフローチャートである。
図7において、まず、変動データの記録位置の画素を補間する補間方法を設定する(701)。そして、図4の200の基本情報読込機能により基本ファイルが読み込まれる、すなわち、変動量ビット深度(d)、位置情報ビット深度(W+H)、初期記録画素位置(P(i=0))が取得される(702)。次に、201の動画像読込機能により最初の動画像が読み込まれ(703)、フレーム番号iを0にして(704)、705以降のループに入る。
【0061】
図3の201の動画像読込機能によりi番目のフレームの動画像I(i)が読み込まれ記憶される(705)。202の記録位置取得機能によりi番目のフレームの記録位置P(i)上のデータが取得され(706)、このデータから次のフレームの記録位置P(i+1)が取得され記録される(707)。そして、203の変動データ読込機能によりi番目のフレームに記録された変換された変動量D’(i)が取得され(708)、204の変動量変換機能により変換された変動量D’(i)が変換前の変動量D(i)に変換され(709)、205の変動量記憶機能により変動量D(i)が記憶される(710)。
【0062】
一方、図3の211の画素値補間機能によりi番目のフレームの記録位置P(i)の色情報を補間し(711)、変動データが記録されていた記録位置P(i)に補間した色情報を上書きし(712)、i番目のフレームの動画像I(i)を記憶する(713)。
【0063】
なお、以上のフローチャートに基づいて、コンピュータプログラムを作成することができ、また、そのプログラムを記録媒体に記録することも、ネットワークを通じて提供することも可能であることは明らかである。
【0064】
以上、本発明者によってなされた発明を、前記実施の形態および実施例に基づき具体的に説明したが、本発明は、前記実施の形態および実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【0065】
【発明の効果】
以上説明したように、本発明は、映像と同期した時間変動する情報を数値化したものを、映像ファイルの一部の画素に画素値として記録することにより、前記時間変動する情報を別ファイルとして記録する必要がなくなり、また、前記映像ファイルを再生する際に、記録された変動情報を取り出しながら、動画像自体の見た目の自然さを損なうことなく再生可能である、という効果がある。
【図面の簡単な説明】
【図1】本発明の実施の形態の基本概念図を示す図である。
【図2】本発明の実施の形態の記録位置が変動する例を示す図である。
【図3】本発明の実施の形態の基本構成図(記録部)を示す図である。
【図4】本発明の実施の形態の基本構成図(再生部)を示す図である。
【図5】変動量記録データ構造を示す図である。
【図6】本発明の実施例の処理の流れ(記録部)を示す図である。
【図7】本発明の実施例の処理の流れ(再生部)を示す図である。
【符号の説明】
100…基本情報設定機能、101…動画像短期記憶機能、102…変動量短期記憶機能、111…変動量変換機能、112…記録位置記憶機能、113…変動データ記録機能、121…動画像記録機能、130…基本情報記録機能、200…基本情報読込機能、201…動画像読込機能、202…記録位置取得機能、203…変動データ読込機能、204…変動量変換機能、205…変動量記憶機能、211…画素値補間機能、212…動画像記憶機能。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention digitizes and records other information, not color information, in a certain pixel of a digital moving image, and, when reproducing the moving image, obtains recording information from the pixel, The color information is interpolated from the color information of the surrounding pixels and reproduced, so that the moving image and various data at the time of shooting can be simultaneously recorded and reproduced without using a plurality of measurement recording files. The present invention relates to an information recording apparatus and an apparatus for reproducing information from a moving image, a method, a program, and a recording medium.
[0002]
[Prior art]
The following methods are available for measuring and recording information such as temperature at the same time as video shooting.
[0003]
Patent Document 1 “Video data storage device” is available. In this method, short-term video recording is switched to long-term video according to the conditions of various signals taken in from a sensor or the like in parallel with shooting. Here, the signal itself taken from the sensor is used as a trigger for recording an image, and the recording of the signal itself is not mentioned.
[0004]
As a method of recording what is not color information as a video, there is, for example, Patent Document 2 “Imaging system and temperature measurement method using the same”. This is capable of photographing an object, measuring the temperature distribution of the object with high accuracy, processing an image, calculating temperature information, and displaying the image and the temperature information on a display means. The measuring means has a control means for interrupting the temperature measurement or the temperature calculation when at least one of the output signals of the respective color lights from the video processing means does not reach a preset value. .
[0005]
Patent Document 3 “Video recording / reproducing system” is characterized in that environmental information other than video and audio signals is recorded in an audio signal channel such as a magnetic tape which is a recording medium of a video camera.
[0006]
To summarize, in the conventional method, the color information is recorded only in the part where the moving image is recorded, and although the temperature information is converted to the color information like an infrared camera, the color information is recorded. No information other than the color information is recorded in the moving image portion. This is because, if something other than the one corresponding to the color information is recorded in the moving image information recording unit, the image quality of that part is different from that of the surroundings, so that the image is deteriorated.
[0007]
In general, when recording information other than image signals and audio signals in video shooting, etc., relatively small amounts of information such as the shooting date and time and time code can be recorded at the same time. When recording the sound, there have been only means such as recording in a file other than the video file or using a part of the audio recording channel.
[0008]
[Patent Document 1]
Patent No. 3387957 [Patent Document 2]
JP 2001-272278 A [Patent Document 3]
Japanese Patent Application Laid-Open No. H08-118138
[Problems to be solved by the invention]
An object of the present invention is to record information other than the color and audio recorded simultaneously with a video in some pixels of a moving image, and to ensure that the color information of the pixel does not become unnatural compared to the surroundings when reproducing. An object of the present invention is to provide a method of recording and reproducing information on a video to be corrected.
[0010]
[Means for Solving the Problems]
The following is a brief description of an outline of typical inventions disclosed in the present application.
[0011]
An apparatus for recording information on a moving image according to the present invention includes means for inputting a moving image for each frame and storing the moving image for a short period of time, and one or more types of quantified time which are temporally synchronized with the moving image. Means for inputting a variable amount and storing the variable amount in a short term; and a numerical value (hereinafter referred to as a variable) which can be represented by a predetermined bit depth equal to or less than a bit depth per pixel when the color information of the moving image is recorded. Means for converting the amount of fluctuation of the next frame into a pixel position of the moving image of the next frame (hereinafter, referred to as recording pixel position information) by a predetermined bit. Means for determining and storing within a numerical range that can be represented by a depth, a recording position of fluctuation data in a moving image of an initial frame, a recording bit depth of a fluctuation amount, and a recording bit depth of the recording pixel position information, amount Means for setting a sum of a recording bit depth and a recording bit depth of the recording pixel position information to be equal to or less than a bit depth per pixel when recording color information of a moving image; and a variation after the conversion. Means for recording the amount and the recording pixel position information at a predetermined position in the moving image of the current frame, and means for recording the moving image in which the data is recorded as a normal moving image. It is characterized by.
[0012]
In the information recording apparatus for moving images of the present invention, in the information recording apparatus, the variation data recorded as a pixel value includes luminance information, a variation after conversion, and recording pixel position information. Features.
[0013]
Further, an apparatus for reproducing information from a moving image according to the present invention is an information reproducing apparatus for reproducing a video recorded by the information recording apparatus, comprising: means for reading a moving image; Means for recursively obtaining a pixel position at which fluctuation data in the next frame is recorded, means for obtaining fluctuation data from the pixel position obtained recursively, and converting the fluctuation amount Means, means for storing the converted variation amount, means for interpolating the pixel value at the position from surrounding pixel values, and means for storing the interpolated moving image. .
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail.
[0015]
In the embodiment of the present invention, the data having the same bit depth as the bit depth of the color information of a moving image and representing the bit depth including the amount of fluctuation, the recording pixel position, and the like are collectively referred to as fluctuation data. Information other than the recording pixel position is referred to as a fluctuation amount.
[0016]
The most important feature of the embodiment of the present invention is that it has means for digitizing time-varying information, that is, means for recording the amount of fluctuation as a pixel value in some pixels of a video file.
[0017]
Examples of the information that fluctuates over time include measurable physical quantities such as temperature, humidity, pressure, atmospheric pressure, blood pressure, concentration, wind power, and light quantity.
[0018]
FIG. 1 shows the basic concept of the present embodiment. When there is an amount that fluctuates along the same time axis as a video, the amount is recorded in a pixel of a moving image that should be originally recorded as color information or luminance information. By recording in the image recording unit, information to be recorded at the recorded pixel position is lost, but if the number of recorded pixel positions is sufficiently small compared to the number of pixels of the image recording, the apparent Useful data can be recorded without impairing the naturalness.
[0019]
Further, as shown in FIG. 2, it is more effective to change the pixel position to be recorded for each frame so as not to spoil the natural appearance of the image information as much as possible.
[0020]
FIG. 3 is a basic configuration diagram on the recording side of the present embodiment. In this embodiment,
100 basic information setting function,
101 moving image short-term memory function,
102 Fluctuation short-term memory function,
111 fluctuation conversion function,
112 recording position storage function,
113 fluctuation data recording function,
121 moving image recording function,
130 basic information recording function,
Consists of
[0021]
FIG. 4 shows a basic configuration diagram for reproducing a video file recorded according to the present embodiment. As shown in FIG. 4, the basic configuration diagram on the reproduction side is as follows.
200 basic information reading function,
201 moving image reading function,
202 recording position acquisition function,
203 fluctuation data reading function,
204 fluctuation amount conversion function,
205 fluctuation amount storage function,
211 pixel value interpolation function,
212 moving image storage function,
Consists of
[0022]
It should be noted that the audio recording section is not directly related to the means of the present invention, and therefore, description of portions relating to audio is omitted in this specification. Of course, this does not prevent recording of audio data in the video recorded by the present invention, similarly to the conventional video file.
[0023]
The operation of the present embodiment will be described using an example. When applying the present embodiment, what kind of variation is recorded, what is the type of data, what is the range of numerical values, how many recorded values are It is assumed that the information of what is the unit of is known in advance. These pieces of information are not essential in the present invention, but may be separately recorded as a data file in addition to the basic information described later, or may be recorded in a header portion of a moving image. This may be used at the time of reproduction.
[0024]
In any case, these pieces of information do not need to be recorded as time-series data, unlike data that fluctuates over time, and therefore have a small recording capacity.
[0025]
Further, there may be a plurality of pixel positions for recording the variation data. However, since it can be realized by a combination of one pixel, the case of one pixel will be described. Obviously, this can be extended to multiple pixels.
[0026]
First, in the basic information setting function 100 shown in FIG. 3, basic information, that is, position information indicating at which position of the first frame of the recording start the variation data of the first frame is to be recorded, and the bit depth of the variation amount , And a bit depth for describing the position information. For example, as shown in FIG. 5A, in the case where the fluctuation amount and the position information are recorded, the total value corresponds to the bit depth per pixel of the moving image. When the variation includes luminance information, as shown in FIG. 5B, the sum of the luminance information recording unit, the variation recording unit, and the position information recording unit corresponds to the bit depth per pixel of the moving image. Set to For ease of explanation, unless otherwise confused, luminance information is also included in the variation.
[0027]
Hereinafter, the bit depth per pixel of an image is B, the bit depth for position recording (horizontal direction) is W, the bit depth for position recording (vertical direction) is H, and the bit depth for variation recording is d = B− (W + H). ). The position of the pixel for recording variation data in the initial frame is (w0, h0).
[0028]
These information need not be recorded as an external file as long as they are all common in the form using the present invention, but otherwise, they are output by the basic information recording function 130.
[0029]
Next, moving image information such as a video signal is stored in a short term by the moving image short-term storage function 101. At the same time, the measurement amount other than the video signal and the audio signal is stored in a short term by the fluctuation amount short-term storage function 102. The order of storage is not important, but the amount of change is stored in the same cycle as the moving image. If it is desired to record at a shorter cycle than the moving image, the number of the variation data to be recorded in one frame of the moving image may be increased and the recording may be performed for a plurality of pixels.
[0030]
Next, the fluctuation amount is converted by the fluctuation amount conversion function of 111 at the bit depth for the fluctuation amount set by the basic information setting function of 100.
[0031]
The recording position storage function 112 determines which pixel position in the next frame is to be recorded, and stores the pixel position.
[0032]
The change data recording function of 113 is determined by the data converted by the change amount conversion function of 111 into a predetermined pixel position of the moving image stored by the moving image short-term storage function of 101, and the recording position storage function of 112. This is a function of recording the fluctuation data recording position of the next frame.
[0033]
Then, the moving image generated as a result of the variable data recording function of 113 is recorded and output to the external storage device by non-compression or lossless compression by the moving image recording function of 121.
As described above, it is possible to record a time-varying measurement amount as a pixel value of a moving image, which is an object of the present invention.
[0034]
When reproducing a video file recorded according to the present invention, the following process is performed. The basic information accompanying the moving image to be reproduced is read by the 200 basic information reading function in FIG. 4, and the bit depth B per pixel of the moving image, the bit depth for position recording (horizontal direction) W, the bit depth for position recording (Vertical direction) H, the bit depth d for fluctuation recording d = B- (W + H), and the fluctuation data recording pixel position (w0, h0) of the initial frame are acquired.
[0035]
Next, a moving image is read by the moving image reading function 201 and stored one frame at a time.
[0036]
Next, the recording position acquisition function 202 acquires at which pixel position of the stored frame the variation data is recorded. For the initial frame, the pixel position (w0, h0) is known. The second frame can be obtained from the fluctuation data of the initial frame, and thereafter, is obtained recursively.
[0037]
Next, the fluctuation data is read from the recording pixel position by the fluctuation data reading function 203. For the second and subsequent frames, the recording pixel position is acquired from the fluctuation data by the recording position acquisition function 202.
[0038]
Next, the measured amount is obtained from the fluctuation data read by the fluctuation data reading function of 203 by the fluctuation amount conversion function of 204, converted into a usable form, and stored by the fluctuation amount storage function of 205. How to convert the data and how to use the stored amount depend on the usage of the present invention and are not in the scope of the present invention.
[0039]
Next, the color information of the portion where the variation is recorded is determined by the pixel value interpolation function 211. At this time, for example, the average of the surrounding pixel values may be taken, or when the recording position of the variation data is different from the immediately preceding frame, the color information of the same pixel position of the immediately preceding frame may be used. This interpolation method is not essential for the present invention.
[0040]
Next, the interpolated moving image is stored by the moving image storage function 212. How to use the stored moving image depends on the use form of the present invention.
[0041]
In the above description, when the pixel position varies from frame to frame, there is a method of recording the recording pixel position of the previous frame in the current frame. In this case, at the time of reproduction, instead of sequentially reading information as in the following embodiment, a process of reading out information after reading up to the last frame once is performed. In this case, the frame number is not incremented from the first frame but decremented from the last frame.
[0042]
[Example]
Hereinafter, examples of the present invention will be described.
First, an embodiment on the recording side will be described.
The position on the image is taken with the origin at the upper left corner, the x-axis to the right, and the y-axis downward, and the position of the pixel on the image can be represented by an integer value from the origin.
[0043]
In this embodiment, the bit depth per pixel of an image is 24 bits, the bit depth for position recording (horizontal direction) is 4 bits, the bit depth for position recording (vertical direction) is 4 bits, and the bit depth for data recording is 16 bits. Bit (24− (4 + 4)), and the variation can be described within a range of 16 bits. The recording position in the initial frame is (w0, h0) = (0, 0). These pieces of information are output to another file as a file accompanying the recorded moving image.
[0044]
For example, assume that a sensor and a video camera are connected to a computer. The signal from the sensor is synchronized with the video camera, and is input to the computer every 1/30 second, for example.
[0045]
Hereinafter, the frame number is represented by i (i = 0, 1,...), The i-th moving image is represented by I (i), and the i-th variation is represented by D (i).
[0046]
In a step after the start of recording, a moving image I (0) is acquired and stored on the short-term storage device. At the same time, the signal from the sensor is also stored. The signal from the sensor may be represented by any number of bits at this stage. The conversion method at this time is not the essence of the present invention.
[0047]
At this stage, the sensor signal is converted into 16 bits, and this is represented as D '(0). The video signal I (1) of the next frame is acquired and stored on the short-term storage device. At the same time, the signal from the sensor is also stored.
[0048]
Decide where to record in the next frame I (1). For example, in this embodiment, since the horizontal and vertical directions are represented by 4 bits (16), a pixel position within a distance of 16 pixels vertically and horizontally from the current recording position (0, 0) is determined. Although the means for determining the pixel position is not the essence of the present invention, for example, it is desirable to have the same color information as the surrounding color information in order to interpolate the color information of this pixel portion during reproduction. This position is defined as (w1, h1).
[0049]
At this stage, since the information to be written is prepared at the position (w0, h0), w1, h1, and D '(0) are written at the position (w0, h0) of the image I (0).
[0050]
Hereinafter, this process is repeated. The procedure is as follows:
1. Set the initial recording position P (0).
2 Acquire and store the image I (0).
3 Acquire and store information D (0).
4 Store the recording pixel position P (i) on the video I (0).
5 Set i = 0 and repeat the following.
6 Information D (i) is described with a specified bit depth d, and this is defined as D '(i).
7 Obtain and store the video I (i + 1).
8 Obtain and store information D (i + 1).
9 Determine the recording pixel position P (i + 1) on the video image I (i + 1).
10 Reference recording pixel position P (i) on video I (i).
11 Overwrite the position P (i) on the image I (i) with D ′ (i) and P (i + 1).
12. Write out video I (i).
13 If the processing is ended, the processing is ended. If not, i is incremented, and the processing returns to 7.
[0051]
FIG. 6 is a flowchart showing this processing procedure.
In FIG. 6, a moving image bit depth (B) is set (601), a variation bit depth (d) is set (602), a position information bit depth (W + H) is set (603), and a frame number i is set. As 0 (604), the recording pixel position (P (i = 0)) in the initial frame is set. The steps so far are executed by the basic information setting function 100 in FIG. Then, the variation bit depth (d), the position information bit depth (W + H), and the recording pixel position (P (i = 0)) in the initial frame are recorded by the basic information recording function 130 (606). Then, the moving image I (i = 0) of the first frame is read and stored by the moving image short-term storage function 101 of FIG. 3 (607), and the fluctuation amount to be recorded in the first frame by the fluctuation amount short-term storage function of 102 D (i = 0) is read and stored (608).
[0052]
Next, the process enters a loop from step 609. The fluctuation amount D (i) is converted into D ′ (i) by the fluctuation amount conversion function 111 in FIG. 3, and the moving image I (i + 1) of the next frame is read and stored by the moving image short-term storage function 101 (FIG. 3). 610), the fluctuation amount D (i + 1) is read and stored by the fluctuation amount short-term storage function of 102 (611), and the process returns to step 609 as i = i + 1.
[0053]
On the other hand, the recording position P (i + 1) of the next frame is determined and stored by the recording position storage function 112 in FIG. 3 (612). Then, the recording position P (i + 1) of the next frame and the converted i-th fluctuation amount D ′ (i) converted by the fluctuation data recording function 113 are the recording positions P (i) of the moving image I (i) of the i-th frame. Recorded in i) (613). Next, the moving image I (i) of the i-th frame is recorded by the moving image recording function of 121 (614). In the moving image I (i) recorded here, the pixels other than the recording position P (i) are the same as the pixels of the normal moving image, but the recording position P (i) is The recording position P (i + 1) of the next frame and the converted i-th variation D ′ (i) are recorded.
[0054]
Note that a case where the recording pixel position is not changed at all is a special case of this processing, and the following processing flow is performed with W = H = 0.
1. Set the initial recording position P (0).
2 Set i = 0 and repeat the following.
3. Acquire and store the video I (i).
4 Acquire and store information D (i).
5. The recording pixel position on the video image I (i) is P (i) = P (0).
6 Overwrite D '(i) on position P (i) on video I (i).
7 Write out video I (i).
8 If the processing is ended, the processing is ended. If not, i is incremented and the processing returns to 3.
Next, an embodiment on the reproducing side will be described.
[0055]
On the reproduction side, the bit depth per pixel of the video is 24 bits, the bit depth for position recording (horizontal direction) is 4 bits, the bit depth for position recording (vertical direction) is 4 bits, the bit depth for data recording is 16 bits, and The initial recording pixel position (0, 0) is obtained by reading the basic information file.
In the present embodiment, it is assumed that the pixel value is interpolated by the average value of the surrounding color information.
[0056]
The moving image is read, and the color information of the first frame is obtained and stored. At this time, the data recorded at (0, 0) is converted, and information D '(0) of the first frame is obtained. At the same time, the information recording pixel position P (1) of the second frame is obtained.
[0057]
Next, the color information at the (0,0) position is interpolated by taking an average value of surrounding pixel values. In the case of (0, 0), the neighboring pixels have three points of (1, 0), (1, 1), and (0, 1). Therefore, the average value of the color information of these three points may be used. For example, when there are 9 pixels around, the average value for 9 pixels may be used. When the recording pixel position of the previous frame is different, the color at the same position of the previous frame may be used. In any case, this interpolation method is not an essential problem of the present investigation.
[0058]
After the interpolation, the image information of the first frame is output and the variation information associated with the first frame is output and stored in the storage unit. Also, the information recording pixel position P (1) of the second frame is stored in the storage unit.
[0059]
By repeating the above, a moving image and information recorded in a certain pixel of the moving image can be acquired and used.
1 Set the pixel value interpolation method.
2 Read the data file if necessary.
3 B, W, H and d are obtained.
4 Acquire the initial recording position P (0).
5 Set i = 0 and repeat the following.
6 Acquire and store the video I (i).
7 Obtain and store D '(i) from P (i) on I (i).
8 The data and the recording position P (i + 1) in the next frame are obtained from D ′ (i).
9 Store P (i + 1).
10. Interpolate the color information at the position P (i) on the video I (i).
11 Write out the image I (i).
12 Increment i and return to 6.
[0060]
FIG. 7 is a flowchart showing this processing procedure.
In FIG. 7, first, an interpolation method for interpolating a pixel at a recording position of variation data is set (701). Then, the basic file is read by the basic information reading function 200 in FIG. 4, that is, the variation bit depth (d), the position information bit depth (W + H), and the initial recording pixel position (P (i = 0)) are obtained. (702). Next, the first moving image is read by the moving image reading function 201 (703), the frame number i is set to 0 (704), and the loop from 705 onward is entered.
[0061]
The moving image I (i) of the i-th frame is read and stored by the moving image reading function 201 in FIG. 3 (705). Data on the recording position P (i) of the i-th frame is acquired by the recording position acquisition function of 202 (706), and the recording position P (i + 1) of the next frame is acquired and recorded from this data (707). . Then, the converted fluctuation amount D ′ (i) recorded in the i-th frame is acquired by the fluctuation data reading function of 203 (708), and the fluctuation amount D ′ (i) converted by the fluctuation amount converting function of 204 is obtained. ) Is converted to the variation D (i) before conversion (709), and the variation D (i) is stored by the variation storage function of 205 (710).
[0062]
On the other hand, the color information at the recording position P (i) of the i-th frame is interpolated by the pixel value interpolation function 211 of FIG. 3 (711), and the color interpolated at the recording position P (i) where the variation data is recorded. The information is overwritten (712), and the moving image I (i) of the i-th frame is stored (713).
[0063]
It is apparent that a computer program can be created based on the above-described flowchart, and that the program can be recorded on a recording medium or provided through a network.
[0064]
As described above, the invention made by the inventor has been specifically described based on the above-described embodiments and examples. However, the present invention is not limited to the above-described embodiments and examples, and departs from the gist of the invention. Of course, various changes can be made without departing from the scope.
[0065]
【The invention's effect】
As described above, according to the present invention, the time-varying information synchronized with the video is digitized and recorded as a pixel value in some pixels of the video file, so that the time-varying information is stored as a separate file. This eliminates the need for recording, and also has the effect that, when reproducing the video file, it is possible to reproduce the moving image without losing the natural appearance of the moving image while extracting the recorded fluctuation information.
[Brief description of the drawings]
FIG. 1 is a diagram showing a basic conceptual diagram of an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example in which a recording position changes according to the embodiment of the present invention.
FIG. 3 is a diagram showing a basic configuration diagram (recording unit) of the embodiment of the present invention.
FIG. 4 is a diagram showing a basic configuration diagram (playback unit) of the embodiment of the present invention.
FIG. 5 is a diagram showing a variation recording data structure.
FIG. 6 is a diagram showing a processing flow (recording unit) of the embodiment of the present invention.
FIG. 7 is a diagram showing a processing flow (playback unit) according to the embodiment of the present invention.
[Explanation of symbols]
100: basic information setting function, 101: moving image short-term storage function, 102: fluctuation amount short-term storage function, 111: fluctuation amount conversion function, 112: recording position storage function, 113: fluctuation data recording function, 121: moving image recording function , 130: basic information recording function, 200: basic information reading function, 201: moving image reading function, 202: recording position acquisition function, 203: fluctuation data reading function, 204: fluctuation amount conversion function, 205: fluctuation amount storage function, 211: pixel value interpolation function; 212: moving image storage function.

Claims (8)

動画像をフレームごとに入力し短期的に記憶する手段と、
前記動画像と時間的同期が取れている一種類または複数種類の数値化された時間変動する量を入力し短期的に記憶する手段と、
前記数値を、前記動画像の色情報を記録する際の1画素あたりのビット深度以下の所定のビット深度で表されうる数値(以下、変動量と称する)として変換する手段と、
次のフレームの変動量が、次のフレームの動画像のどの画素位置に記録されるかという情報(以下、記録画素位置情報と称する)を、所定のビット深度で表されうる数値範囲内で決定し記憶する手段と、
初期フレームの動画像における変動データの記録位置、変動量の記録ビット深度、および、前記記録画素位置情報の記録ビット深度を、前記変動量の記録ビット深度と、前記記録画素位置情報の記録ビット深度との合計が、動画像の色情報を記録する際の1画素あたりのビット深度以下であるように設定する手段と、
前記変換後の変動量と、前記記録画素位置情報とを、現在のフレームの動画像の所定の位置に記録する手段と、
前記データを記録した動画像を通常の動画像のように記録する手段と、
を有することを特徴とする動画像への情報記録装置。
Means for inputting a moving image for each frame and storing it in a short term;
Means for inputting one or more types of digitized time-varying amounts that are temporally synchronized with the moving image and storing them in a short term,
Means for converting the numerical value as a numerical value that can be represented by a predetermined bit depth equal to or less than a bit depth per pixel when recording the color information of the moving image (hereinafter, referred to as a variation amount);
Information (hereinafter referred to as “recorded pixel position information”) at which pixel position in the moving image of the next frame the fluctuation amount of the next frame is recorded is determined within a numerical range that can be represented by a predetermined bit depth. Means for storing and storing
The recording position of the fluctuation data in the moving image of the initial frame, the recording bit depth of the fluctuation amount, and the recording bit depth of the recording pixel position information, the recording bit depth of the fluctuation amount, and the recording bit depth of the recording pixel position information Means for setting the total of the pixel information to be equal to or less than the bit depth per pixel when recording the color information of the moving image;
Means for recording the variation amount after the conversion and the recording pixel position information at a predetermined position of a moving image of a current frame;
Means for recording a moving image in which the data is recorded as a normal moving image,
An information recording apparatus for recording a moving image, comprising:
請求項1に記載の情報記録装置において、画素値として記録する変動データは、輝度情報と、変換後の変動量と、記録画素位置情報とを含むことを特徴とする動画像への情報記録装置。2. The information recording apparatus according to claim 1, wherein the variation data recorded as a pixel value includes luminance information, a variation after conversion, and recording pixel position information. . 請求項1または2の情報記録装置により記録された映像を再生する情報再生装置であって、
動画像を読み込む手段と、
動画像のある画素位置に記録されている変動データから、再帰的に次のフレームにおける変動データが記録されている画素位置を取得する手段と、
前記再帰的に得られる画素位置から変動データを取得する手段と、
前記変動量を変換する手段と、
前記変換された変動量を記憶する手段と、
当該位置の画素値を周囲の画素値から補間する手段と、
前記補間後の動画像を記憶する手段と、
を有することを特徴とする動画像からの情報再生装置。
An information reproducing apparatus for reproducing a video recorded by the information recording apparatus according to claim 1 or 2,
Means for reading a moving image,
Means for recursively acquiring a pixel position at which variation data in the next frame is recorded, from variation data recorded at a certain pixel position of the moving image,
Means for acquiring variation data from the pixel positions obtained recursively,
Means for converting the variation,
Means for storing the converted variation,
Means for interpolating the pixel value at the position from surrounding pixel values;
Means for storing the moving image after the interpolation,
An information reproducing apparatus from a moving image, comprising:
情報記録装置における情報記憶方法であって、
動画像をフレームごとに入力し短期的に記憶するステップと、
前記動画像と時間的同期が取れている一種類または複数種類の数値化された時間変動する量を入力し短期的に記憶するステップと、
前記数値を、前記動画像の色情報を記録する際の1画素あたりのビット深度以下の所定のビット深度で表されうる数値(以下、変動量と称する)として変換するステップと、
次のフレームの変動量が、次のフレームの動画像のどの画素位置に記録されるかという情報(以下、記録画素位置情報と称する)を、所定のビット深度で表されうる数値範囲内で決定し記憶するステップと、
初期フレームの動画像における変動データの記録位置、変動量の記録ビット深度、および、前記記録画素位置情報の記録ビット深度を、前記変動量の記録ビット深度と、前記記録画素位置情報の記録ビット深度との合計が、動画像の色情報を記録する際の1画素あたりのビット深度以下であるように設定するステップと、
前記変換後の変動量と、前記記録画素位置情報とを、現在のフレームの動画像の所定の位置に記録するステップと、
前記データを記録した動画像を通常の動画像のように記録するステップと、
を有することを特徴とする動画像への情報記録方法。
An information storage method in an information recording device,
Inputting a moving image for each frame and storing it in a short term;
A step of inputting one or more types of digitized time-varying amounts that are temporally synchronized with the moving image and storing them in a short term,
Converting the numerical value as a numerical value (hereinafter, referred to as a fluctuation amount) that can be represented by a predetermined bit depth equal to or less than a bit depth per pixel when recording the color information of the moving image;
Information (hereinafter referred to as “recorded pixel position information”) at which pixel position in the moving image of the next frame the fluctuation amount of the next frame is recorded is determined within a numerical range that can be represented by a predetermined bit depth. Storing and remembering;
The recording position of the fluctuation data in the moving image of the initial frame, the recording bit depth of the fluctuation amount, and the recording bit depth of the recording pixel position information, the recording bit depth of the fluctuation amount, and the recording bit depth of the recording pixel position information And setting the sum to be less than or equal to the bit depth per pixel when recording color information of a moving image;
A step of recording the amount of variation after the conversion and the recording pixel position information at a predetermined position of a moving image of a current frame;
A step of recording the moving image in which the data is recorded as a normal moving image,
A method for recording information on a moving image, comprising:
請求項4に記載の情報記録方法において、画素値として記録する変動データは、輝度情報と、変換後の変動量と、記録画素位置情報とを含むことを特徴とする動画像への情報記録方法。5. The information recording method according to claim 4, wherein the variation data recorded as a pixel value includes luminance information, a variation after conversion, and recording pixel position information. . 請求項4または5に記載の情報記録方法により記録された映像を再生する情報再生装置の情報再生方法であって、
動画像を読み込むステップと、
動画像のある画素位置に記録されている変動データから、再帰的に次のフレームにおける変動データが記録されている画素位置を取得するステップと、
前記再帰的に得られる画素位置から変動データを取得するステップと、
前記変動量を変換するステップと、
前記変換された変動量を記憶するステップと、
当該位置の画素値を周囲の画素値から補間するステップと、
前記補間後の動画像を記憶するステップと、
を有することを特徴とする動画像からの情報再生方法。
An information reproducing method for an information reproducing apparatus for reproducing a video recorded by the information recording method according to claim 4 or 5,
Loading a moving image;
From the variation data recorded at a certain pixel position of the moving image, recursively obtaining a pixel position at which the variation data in the next frame is recorded,
Acquiring variation data from the pixel positions obtained recursively;
Converting the variation amount;
Storing the converted variation amount;
Interpolating the pixel value at the position from surrounding pixel values;
Storing the interpolated moving image;
A method for reproducing information from a moving image, comprising:
請求項4乃至6のいずれか1項に記載の各ステップをコンピュータに実行させるためのプログラム。A program for causing a computer to execute the steps according to any one of claims 4 to 6. 請求項4乃至6のいずれか1項に記載の各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能か記録媒体。A computer-readable or recording medium recording a program for causing a computer to execute the steps according to claim 4.
JP2003152409A 2003-05-29 2003-05-29 Information recording apparatus for moving image, information reproducing apparatus for moving image, method, program, and recording medium Expired - Fee Related JP3884724B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003152409A JP3884724B2 (en) 2003-05-29 2003-05-29 Information recording apparatus for moving image, information reproducing apparatus for moving image, method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003152409A JP3884724B2 (en) 2003-05-29 2003-05-29 Information recording apparatus for moving image, information reproducing apparatus for moving image, method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2004356968A true JP2004356968A (en) 2004-12-16
JP3884724B2 JP3884724B2 (en) 2007-02-21

Family

ID=34047635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003152409A Expired - Fee Related JP3884724B2 (en) 2003-05-29 2003-05-29 Information recording apparatus for moving image, information reproducing apparatus for moving image, method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP3884724B2 (en)

Also Published As

Publication number Publication date
JP3884724B2 (en) 2007-02-21

Similar Documents

Publication Publication Date Title
USRE36338E (en) Electronic still camera for recording and regenerating image data and sound data
US20100135634A1 (en) Video processing device, recording medium, video signal processing method, video signal processing program, and integrated circuit
JP6429588B2 (en) Image processing apparatus and image processing method
US20060146147A1 (en) Digital still camera and method of controlling operation of same
JPH0322687A (en) Digital recording and reproducing device
JP2006352529A (en) Imaging apparatus
JP2005057605A (en) Image processor, image processing system, imaging device and image processing method
JP2004234624A (en) Static image generating device, static image generating method, static image generating program and recording medium with static image generating program recorded
JPH05227476A (en) Picture data storing system
JP2010081460A (en) Imaging apparatus and image generating method
JP3884724B2 (en) Information recording apparatus for moving image, information reproducing apparatus for moving image, method, program, and recording medium
JPH0364125B2 (en)
JP2840742B2 (en) Video signal recording device
US20020071650A1 (en) Image processor and image processing system using the image processor
JP2005328404A (en) Recording method and apparatus, and reproducing method
US20050152667A1 (en) Method for establishing recording quality in digital recording device
JP2000268511A (en) Data recording device and method therefor
JP3520001B2 (en) Image display device
JP4604487B2 (en) Projector, projector control method, and program
JP3478130B2 (en) Information recording medium
JP3720741B2 (en) Distortion correction apparatus, method thereof, program thereof, and recording medium on which program is recorded
JP2006140551A (en) Motion picture reproducer
JPH0739546A (en) Apparatus for ultrasonic examination
JP2004248139A (en) Imaging and recording apparatus
JP2005195661A (en) Projector, projector control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061117

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131124

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees