JP2004254248A - Moving image conversion apparatus and monitoring system - Google Patents

Moving image conversion apparatus and monitoring system Download PDF

Info

Publication number
JP2004254248A
JP2004254248A JP2003045050A JP2003045050A JP2004254248A JP 2004254248 A JP2004254248 A JP 2004254248A JP 2003045050 A JP2003045050 A JP 2003045050A JP 2003045050 A JP2003045050 A JP 2003045050A JP 2004254248 A JP2004254248 A JP 2004254248A
Authority
JP
Japan
Prior art keywords
moving image
encoded data
image
encoding
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003045050A
Other languages
Japanese (ja)
Other versions
JP3933589B2 (en
Inventor
Hisashi Aoki
恒 青木
Noboru Yamaguchi
昇 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2003045050A priority Critical patent/JP3933589B2/en
Publication of JP2004254248A publication Critical patent/JP2004254248A/en
Application granted granted Critical
Publication of JP3933589B2 publication Critical patent/JP3933589B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that it is necessary not only to immediately view monitoring video on a mobile terminal when an abnormality is detected, but also to use video of higher definition to confirm the situation in post-processing after the abnormality is confirmed. <P>SOLUTION: A moving image conversion apparatus has a means 110 for converting first moving image encoding data separated from a video input into second moving image encoding data of a format suited for viewing on the mobile terminal and a means 105 for storing the first moving image encoding data or sub moving image encoding data resulting from thinning the first moving image encoding data. When the abnormality is detected, the first moving image encoding data are transmitted from a moving image output part 106 to the mobile terminal and in post-processing, the first moving image encoding data or the sub moving image encoding data obtained by thinning the first moving image encoding data are viewed on a client PC. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、動画像データを変換し、利用者の携帯端末に送信する動画像変換装置、及び、この動画像変換装置を用いた監視システムに関するものである。
【0002】
【従来の技術】
動画像処理技術の急速な発展により、動画像をデジタルデータとして扱うことが広く行われている。近年では、動画像を、例えば、MPEG−1、2、4等の符号化方式の符号化データとして配信・保存することが一般的となってきている。
【0003】
また、映像機器やコンピュータで符号化データを復号化して動画像を視聴するだけではなく、携帯端末(例えば、携帯電話、PDA(Personal Data Appliance)等)において符号化データを復号化して動画像を視聴するサービスも実用化されている。
【0004】
ところが、MPEG−1、2、4等の符号化方式にて符号化された監視映像をネットワーク経由で視聴する場合には、符号化データのビットレートが高いと携帯端末での視聴が困難となる。
【0005】
そのために、携帯端末で動画像を視聴する場合に問題となっていたのは、通信帯域の狭さである。これを解決するために、符号化データのビットレートを低減する手法が提案されている(特許文献1)。
【0006】
しかし、ビットレートを低減させると動画像の画質の劣化が著しくなる。そこで、低ビットレートでも画質が良い符号化方式に変換することが望ましい。特許文献2では、動画像の符号化方式を変換する一手法が提案されている。
【0007】
これらビットレートの低減や符号化方式の変換等の手法により、通信帯域が狭い場合でも符号化データを携帯端末でリアルタイムに受信でき、動画像を途切れずに再生することが可能となる。
【0008】
また、遠隔地で携帯端末を使って常時監視することは現実的ではない。そこで、特許文献3では、監視サイトで異常を検出し、撮影した映像を受信する携帯端末に適したデータ形式に符号化して送付する一手法を提案している。
【0009】
【特許文献1】
特開2001−339460公報
【0010】
【特許文献2】
特開2002−185969公報
【0011】
【特許文献3】
特開2002−279558公報
【0012】
【発明が解決しようとする課題】
上記のように、異常が検出されたとき、瞬時に携帯端末に映像付きで状況を通報することは有用であるが、一般に携帯端末の画面は家庭用テレビに比べて狭く画素数も少ない。一方、監視映像は家庭用テレビ並みの画質を要求されることが多い。
【0013】
そのため、携帯端末に適したデータ形式で符号化した場合、監視対象が小さくなってしまい見にくくなる。また、異常事態の内容を確認した後、事後対策でより高精細な監視映像が必要となる場合がある。また、異常が検出されたイベントをメタデータとして、符号化された映像データと共に保存することで事後対策時に異常事態の映像検索が容易となる。なお、「メタデータ」とは映像情報とイベント情報を関連付けるための付加情報であり、例えば、MPEG−7で標準化されているものもある。
【0014】
そこで、本発明では異常検出時には瞬時に携帯端末へと映像付きで通報すると共に、事後対策の為に携帯端末へと送付した映像よりも高精細な映像と異常を検出したイベントをメタデータとして保存することで事後対策が容易となる動画変換装置及びそれを用いた監視システムを提供する。
【0015】
【課題を解決するための手段】
請求項1の発明は、動画像を第1の符号化方式で符号化した第1の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第2の符号化方式で符号化した第2の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換装置であって、前記画像取得装置から前記第1の符号化データを含むデータが入力する入力手段と、前記入力したデータから前記第1の符号化データを分離する分離手段と、前記分離された第1の符号化データを復号化して動画像を生成する復号化手段と、前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形手段と、前記変形された動画像を第2の符号化方式で符号化して第2の符号化データを生成する符号化手段と、前記第2の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力手段と、を備えることを特徴とする動画像変換装置である。
【0016】
請求項2の発明は、前記分離された第1の符号化データからフレームを間引いた第3の符号化データを生成する第3符号化データ生成手段と、前記イベントトリガーが入力した時刻に対応するサムネールを前記第1の符号化データから生成するサムネール生成手段と、前記生成された第3の符号化データと前記生成したサムネールとを蓄積する蓄積手段と、前記蓄積された複数のサムネールの中から一のサムネールを選択する選択手段と、前記選択手段によって選択されたサムネールに対応する第3符号化データを前記蓄積手段から出力する第2の出力手段と、を備えることを特徴とする請求項1記載の動画像変換装置である。
【0017】
請求項3の発明は、前記蓄積手段は、前記第3の符号化データと前記サムネールと共に前記第2符号化データも蓄積し、前記第2の出力手段は、前記選択手段によって選択されたサムネールに対応する第3符号化データと共に前記第2符号化データも前記蓄積手段から出力することを特徴とする請求項2記載の動画像変換装置である。
【0018】
請求項4の発明は、請求項1から請求項3のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、前記画像再生装置が携帯端末であることを特徴とする監視システムである。
【0019】
請求項5の発明は、請求項1から請求項3のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、前記画像取得装置がカメラであり、、前記トリガー発生装置が、異常時にイベントトリガーを供給するセンサーであることを特徴とする監視システムである。
【0020】
請求項6の発明は、請求項1から請求項3のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、前記選択手段が、ネットワークに接続されているクライアント端末であることを特徴とする監視システムである。
【0021】
請求項7の発明は、動画像を第1の符号化方式で符号化した第1の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第2の符号化方式で符号化した第2の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換方法であって、前記画像取得装置から前記第1の符号化データを含むデータが入力する入力ステップと、前記入力したデータから前記第1の符号化データを分離する分離ステップと、前記分離された第1の符号化データを復号化して動画像を生成する復号化ステップと、前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形ステップと、前記変形された動画像を第2の符号化方式で符号化して第2の符号化データを生成する符号化ステップと、前記第2の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力ステップと、を備えることを特徴とする動画像変換方法である。
【0022】
請求項8の発明は、動画像を第1の符号化方式で符号化した第1の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第2の符号化方式で符号化した第2の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換方法を実現できるコンピュータのプログラムであって、前記画像取得装置から前記第1の符号化データを含むデータが入力する入力機能と、前記入力したデータから前記第1の符号化データを分離する分離機能と、前記分離された第1の符号化データを復号化して動画像を生成する復号化機能と、前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形機能と、前記変形された動画像を第2の符号化方式で符号化して第2の符号化データを生成する符号化機能と、前記第2の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力機能と、を実現できることを特徴とする動画像変換方法のプログラムである。
【0023】
本発明では、携帯端末等の画像再生装置へ第2符号化データを配信すると共に、事後処理用の第3符号化データを蓄積手段に蓄積する。
【0024】
事後処理用の第3符号化データは、携帯端末への第2符号化データよりも高品質なもので、また、入力された第1符号化データを間引いて生成する準動画である。また、異常を検出したイベントを、蓄積されている第2符号化データや準動画像の第3符号化データと関連付けたメタデータとして保存する。
【0025】
【発明の実施の形態】
(1)監視システム310の内容
図2は本発明の一実施形態の動画像変換装置であるトランスコードサーバ300を用いた監視システム310の一利用方法を説明する図である。また、図3は本発明の一実施形態の監視システム310を説明する図である。
【0026】
監視サイト201には、監視システム310が備えられており、カメラ301で撮影された映像の解析結果やセンサ302を使用して異常を検知している。検知された異常は、イベントトリガーとしてトランスコードサーバ300へと供給される。
【0027】
カメラ301は、撮影された映像をMPEG−1、2、4やモーションJPEGへと比較的高画質にエンコードする機能を内蔵するか、または、MPEG−1、2、4やモーションJPEGエンコーダ(図示せず)に接続されており、撮影された映像が高画質に圧縮された後、トランスコードサーバ300に供給される。ここで、ディジタルカムコーダで使われているDV形式のことも、以後モーションJPEGと呼ぶことにする。
【0028】
トランスコードサーバ300への圧縮された映像の供給は、カメラ301やエンコーダから直接行っても良いし、監視サイト201内のネットワーク303を介して供給しても良い。
【0029】
なお、先に述べたカメラ301で撮影された映像の解析は、カメラ301内で行っても良いし、トランスコードサーバ300に供給された映像を用いてトランスコードサーバ300内において行っても良い。
【0030】
トランスコーダサーバ300内では、イベントトリガーが供給された時刻の前後に撮影された映像を、携帯端末202に適した小画面・低ビットレートのMPEG−4に変換した後、メールに添付して携帯端末202へと送信する。
【0031】
送信されたメールは、監視サイト201内のネットワーク303を経由して外部ネットワーク203へと供給され、携帯端末202へと届けられる。
【0032】
視聴者は、携帯端末202で検知された異常の状況を確認した後、監視サイト201へ事後処理の指示を行うことが出来る。
【0033】
(2)携帯端末202で状況確認
図4は、携帯端末202で状況を確認する一例を説明している。
【0034】
携帯端末202で送付されたメール401を開くと、異常が検知されたことを知らせる文章と共に映像が添付されている。
【0035】
携帯端末202で添付された映像の内容を確認する操作を行うと、異常が検知された時刻の前後の映像402が再生される。ここで、映像そのものがメール401に添付されていると説明しているが、映像はメールサーバ(図示せず)に蓄積されていて、メールにはポインタだけが添付されて、視聴者が視聴を希望したときのみ携帯端末202へと送付する場合もある。
【0036】
また、トランスコードサーバ300内の蓄積装置に高画質の監視映像が蓄積されている場合には、視聴者からの指示によっては、監視サイト201内のネットワーク303に接続されたクライアント端末304を用いて詳細な状況の確認が出来る。
【0037】
以下に、トランスコードサーバ300の実施形態を説明する。
【0038】
(3)トランスコードサーバ300の内容
以下、図面を参照して本発明の第1の実施形態のトランスコードサーバ300について説明する。
【0039】
(3−1)トランスコードサーバ300の構成
図1は、本実施形態のトランスコードサーバ300の構成図である。
【0040】
トランスコードサーバ300は、カメラ301等から供給される映像入力には、動画像の符号化データのほかにシステム情報(MPEG−2システム等)、ネットワークプロトコル情報(RTPヘッダ等)等が含まれている。
【0041】
そのため、図1に示すように、映像入力から動画像の符号化データを分離するための動画像分離部101と、分離された動画像の符号化データをフレーム数や画像の解像度を間引くための動画像間引き部102と、分離された動画像の符号化データを視聴者が携帯端末で視聴可能にしたり、トランスコードサーバ300内に長時間動画像を蓄積しやすいように、動画像の符号化方式・ビットレート・画面サイズ等を変換する動画像変換部(トランスコーダ)110と、変換された動画像の符号化データを携帯端末に送信する動画像出力部106と、変換された動画像の符号化データや動画像間引き部102で間引かれた動画像の符号化データ等を蓄積する動画像蓄積部105と、動画像蓄積部105に蓄積された任意のデータを読み出す読出制御部108を備える。
【0042】
また、映像を視聴するための携帯端末のプロファイルや、センサ302等から供給されるイベントのトリガ情報により、動画像間引き部102、動画像出力部106、動画像変換部(トランスコーダ)110の動作を制御するトランスコード制御部107とを備える。
【0043】
動画像変換部(トランスコーダ)110は、読み出した動画像の符号化データを復号化して得られる動画像を、携帯端末202で視聴しやすいように変形する動画像変形部103と、変形された動画像を利用者の携帯端末で視聴可能な方式で符号化する動画像符号化部104とを備える。
【0044】
本実施形態では、オーディオの符号化データに関しては具体的には触れないが、携帯端末202で視聴可能にしたり、トランスコードサーバ内に長時間蓄積しやすいように符号化方式やビットレートを変換することもできる。また、画像のみを監視する場合は、オーディオデータを使用しなくても良い。
【0045】
なお、上記各部101〜110の各機能は、コンピュータであるトランスコードサーバ300に記憶されたプログラムによって実現できる。
【0046】
(3−2)トランスコードサーバ300の動作
トランスコードサーバ300の基本的な動作は、次の通りである。
【0047】
まず、動画像分離部101でカメラ301から直接、或いは、ネットワーク303等を介して供給される映像入力から動画像の符号化データを分離して、動画像間引き部102及び動画像変形部103に供給する。
【0048】
トランスコード制御部107は、視聴者の携帯端末202のプロファイル(例えばメールアドレス、再生可能な符号化方式、ネットワークへのアクセス方法等)と、イベントトリガーに応じて、動画像間引き部102、動画像変換部(トランスコーダ)110、動画像出力部106を制御する。
【0049】
読出間引き部102は、動画像の符号化データのフレーム数を間引くと共に、トランスコード制御部107からの要求によって、さらに解像度も間引いた画像を作成してサムネールとして動画像蓄積部105に蓄積する。ここで、「サムネール」とはイベントの内容の概略をつかむために、イベント発生前後のある時刻のフレームを縮小した静止画像のことである。
【0050】
動画像変換部(トランスコーダ)110は、トランスコード制御部107からの要求に基づいて動画像分離部101から供給される符号化データを、動画像変形部103で復号化して変形処理を行い、動画像符号化部104で符号化する。そして、動画像出力部106から視聴者の携帯端末202に向けて出力する。
【0051】
さらに、動画像符号化部104で符号化された符号化データは、動画像蓄積部105にも蓄積される。
【0052】
読出制御部108は、クライアント端末(クライアントPC)304からの要求に応じて動画像蓄積部105に蓄積されている符号化データを読み出してクライアント端末304へ送り出す。
【0053】
なお、監視システム310内に、複数のカメラやセンサやトランスコードサーバが存在してもよく、この場合、複数のトランスコードサーバ間で動画像蓄積部105を共有しても良い。
【0054】
(3−3)動画像分離部101
動画像分離部101には、カメラ301あるいはネットワーク303から供給される映像入力から、MPEG−2方式の動画像の符号化データを分離する。そして、分離した符号化データを動画像間引き部102及び動画像変形部103に順次供給する。
【0055】
また、本実施形態では、映像入力はMPEG−2方式であるものとするが、映像内容の詳細を把握できる品質であれば、これ以外の符号化方式(例えばMPEG−1、MPEG−4、H264、モーションJPEG)でも良い。
【0056】
また、配信される動画像は暗号化(スクランブルを含む)されていても良い。この場合、動画像分離部101で復号・復元を行うものとする。
【0057】
(3−4)動画像間引き部102
動画像間引き部102は動画像分離部101から供給されるMPEG−2符号化データをパースして、フレーム内符号化のフレーム(MPEG−2ではIピクチャと呼ばれている)を圧縮されたデータのまま抜き出して動画像蓄積部105に蓄積すると共に、イベントトリガーに対応するサムネールを生成し、動画像蓄積部105に蓄積する。
【0058】
図5は、動画像間引き部102の動作を具体的に説明する図である。
【0059】
入力映像には、映像内容の詳細を把握できる品質を確保するために、画面解像度/フレームレート/ビットレートが高いMPEG−2方式が用いられる。図5の例では、画面解像度:720×480画素、フレームレート:30fpsとしている。
【0060】
なお、動画像蓄積部105の容量が十分大きな場合は、前述したフレームの間引きを行わずに動画像蓄積部105に蓄積しても良い。しかし、動画像蓄積部105を複数のトランスコーダで共有したり、長時間の動画像の符号化データを蓄積する場合には、フレームの間引きを行う。
【0061】
標準的な運用形態では、MPEG−2方式の符号化データには、15フレーム毎に1回、Iピクチャが入っている。そこで、Iピクチャだけを抜き出してフレーム間引きを行うことで、図5に示されるような準動画像が得られる。
【0062】
さらに、トランスコード制御部107より線1071を介してイベント発生時刻が供給され、イベント発生時刻に近いIピクチャを、例えば図5に示すように90×60画素に縮小し、イベントに対応するサムネールとして動画像蓄積部105に蓄積する。
【0063】
ここで、イベント発生時刻に対して、該当するサムネールと、そのサムネールの元となったIピクチャを関連付けする情報を、メタデータとして動画像蓄積部105に蓄積する。
【0064】
(3−5)動画像変形部103
動画像変形部103は、MPEG−2を復号化する復号化器1031と、動画像の各フレームに対して変形を行うためのDSP1032とを備える。
【0065】
動画像変形部103は、動画像分離部101から供給された符号化データを復号化器1031で復号化する。そして、復号化して得られる動画像を、視聴者の携帯端末202のプロファイルを信号線1072を介してトランスコード制御部107から受け取り、DSP1032を用いて携帯端末に適した画面サイズやフレームレートに変形処理を行う。変形された動画像は動画像符号化部104へと供給される。
【0066】
なお、前記の特許文献2に提案されているように、復号化器1031から動きベクトル情報やモード情報も出力することとし、DSP1032を用いて動きベクトルも視聴者の携帯端末202のプロファイルにしたがって変形しても良い。変形された動きベクトルは動画像符号化部104へと供給され、MPEG−4符号化時の動きベクトル検出処理を削減することが可能となる。
【0067】
なお、復号化器1031は専用のハードウエア(半導体集積回路)として構成しても良いし、ソフトウエア的に実現しても良い。DSP1032に関しても汎用のCPUを用いて処理を行うようにしても良い。
【0068】
(3−6)動画像符号化部104
動画像符号化部104は、変形された動画像をMPEG−4方式で符号化する。符号化にあたっては信号線1073を介してトランスコード制御部107から受け取った視聴者の携帯端末202のプロファイルに合わせてビットレートを決定する。
【0069】
なお、本実施形態では動画像符号化部104ではMPEG−4方式で符号化を行うものとするが、これ以外の符号化方式(例えばMPEG−1、MPEG−2、H264)で符号化を行うように構成しても良い。また、複数の符号化方式を扱えるように構成して、利用者が符号化方式を選択できるようにしても良い。
【0070】
複数の符号化方式をサポートする場合、動画像符号化部104をメモリとCPUとを備えた構成にして、符号化する機能をソフトウエア的に実現すると実装しやすいと考えられる。
【0071】
(3−7)動画像蓄積部105
動画像蓄積部105は、図6に示されるように、メタデータ1051、サムネール1052、準動画像1053、動画像符号化部104で生成された符号化データを蓄積する。
【0072】
メタデータ1051は、イベントとサムネール1052と準動画像1053と動画像符号化部104で生成された符号化データとを関連付ける。
【0073】
関連付けの一例をあげると、イベントAに対して、
[1]時刻:MM分SS秒、
[2]対応するサムネールのファイル名、
[3]対応する準動画のファイル名、
[4]対応する動画像符号化部104で生成された符号化データのファイル名を関連付けることができる。
【0074】
[3]、[4]には、タイムスタンプがつけられており、[1]の時刻を用いてイベントAに対応する時刻の準動画の1フレームを高精細な静止画として抜き出したり、イベントAに対応する時刻から動画像符号化部104で生成された符号化データを再生することが可能となる。
【0075】
(3−8)動画像出力部106
動画像出力部106は、図7に示されるようにリングバッファ1061を備えており、動画像符号化部104で生成された符号化データはリングバッファ1061に一定時間蓄積される。また、符号化データのタイムスタンプはリングバッファのバイト位置と関連付けられている。
【0076】
ここで、何かイベントが発生すると、トランスコード制御部107より信号線1074を介して供給されるイベント発生時刻の情報を元に、リングバッファ1061上のバイト位置1062を特定し、バイト位置1062の前後一定時間1063分の符号化データを携帯端末202に出力する。なお、信号線1074を介して供給される視聴者の携帯端末202のプロファイルにしたがって、時間1063を決定したほうがよい。
【0077】
(3−9)トランスコード制御部107
トランスコード制御部107は、視聴者の携帯端末202のプロファイル(例えばメールアドレス、再生可能な符号化方式、ネットワークへのアクセス方法等)とイベントトリガーに応じて、動画像間引き部102、動画像変換部(トランスコーダ)110、動画像出力部106を制御する。
【0078】
ここで、視聴者の携帯端末202のプロファイルは、トランスコード制御部107内のメモリに保持していても良いし、また、その都度外部から与えられても良い。
【0079】
動画像間引き部102に対しては、イベントトリガーが入力された時刻を検出し、信号線1071を介してイベントの発生時刻を供給する。
【0080】
動画像変形部103に対しては、視聴者の携帯端末202のプロファイルから、その携帯端末202に適した画面サイズやフレームレートを求めて信号線1072を介して供給する。
【0081】
動画像符号化部104に対しては、視聴者の携帯端末202のプロファイルから、その携帯端末202に適したビットレートや符号化方式を求めて信号線1073を介して供給する。
【0082】
動画像出力部106に対しては、イベントトリガーが入力された時刻と、視聴者の携帯端末202のプロファイルから、その携帯端末202に適したメールに添付する動画像の再生時間を求め、信号線1074を介して供給する。
【0083】
(3−10)読出制御部108
読出制御部108は、クライアント端末であるクライアントPC304の要求を受け取り、利用者が要求した動画像の符号化データを動画像蓄積部105から読み出し、クライアントPC304へと配信する装置である。
【0084】
図8は、クライアントPC304からの要求にしたがって、動画像蓄積部105に蓄積されている動画像の符号化データを、クライアントPC304へと配信して再生する一連の動作の一例を説明する図である。
【0085】
クライアントPC304から、トランスコードサーバ300内のHTTPサーバ(図示せず)内で生成されたWebページにアクセスすると、Webブラウザ801が立ち上がり各イベントに対応したサムネールの一覧が表示される。
【0086】
Webブラウザ801上に表示される任意のサムネール802をクリックすると、該サムネールを特定する情報が読出制御部108に送られる。ここで、クリックとはワンクリックでもダブルクリックいずれを使っても構わない。
【0087】
まず、読出制御部108では、動画像蓄積部105内にあるメタデータを参照して、該サムネールに対応する動画像の符号化データファイルと、その再生時刻を特定する。
【0088】
次に、読出制御部108では、動画像の符号化データファイルと、その再生時刻にしたがって、動画像蓄積部105内の動画像の符号化データを読み出し、クライアントPC304へと配信する。
【0089】
クライアントPC304上では、任意のサムネール802をクリックすると同時に、動画像の符号化データを再生するための動画像ビューワ803を起動させており、トランスコードサーバ300から配信される動画像を再生する。
【0090】
また、動画像の符号化データの代わりに、準動画1053の該サムネールに対応するフレームを配信し、クライアントPC304上に表示しても良い。
【0091】
ここで、トランスコードサーバ300から動画像の符号化データがクライアントPC304へと配信される例を示したが、クライアントPC304が動画像蓄積部105内のファイルをファイル共有することで、リモートファイル再生をしても良い。
【0092】
(4)変形例
動画像変換部(トランスコーダ)110では、変換されて出力される動画像の符号化データは、携帯端末202での視聴に適した小画面・低ビットレートのものとなってしまい、事後処理時にクライアントPC304で視聴する動画像の品質は低いものになる。
【0093】
そこで、動画像変換部(トランスコーダ)110を図9に示される構成とすることで、動画像蓄積部105には動画像出力部106に供給されるものよりも高品質な動画像符号化データを蓄積して事後処理時に活用することができる。
【0094】
ここで、第2DSP1033(図9中ではDSP2と標記する)は、DSP1032と同じ機能を有している。但し、第2DSP1033はトランスコード制御部107にしたがわず、DSP1032よりも高解像度・高フレームレートに動画像を変換する。
【0095】
第2動画像符号化部1042(図9中では動画像符号化部2と標記する)は、動画像符号化部1041と異なる符号化方式でも良く、符号化ビットレートもトランスコード制御部107にしたがわず、動画像符号化部1041より高い値としても良い。
【0096】
【発明の効果】
以上、本発明によれば、異常検出時には瞬時に携帯端末へと映像付きで通報すると共に、事後対策の為に携帯端末へと送付した映像よりも高精細な映像と異常を検出したイベントをメタデータとして保存することで、事後対策が容易となる。
【図面の簡単な説明】
【図1】本発明の一実施形態のトランスコードサーバの構成を示すブロック図である。
【図2】本発明の一実施形態のトランスコードサーバを用いた監視システムの一利用方法を説明するイメージ図である。
【図3】本発明の一実施形態の監視システムを説明する図である。
【図4】携帯端末で状況を確認する一例を説明する図である。
【図5】動画像間引き部102の動作を具体的に説明する図である。
【図6】動画像蓄積部105の構成を説明する図である。
【図7】動画像出力部106の一連の動作を説明する図である。
【図8】読出制御部108に一連の動作の一例を説明する図である。
【図9】動画像変換部(トランスコーダ)110の変形例を説明する図である。
【符号の説明】
101 動画像分離部
102 動画像間引き部
103 動画像変形部
104 動画像符号化部
105 動画像蓄積部
106 動画像出力部
107 トランスコード制御部
108 読出制御部
110 動画像変換部(トランスコーダ)
201 監視サイト
202 携帯端末
203 ネットワーク
300 トランスコードサーバ
301 カメラ
304 クライアントPC
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image conversion device that converts moving image data and transmits the converted data to a mobile terminal of a user, and a monitoring system using the moving image conversion device.
[0002]
[Prior art]
With the rapid development of moving image processing technology, it is widely used to handle moving images as digital data. In recent years, it has become common to distribute and store moving images as encoded data of an encoding scheme such as MPEG-1, 2, 4 or the like.
[0003]
In addition to decoding the encoded data with a video device or computer and viewing the moving image, the encoded data is decoded with a mobile terminal (for example, a mobile phone, a PDA (Personal Data Appliance), etc.) A viewing service has also been put to practical use.
[0004]
However, when watching a surveillance video encoded by an encoding method such as MPEG-1, 2, 4 or the like via a network, if the bit rate of the encoded data is high, viewing on a portable terminal becomes difficult. .
[0005]
For this reason, what has become a problem when viewing a moving image on a mobile terminal is a narrow communication band. In order to solve this, a technique for reducing the bit rate of encoded data has been proposed (Patent Document 1).
[0006]
However, when the bit rate is reduced, the image quality of the moving image is significantly deteriorated. Therefore, it is desirable to convert to an encoding method with good image quality even at a low bit rate. Patent Document 2 proposes a technique for converting a moving image encoding method.
[0007]
By such a technique of reducing the bit rate or converting the encoding method, the encoded data can be received in real time by the mobile terminal even when the communication band is narrow, and the moving image can be reproduced without interruption.
[0008]
Moreover, it is not realistic to always monitor using a portable terminal in a remote place. Therefore, Patent Document 3 proposes a method of detecting an abnormality at a monitoring site and encoding and sending it in a data format suitable for a mobile terminal that receives the captured video.
[0009]
[Patent Document 1]
JP 2001-339460 A
[0010]
[Patent Document 2]
JP 2002-185969 A
[0011]
[Patent Document 3]
JP 2002-279558 A
[0012]
[Problems to be solved by the invention]
As described above, when an abnormality is detected, it is useful to immediately report the situation to the mobile terminal with an image, but in general, the screen of the mobile terminal is narrower and the number of pixels is smaller than that of a home television. On the other hand, surveillance video is often required to have the same image quality as home television.
[0013]
Therefore, when encoding is performed in a data format suitable for a mobile terminal, the monitoring target becomes small and difficult to see. In addition, after confirming the contents of the abnormal situation, a higher-definition surveillance video may be required as a post-measure. Further, by storing an event in which an abnormality is detected as metadata together with the encoded video data, it becomes easy to search for a video of an abnormal situation during a subsequent countermeasure. Note that “metadata” is additional information for associating video information and event information, and some of them are standardized by MPEG-7, for example.
[0014]
Therefore, in the present invention, when an abnormality is detected, the mobile terminal is immediately notified with a video, and a video with a higher definition than the video sent to the mobile terminal and a event in which the abnormality is detected are stored as metadata for a subsequent measure. Thus, a moving image conversion device and a monitoring system using the same are provided.
[0015]
[Means for Solving the Problems]
According to the first aspect of the present invention, the data acquired by the image acquisition device capable of acquiring the data including the first encoded data obtained by encoding the moving image by the first encoding method is received from the trigger generation unit under a predetermined condition. A moving image conversion apparatus for providing an image reproduction apparatus capable of reproducing an image by decoding second encoded data encoded by a second encoding method in response to a supplied event trigger, Input means for inputting data including the first encoded data from the acquisition device, separation means for separating the first encoded data from the input data, and the separated first encoded data Decoding means for generating a moving image by decoding, and a process for converting the generated moving image into a moving image having a screen size or a frame rate corresponding to the image reproduction of the image reproducing apparatus. Means, encoding means for encoding the modified moving image by a second encoding method to generate second encoded data, and responding to the input event trigger with the second encoded data. And an output means for outputting to the image reproduction device.
[0016]
The invention according to claim 2 corresponds to a third encoded data generating means for generating third encoded data obtained by thinning a frame from the separated first encoded data, and a time when the event trigger is input. A thumbnail generating unit that generates a thumbnail from the first encoded data; a storage unit that stores the generated third encoded data and the generated thumbnail; and a plurality of the stored thumbnails 2. A selection means for selecting one thumbnail, and a second output means for outputting third encoded data corresponding to the thumbnail selected by the selection means from the storage means. It is a moving image conversion apparatus of description.
[0017]
According to a third aspect of the present invention, the storage unit stores the second encoded data together with the third encoded data and the thumbnail, and the second output unit stores the second encoded data in the thumbnail selected by the selection unit. 3. The moving image conversion apparatus according to claim 2, wherein the second encoded data is output from the storage unit together with the corresponding third encoded data.
[0018]
According to a fourth aspect of the present invention, there is provided a monitoring system using the moving image converting apparatus according to at least one of the first to third aspects, wherein the image reproducing apparatus is a portable terminal. It is.
[0019]
The invention of claim 5 is a monitoring system using the moving image conversion device according to at least one of claims 1 to 3, wherein the image acquisition device is a camera, and the trigger generation device is It is a monitoring system characterized by being a sensor that supplies an event trigger in the event of an abnormality.
[0020]
A sixth aspect of the present invention is a monitoring system using the moving image converting apparatus according to at least one of the first to third aspects, wherein the selection means is a client terminal connected to a network. It is the monitoring system characterized by this.
[0021]
According to a seventh aspect of the present invention, the data acquired by the image acquisition device capable of acquiring the data including the first encoded data obtained by encoding the moving image by the first encoding method is received from the trigger generating unit under a predetermined condition. A moving image conversion method provided to an image reproduction apparatus capable of reproducing an image by decoding second encoded data encoded by a second encoding method in response to a supplied event trigger, An input step in which data including the first encoded data is input from an acquisition device, a separation step in which the first encoded data is separated from the input data, and the separated first encoded data Decoding step of decoding and generating a moving image, and transforming the generated moving image into a moving image having a screen size or a frame rate corresponding to image reproduction of the image reproducing device A transformation step for performing the processing, an encoding step for generating the second encoded data by encoding the modified moving image using the second encoding method, and an event in which the second encoded data is input. And an output step of outputting to the image reproduction device in response to a trigger.
[0022]
In the invention according to claim 8, the data acquired by the image acquisition apparatus capable of acquiring data including the first encoded data obtained by encoding the moving image by the first encoding method is received from the trigger generation unit under a predetermined condition. A computer program capable of realizing a moving image conversion method provided to an image reproduction apparatus capable of reproducing an image by decoding the second encoded data encoded by the second encoding method in response to the supplied event trigger An input function for inputting data including the first encoded data from the image acquisition device, a separation function for separating the first encoded data from the input data, and the separated first A decoding function for decoding one encoded data to generate a moving image, and the generated moving image to a screen size or frame corresponding to the image reproduction of the image reproducing device. A transform function for performing a process of transforming into a moving image of a video, an encoding function for encoding the deformed moving image with a second encoding method to generate second encoded data, and the second An output function for outputting encoded data to the image reproduction apparatus in response to the input event trigger.
[0023]
In the present invention, the second encoded data is distributed to an image reproduction device such as a portable terminal, and the third encoded data for post-processing is stored in the storage means.
[0024]
The third encoded data for post-processing is higher quality than the second encoded data for the mobile terminal, and is a quasi-moving image generated by thinning out the input first encoded data. Further, the event in which the abnormality is detected is stored as metadata associated with the accumulated second encoded data or the third encoded data of the semi-moving image.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
(1) Contents of the monitoring system 310
FIG. 2 is a diagram illustrating a method of using the monitoring system 310 using the transcode server 300 which is a moving image conversion apparatus according to an embodiment of the present invention. FIG. 3 is a diagram illustrating a monitoring system 310 according to an embodiment of the present invention.
[0026]
The monitoring site 201 is provided with a monitoring system 310 and detects an abnormality using the analysis result of the video captured by the camera 301 and the sensor 302. The detected abnormality is supplied to the transcode server 300 as an event trigger.
[0027]
The camera 301 has a built-in function for encoding the shot video into MPEG-1, 2, 4 or motion JPEG with a relatively high image quality, or an MPEG-1, 2, 4 or motion JPEG encoder (not shown). The captured video is compressed to a high image quality and then supplied to the transcode server 300. Here, the DV format used in the digital camcorder is also referred to as motion JPEG hereinafter.
[0028]
Supply of the compressed video to the transcode server 300 may be performed directly from the camera 301 or the encoder, or may be supplied via the network 303 in the monitoring site 201.
[0029]
Note that the above-described analysis of the video captured by the camera 301 may be performed in the camera 301 or may be performed in the transcode server 300 using the video supplied to the transcode server 300.
[0030]
In the transcoder server 300, the video shot before and after the time when the event trigger is supplied is converted into a small screen / low bit rate MPEG-4 suitable for the mobile terminal 202, and then attached to an e-mail. Transmit to the terminal 202.
[0031]
The transmitted mail is supplied to the external network 203 via the network 303 in the monitoring site 201 and delivered to the mobile terminal 202.
[0032]
The viewer can instruct post-processing to the monitoring site 201 after confirming the abnormal condition detected by the mobile terminal 202.
[0033]
(2) Check the status on the mobile terminal 202
FIG. 4 illustrates an example of checking the situation with the mobile terminal 202.
[0034]
When the mail 401 sent by the portable terminal 202 is opened, a video is attached together with a sentence notifying that an abnormality has been detected.
[0035]
When an operation for confirming the content of the attached video is performed on the portable terminal 202, the video 402 before and after the time when the abnormality is detected is reproduced. Here, it is described that the video itself is attached to the mail 401, but the video is stored in a mail server (not shown), and only the pointer is attached to the mail so that the viewer can watch it. In some cases, it is sent to the portable terminal 202 only when desired.
[0036]
In addition, when high-quality monitoring video is stored in the storage device in the transcode server 300, the client terminal 304 connected to the network 303 in the monitoring site 201 is used depending on an instruction from the viewer. Detailed situation can be confirmed.
[0037]
Hereinafter, an embodiment of the transcode server 300 will be described.
[0038]
(3) Contents of transcode server 300
The transcode server 300 according to the first embodiment of the present invention will be described below with reference to the drawings.
[0039]
(3-1) Configuration of transcode server 300
FIG. 1 is a configuration diagram of a transcode server 300 according to the present embodiment.
[0040]
In the transcode server 300, the video input supplied from the camera 301 etc. includes system information (MPEG-2 system etc.), network protocol information (RTP header etc.), etc. in addition to the encoded data of the moving picture. Yes.
[0041]
Therefore, as shown in FIG. 1, a moving image separation unit 101 for separating moving image encoded data from a video input, and a number of frames and image resolution for thinning out the separated moving image encoded data. The moving image thinning unit 102 and the encoded moving image are encoded so that the viewer can view the encoded data of the separated moving images on the mobile terminal, or the moving image can be stored in the transcoding server 300 for a long time. A moving image conversion unit (transcoder) 110 that converts a method, a bit rate, a screen size, and the like, a moving image output unit 106 that transmits encoded data of the converted moving image to a portable terminal, and a converted moving image A moving image storage unit 105 that stores encoded data, encoded data of a moving image thinned out by the moving image thinning unit 102, and readout for reading arbitrary data stored in the moving image storage unit 105 Provided with a control unit 108.
[0042]
The operation of the moving image thinning unit 102, the moving image output unit 106, and the moving image conversion unit (transcoder) 110 is determined based on the profile of the mobile terminal for viewing the video and the event trigger information supplied from the sensor 302 or the like. A transcode control unit 107 for controlling.
[0043]
The moving image conversion unit (transcoder) 110 is modified with a moving image deformation unit 103 that deforms the moving image obtained by decoding the encoded data of the read moving image so that the mobile terminal 202 can easily view the moving image. A moving image encoding unit 104 that encodes the moving image in a format that can be viewed on a user's mobile terminal.
[0044]
In the present embodiment, the audio encoded data is not specifically described, but the encoding method and the bit rate are converted so that the portable terminal 202 can view and the data is easily stored in the transcoding server for a long time. You can also. Further, when only the image is monitored, it is not necessary to use audio data.
[0045]
Each function of each of the units 101 to 110 can be realized by a program stored in the transcode server 300 that is a computer.
[0046]
(3-2) Operation of transcoding server 300
The basic operation of the transcode server 300 is as follows.
[0047]
First, the moving image separation unit 101 separates the encoded data of the moving image from the video input supplied directly from the camera 301 or via the network 303 and the like, and the moving image thinning unit 102 and the moving image deformation unit 103 Supply.
[0048]
The transcode control unit 107 selects the moving image thinning unit 102, the moving image according to the profile of the viewer's mobile terminal 202 (for example, e-mail address, reproducible encoding method, network access method, etc.) and the event trigger. The converter (transcoder) 110 and the moving image output unit 106 are controlled.
[0049]
The reading thinning unit 102 thins out the number of frames of the encoded data of the moving image, and creates an image with the resolution further thinned in response to a request from the transcode control unit 107 and stores it as a thumbnail in the moving image storage unit 105. Here, the “thumbnail” is a still image obtained by reducing a frame at a certain time before and after the occurrence of the event in order to obtain an outline of the contents of the event.
[0050]
The moving image conversion unit (transcoder) 110 decodes the encoded data supplied from the moving image separation unit 101 based on a request from the transcode control unit 107 by the moving image deformation unit 103 and performs deformation processing. The moving image encoding unit 104 performs encoding. And it outputs toward the viewer's portable terminal 202 from the moving image output part 106. FIG.
[0051]
Furthermore, the encoded data encoded by the moving image encoding unit 104 is also stored in the moving image storage unit 105.
[0052]
In response to a request from the client terminal (client PC) 304, the read control unit 108 reads out the encoded data stored in the moving image storage unit 105 and sends it out to the client terminal 304.
[0053]
Note that a plurality of cameras, sensors, and transcode servers may exist in the monitoring system 310. In this case, the moving image storage unit 105 may be shared among the plurality of transcode servers.
[0054]
(3-3) Moving image separation unit 101
The moving image separation unit 101 separates the encoded data of the MPEG-2 moving image from the video input supplied from the camera 301 or the network 303. The separated encoded data is sequentially supplied to the moving image thinning unit 102 and the moving image deforming unit 103.
[0055]
In this embodiment, the video input is assumed to be in the MPEG-2 system. However, if the quality is such that details of the video content can be grasped, other encoding systems (for example, MPEG-1, MPEG-4, H264) are used. Motion JPEG).
[0056]
In addition, the distributed moving image may be encrypted (including scrambled). In this case, the moving image separation unit 101 performs decoding / restoration.
[0057]
(3-4) Moving image thinning unit 102
The moving image thinning unit 102 parses the MPEG-2 encoded data supplied from the moving image separating unit 101 and compresses the intra-frame encoded frame (referred to as an I picture in MPEG-2). As it is extracted and stored in the moving image storage unit 105, a thumbnail corresponding to the event trigger is generated and stored in the moving image storage unit 105.
[0058]
FIG. 5 is a diagram for specifically explaining the operation of the moving image thinning unit 102.
[0059]
For the input video, the MPEG-2 system having a high screen resolution / frame rate / bit rate is used in order to ensure the quality with which the details of the video content can be grasped. In the example of FIG. 5, the screen resolution is 720 × 480 pixels and the frame rate is 30 fps.
[0060]
If the capacity of the moving image storage unit 105 is sufficiently large, it may be stored in the moving image storage unit 105 without performing the above-described frame thinning. However, when the moving image storage unit 105 is shared by a plurality of transcoders or when encoded data of a moving image for a long time is stored, frame thinning is performed.
[0061]
In a standard operation mode, MPEG-2 encoded data includes an I picture once every 15 frames. Therefore, by extracting only the I picture and performing frame thinning, a quasi moving image as shown in FIG. 5 is obtained.
[0062]
Further, the event occurrence time is supplied from the transcode control unit 107 via the line 1071, and the I picture close to the event occurrence time is reduced to, for example, 90 × 60 pixels as shown in FIG. 5 as a thumbnail corresponding to the event. It accumulates in the moving image accumulation unit 105.
[0063]
Here, information that associates the corresponding thumbnail with the I picture that is the source of the thumbnail with respect to the event occurrence time is stored in the moving image storage unit 105 as metadata.
[0064]
(3-5) Moving picture deformation unit 103
The moving image deformation unit 103 includes a decoder 1031 for decoding MPEG-2 and a DSP 1032 for performing deformation on each frame of the moving image.
[0065]
The moving image deforming unit 103 uses the decoder 1031 to decode the encoded data supplied from the moving image separating unit 101. Then, the video obtained by decoding is received from the transcode control unit 107 through the signal line 1072 of the profile of the viewer's mobile terminal 202, and transformed into a screen size or frame rate suitable for the mobile terminal using the DSP 1032. Process. The deformed moving image is supplied to the moving image encoding unit 104.
[0066]
As proposed in Patent Document 2, motion vector information and mode information are also output from the decoder 1031, and the motion vector is transformed according to the profile of the mobile terminal 202 of the viewer using the DSP 1032. You may do it. The deformed motion vector is supplied to the moving image encoding unit 104, and the motion vector detection processing at the time of MPEG-4 encoding can be reduced.
[0067]
The decoder 1031 may be configured as dedicated hardware (semiconductor integrated circuit) or may be realized as software. The DSP 1032 may be processed using a general-purpose CPU.
[0068]
(3-6) Moving picture encoding unit 104
The moving image encoding unit 104 encodes the modified moving image using the MPEG-4 method. In encoding, the bit rate is determined in accordance with the profile of the viewer's mobile terminal 202 received from the transcode control unit 107 via the signal line 1073.
[0069]
In this embodiment, the moving image encoding unit 104 performs encoding using the MPEG-4 system, but performs encoding using other encoding systems (eg, MPEG-1, MPEG-2, H264). You may comprise as follows. Moreover, it may be configured to handle a plurality of encoding methods so that the user can select the encoding method.
[0070]
In the case of supporting a plurality of encoding methods, it is considered that the moving image encoding unit 104 is configured to include a memory and a CPU, and the encoding function is realized by software, so that it is easy to implement.
[0071]
(3-7) Moving image storage unit 105
As illustrated in FIG. 6, the moving image accumulation unit 105 accumulates the metadata 1051, the thumbnail 1052, the quasi moving image 1053, and the encoded data generated by the moving image encoding unit 104.
[0072]
The metadata 1051 associates the event, the thumbnail 1052, the semi-moving image 1053, and the encoded data generated by the moving image encoding unit 104.
[0073]
As an example of association, for event A,
[1] Time: MM minutes SS seconds,
[2] File name of the corresponding thumbnail,
[3] The corresponding semi-video file name,
[4] The file name of the encoded data generated by the corresponding moving image encoding unit 104 can be associated.
[0074]
[3] and [4] are time stamped, and using the time of [1], one frame of the quasi-video at the time corresponding to the event A is extracted as a high-definition still image, or the event A It is possible to reproduce the encoded data generated by the moving image encoding unit 104 from the time corresponding to.
[0075]
(3-8) Moving image output unit 106
As shown in FIG. 7, the moving image output unit 106 includes a ring buffer 1061, and the encoded data generated by the moving image encoding unit 104 is accumulated in the ring buffer 1061 for a certain period of time. The time stamp of the encoded data is associated with the byte position of the ring buffer.
[0076]
Here, when an event occurs, the byte position 1062 on the ring buffer 1061 is specified based on the event occurrence time information supplied from the transcode control unit 107 via the signal line 1074, and the byte position 1062 is stored. The encoded data for a certain period of time 1063 is output to the portable terminal 202. It should be noted that the time 1063 should be determined in accordance with the profile of the portable terminal 202 of the viewer supplied via the signal line 1074.
[0077]
(3-9) Transcode control unit 107
The transcode control unit 107 selects the moving image thinning unit 102 and the moving image conversion according to the profile of the viewer's mobile terminal 202 (for example, an e-mail address, a reproducible encoding method, a network access method, etc.) and an event trigger. Unit (transcoder) 110 and moving image output unit 106 are controlled.
[0078]
Here, the profile of the portable terminal 202 of the viewer may be held in the memory in the transcode control unit 107 or may be given from the outside each time.
[0079]
The moving image thinning unit 102 detects the time when the event trigger is input, and supplies the event occurrence time via the signal line 1071.
[0080]
The moving image transformation unit 103 obtains a screen size and a frame rate suitable for the mobile terminal 202 from the profile of the mobile terminal 202 of the viewer and supplies them through the signal line 1072.
[0081]
A bit rate and an encoding method suitable for the mobile terminal 202 are obtained from the profile of the mobile terminal 202 of the viewer and supplied to the moving image encoding unit 104 via the signal line 1073.
[0082]
For the moving image output unit 106, the reproduction time of the moving image attached to the mail suitable for the portable terminal 202 is obtained from the time when the event trigger is input and the profile of the portable terminal 202 of the viewer, and the signal line Via 1074.
[0083]
(3-10) Read control unit 108
The reading control unit 108 is a device that receives a request from the client PC 304 that is a client terminal, reads out the encoded data of the moving image requested by the user from the moving image storage unit 105, and distributes it to the client PC 304.
[0084]
FIG. 8 is a diagram for explaining an example of a series of operations for distributing and playing back encoded video data stored in the moving image storage unit 105 to the client PC 304 in accordance with a request from the client PC 304. .
[0085]
When a client PC 304 accesses a Web page generated in an HTTP server (not shown) in the transcode server 300, the Web browser 801 is started and a list of thumbnails corresponding to each event is displayed.
[0086]
When an arbitrary thumbnail 802 displayed on the Web browser 801 is clicked, information specifying the thumbnail is sent to the read control unit 108. Here, the click may be either one click or double click.
[0087]
First, the reading control unit 108 refers to the metadata in the moving image storage unit 105 to specify the encoded data file of the moving image corresponding to the thumbnail and the reproduction time thereof.
[0088]
Next, the read control unit 108 reads out the encoded data of the moving image in the moving image storage unit 105 according to the encoded data file of the moving image and the reproduction time thereof, and distributes it to the client PC 304.
[0089]
On the client PC 304, at the same time as clicking an arbitrary thumbnail 802, a moving image viewer 803 for reproducing encoded data of the moving image is activated, and the moving image distributed from the transcode server 300 is reproduced.
[0090]
Further, instead of the encoded data of the moving image, a frame corresponding to the thumbnail of the semi-moving image 1053 may be distributed and displayed on the client PC 304.
[0091]
Here, an example in which encoded data of a moving image is distributed from the transcode server 300 to the client PC 304 is shown. However, the client PC 304 performs remote file reproduction by sharing a file in the moving image storage unit 105. You may do it.
[0092]
(4) Modification
In the moving image conversion unit (transcoder) 110, the encoded data of the converted moving image has a small screen and a low bit rate suitable for viewing on the mobile terminal 202, and during post processing The quality of the moving image viewed on the client PC 304 is low.
[0093]
Therefore, by configuring the moving image conversion unit (transcoder) 110 as shown in FIG. 9, the moving image storage unit 105 has higher quality moving image encoded data than that supplied to the moving image output unit 106. Can be accumulated and used during post-processing.
[0094]
Here, the second DSP 1033 (denoted as DSP 2 in FIG. 9) has the same function as the DSP 1032. However, the second DSP 1033 does not follow the transcode control unit 107 and converts the moving image to a higher resolution and higher frame rate than the DSP 1032.
[0095]
The second moving image encoding unit 1042 (denoted as moving image encoding unit 2 in FIG. 9) may have a different encoding method from the moving image encoding unit 1041, and the encoding bit rate is set to the transcode control unit 107. However, the value may be higher than that of the moving image encoding unit 1041.
[0096]
【The invention's effect】
As described above, according to the present invention, when an abnormality is detected, the mobile terminal is instantly notified with a video, and a higher-definition video and an event in which the abnormality is detected than the video sent to the mobile terminal for a subsequent measure are stored. Saving as data makes it easier to take subsequent measures.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a transcode server according to an embodiment of the present invention.
FIG. 2 is an image diagram illustrating a method of using a monitoring system using a transcode server according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a monitoring system according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of confirming a situation with a mobile terminal.
FIG. 5 is a diagram for specifically explaining the operation of the moving image thinning unit;
6 is a diagram illustrating a configuration of a moving image storage unit 105. FIG.
7 is a diagram illustrating a series of operations of the moving image output unit 106. FIG.
FIG. 8 is a diagram for explaining an example of a series of operations in the read control unit;
FIG. 9 is a diagram illustrating a modification of the moving image conversion unit (transcoder) 110. FIG.
[Explanation of symbols]
101 Video separation unit
102 Moving image thinning part
103 Moving image transformation unit
104 Video encoding unit
105 Moving image storage unit
106 Moving image output unit
107 Transcode controller
108 Read controller
110 Video converter (transcoder)
201 Monitoring site
202 Mobile terminal
203 network
300 transcode server
301 camera
304 Client PC

Claims (8)

動画像を第1の符号化方式で符号化した第1の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第2の符号化方式で符号化した第2の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換装置であって、
前記画像取得装置から前記第1の符号化データを含むデータが入力する入力手段と、
前記入力したデータから前記第1の符号化データを分離する分離手段と、
前記分離された第1の符号化データを復号化して動画像を生成する復号化手段と、
前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、またはフレームレートの動画像へ変形する処理を行う変形手段と、
前記変形された動画像を第2の符号化方式で符号化して第2の符号化データを生成する符号化手段と、
前記第2の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力手段と、
を備える
ことを特徴とする動画像変換装置。
The data acquired by the image acquisition device capable of acquiring data including the first encoded data obtained by encoding the moving image by the first encoding method is responsive to the event trigger supplied under a predetermined condition from the trigger generation means. A moving image conversion apparatus that provides an image reproduction apparatus capable of reproducing an image by decoding the second encoded data encoded by the second encoding method,
Input means for inputting data including the first encoded data from the image acquisition device;
Separating means for separating the first encoded data from the input data;
Decoding means for decoding the separated first encoded data to generate a moving image;
Deformation means for performing a process of transforming the generated moving image into a moving image having a screen size or a frame rate corresponding to image reproduction of the image reproducing device;
Encoding means for encoding the deformed moving image with a second encoding method to generate second encoded data;
Output means for outputting the second encoded data to the image reproduction device in response to the input event trigger;
A moving image conversion apparatus comprising:
前記分離された第1の符号化データからフレームを間引いた第3の符号化データを生成する第3符号化データ生成手段と、
前記イベントトリガーが入力した時刻に対応するサムネールを前記第1の符号化データから生成するサムネール生成手段と、
前記生成された第3の符号化データと前記生成したサムネールとを蓄積する蓄積手段と、
前記蓄積された複数のサムネールの中から一のサムネールを選択する選択手段と、
前記選択手段によって選択されたサムネールに対応する第3符号化データを前記蓄積手段から出力する第2の出力手段と、
を備える
ことを特徴とする請求項1記載の動画像変換装置。
Third encoded data generating means for generating third encoded data obtained by thinning a frame from the separated first encoded data;
Thumbnail generation means for generating a thumbnail corresponding to the time input by the event trigger from the first encoded data;
Storage means for storing the generated third encoded data and the generated thumbnail;
Selecting means for selecting one thumbnail from the plurality of accumulated thumbnails;
Second output means for outputting third encoded data corresponding to the thumbnail selected by the selection means from the storage means;
The moving image conversion apparatus according to claim 1, further comprising:
前記蓄積手段は、前記第3の符号化データと前記サムネールと共に前記第2符号化データも蓄積し、
前記第2の出力手段は、前記選択手段によって選択されたサムネールに対応する第3符号化データと共に前記第2符号化データも前記蓄積手段から出力する
ことを特徴とする請求項2記載の動画像変換装置。
The storage means stores the second encoded data together with the third encoded data and the thumbnail,
3. The moving image according to claim 2, wherein the second output means outputs the second encoded data together with the third encoded data corresponding to the thumbnail selected by the selection means from the storage means. Conversion device.
請求項1から請求項3のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、
前記画像再生装置が携帯端末である
ことを特徴とする監視システム。
A monitoring system using the moving image conversion apparatus according to at least one of claims 1 to 3,
A monitoring system, wherein the image playback device is a portable terminal.
請求項1から請求項3のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、
前記画像取得装置がカメラであり、、
前記トリガー発生装置が、異常時にイベントトリガーを供給するセンサーである
ことを特徴とする監視システム。
A monitoring system using the moving image conversion apparatus according to at least one of claims 1 to 3,
The image acquisition device is a camera;
The monitoring system, wherein the trigger generation device is a sensor that supplies an event trigger when an abnormality occurs.
請求項1から請求項3のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、
前記選択手段が、ネットワークに接続されているクライアント端末である
ことを特徴とする監視システム。
A monitoring system using the moving image conversion apparatus according to at least one of claims 1 to 3,
The monitoring system, wherein the selection means is a client terminal connected to a network.
動画像を第1の符号化方式で符号化した第1の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第2の符号化方式で符号化した第2の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換方法であって、
前記画像取得装置から前記第1の符号化データを含むデータが入力する入力ステップと、
前記入力したデータから前記第1の符号化データを分離する分離ステップと、
前記分離された第1の符号化データを復号化して動画像を生成する復号化ステップと、
前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形ステップと、
前記変形された動画像を第2の符号化方式で符号化して第2の符号化データを生成する符号化ステップと、
前記第2の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力ステップと、
を備える
ことを特徴とする動画像変換方法。
The data acquired by the image acquisition device capable of acquiring data including the first encoded data obtained by encoding the moving image by the first encoding method is responsive to the event trigger supplied under a predetermined condition from the trigger generation means. A moving image conversion method provided to an image reproducing apparatus capable of decoding an image reproduced by decoding the second encoded data encoded by the second encoding method,
An input step in which data including the first encoded data is input from the image acquisition device;
A separation step of separating the first encoded data from the input data;
A decoding step of decoding the separated first encoded data to generate a moving image;
A deformation step of performing a process of transforming the generated moving image into a moving image having a screen size or a frame rate corresponding to image reproduction of the image reproducing device;
An encoding step of generating the second encoded data by encoding the modified moving image using the second encoding method;
An output step of outputting the second encoded data to the image reproduction device in response to the input event trigger;
A moving image conversion method comprising:
動画像を第1の符号化方式で符号化した第1の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第2の符号化方式で符号化した第2の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換方法を実現できるコンピュータのプログラムであって、
前記画像取得装置から前記第1の符号化データを含むデータが入力する入力機能と、
前記入力したデータから前記第1の符号化データを分離する分離機能と、
前記分離された第1の符号化データを復号化して動画像を生成する復号化機能と、
前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形機能と、
前記変形された動画像を第2の符号化方式で符号化して第2の符号化データを生成する符号化機能と、
前記第2の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力機能と、
を実現できる
ことを特徴とする動画像変換方法のプログラム。
The data acquired by the image acquisition device capable of acquiring data including the first encoded data obtained by encoding the moving image by the first encoding method is responsive to the event trigger supplied under a predetermined condition from the trigger generation means. A computer program capable of realizing a moving image conversion method provided to an image reproduction device capable of reproducing an image by decoding the second encoded data encoded by the second encoding method,
An input function for inputting data including the first encoded data from the image acquisition device;
A separation function for separating the first encoded data from the input data;
A decoding function for generating a moving image by decoding the separated first encoded data;
A deformation function for performing processing for transforming the generated moving image into a moving image having a screen size or a frame rate corresponding to image reproduction of the image reproducing device;
An encoding function for generating the second encoded data by encoding the modified moving image using the second encoding method;
An output function for outputting the second encoded data to the image reproduction device in response to the input event trigger;
A program of a moving image conversion method characterized in that can be realized.
JP2003045050A 2003-02-21 2003-02-21 Video conversion device and monitoring system Expired - Lifetime JP3933589B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003045050A JP3933589B2 (en) 2003-02-21 2003-02-21 Video conversion device and monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003045050A JP3933589B2 (en) 2003-02-21 2003-02-21 Video conversion device and monitoring system

Publications (2)

Publication Number Publication Date
JP2004254248A true JP2004254248A (en) 2004-09-09
JP3933589B2 JP3933589B2 (en) 2007-06-20

Family

ID=33027572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003045050A Expired - Lifetime JP3933589B2 (en) 2003-02-21 2003-02-21 Video conversion device and monitoring system

Country Status (1)

Country Link
JP (1) JP3933589B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033608A (en) * 2003-07-08 2005-02-03 Victor Co Of Japan Ltd Video monitor device with e-mail transmitting function
JP2006079559A (en) * 2004-09-13 2006-03-23 Bizmatrix:Kk Remote monitoring method and home server for remote monitoring
JP2006163605A (en) * 2004-12-03 2006-06-22 Hitachi Kokusai Electric Inc Image retrieval and display device and program thereof
JP2006186611A (en) * 2004-12-27 2006-07-13 Toshiba Corp Monitoring system
JP2010087711A (en) * 2008-09-30 2010-04-15 Sanyo Electric Co Ltd Image processor
JP5553950B1 (en) * 2013-11-01 2014-07-23 エヌ・ティ・ティレゾナント・テクノロジー株式会社 Image transmission system
JP2017152804A (en) * 2016-02-22 2017-08-31 株式会社キーエンス Safety scanner, optical safety system and setting support device for safety scanner
WO2017145577A1 (en) * 2016-02-23 2017-08-31 三菱電機株式会社 Video processing device, video processing method, and monitoring system
JP2018129783A (en) * 2017-02-07 2018-08-16 スカイベル テクノロジーズ,インコーポレーテッド Smart household communication system and method
JP2020162039A (en) * 2019-03-27 2020-10-01 日本電気株式会社 Data relay device, data relay method, and program

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033608A (en) * 2003-07-08 2005-02-03 Victor Co Of Japan Ltd Video monitor device with e-mail transmitting function
JP2006079559A (en) * 2004-09-13 2006-03-23 Bizmatrix:Kk Remote monitoring method and home server for remote monitoring
JP4575732B2 (en) * 2004-09-13 2010-11-04 アイホン株式会社 Remote monitoring method and remote monitoring home server
JP2006163605A (en) * 2004-12-03 2006-06-22 Hitachi Kokusai Electric Inc Image retrieval and display device and program thereof
JP2006186611A (en) * 2004-12-27 2006-07-13 Toshiba Corp Monitoring system
JP2010087711A (en) * 2008-09-30 2010-04-15 Sanyo Electric Co Ltd Image processor
JP5553950B1 (en) * 2013-11-01 2014-07-23 エヌ・ティ・ティレゾナント・テクノロジー株式会社 Image transmission system
WO2015063946A1 (en) * 2013-11-01 2015-05-07 エヌ・ティ・ティレゾナント・テクノロジー株式会社 Image transmission system
JP2017152804A (en) * 2016-02-22 2017-08-31 株式会社キーエンス Safety scanner, optical safety system and setting support device for safety scanner
WO2017145577A1 (en) * 2016-02-23 2017-08-31 三菱電機株式会社 Video processing device, video processing method, and monitoring system
JP2018129783A (en) * 2017-02-07 2018-08-16 スカイベル テクノロジーズ,インコーポレーテッド Smart household communication system and method
JP7068789B2 (en) 2017-02-07 2022-05-17 スカイベル テクノロジーズ,インコーポレーテッド Smart home communication systems and methods
JP2020162039A (en) * 2019-03-27 2020-10-01 日本電気株式会社 Data relay device, data relay method, and program
JP7310212B2 (en) 2019-03-27 2023-07-19 日本電気株式会社 Data relay device, data relay method and program

Also Published As

Publication number Publication date
JP3933589B2 (en) 2007-06-20

Similar Documents

Publication Publication Date Title
US8384830B2 (en) Pre-alarm video buffer
JP5444476B2 (en) CONTENT DATA GENERATION DEVICE, CONTENT DATA GENERATION METHOD, COMPUTER PROGRAM, AND RECORDING MEDIUM
US20100272187A1 (en) Efficient video skimmer
US11700419B2 (en) Re-encoding predicted picture frames in live video stream applications
US8854460B2 (en) Image providing apparatus, image displaying apparatus, image transmitting system and image transmitting method using the same
JP2013521717A (en) Enabling delta compression and motion prediction and metadata modification to render images on a remote display
US20150264433A1 (en) Photographing apparatus and method of providing photographed video
JP3933589B2 (en) Video conversion device and monitoring system
KR20150106351A (en) Method and system for playback of motion video
JP2019083555A (en) Information processing apparatus, content request method, and computer program
TWI552605B (en) Systems and methods for presenting media content obtained from multiple sources
CN112235600B (en) Method, device and system for processing video data and video service request
US7929831B2 (en) Video recording
US20110161515A1 (en) Multimedia stream recording method and program product and device for implementing the same
KR100490948B1 (en) Method for transferring image signals and system using the method
JP2004326762A (en) Image distribution system and image distribution method
JP2007324722A (en) Moving picture data distribution apparatus and moving picture data communication system
TWI443534B (en) Video search method and apparatus using motion vectors
JP2007110586A (en) System, server, method and program for distributing video image
WO2017179271A1 (en) Monitor camera system and monitor camera data saving method
JP4612826B2 (en) Storage device, storage method, computer-readable storage medium, and program
US20090213220A1 (en) Active monitoring system with multi-spot image display and a method thereof
JP2004349743A (en) Video stream switching system, method, and video image monitoring and video image distribution system including video stream switching system
TW201824850A (en) Monitoring camera system
JP4902326B2 (en) Video transmission server and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070313

R151 Written notification of patent or utility model registration

Ref document number: 3933589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100330

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140330

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term