JP2008199677A - Video distribution system - Google Patents
Video distribution system Download PDFInfo
- Publication number
- JP2008199677A JP2008199677A JP2008130796A JP2008130796A JP2008199677A JP 2008199677 A JP2008199677 A JP 2008199677A JP 2008130796 A JP2008130796 A JP 2008130796A JP 2008130796 A JP2008130796 A JP 2008130796A JP 2008199677 A JP2008199677 A JP 2008199677A
- Authority
- JP
- Japan
- Prior art keywords
- video
- bit stream
- camera
- terminal
- receiving terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
本発明は、撮影した映像情報をネットワークに配信するカメラ機器及びネットワークから得られる映像情報を表示する受信機からなる映像配信システムとカメラ端末及び受信端末に関する。 The present invention relates to a video distribution system, a camera terminal, and a receiving terminal including a camera device that distributes photographed video information to a network and a receiver that displays video information obtained from the network.
従来、監視カメラシステムなどのように、複数台のカメラから得られた映像情報をネットワーク経由で受け取り、受信機の表示画面に表示するシステムが知られている。そして、映像情報の圧縮技術の進展やネットワークインフラの高速化に伴い、かかるシステムのカメラ部を放送局とし、画面表示部を各家庭の端末とした映像配信システムの構築も可能になってきている。 Conventionally, a system that receives video information obtained from a plurality of cameras via a network and displays it on a display screen of a receiver, such as a surveillance camera system, is known. As video information compression technology advances and network infrastructure speeds up, it is also possible to build a video distribution system in which the camera unit of such a system is a broadcasting station and the screen display unit is a home terminal. .
図15はかかる映像配信システムの一従来例を示すブロック構成図であって、10はカメラ端末、11はカメラ、12はエンコーダ、20は受信端末、21はデコーダ、22はディスプレイ、23はシステムコントローラ、24は切替スイッチ、25は記録媒体(記録再生装置)、30はネットワークである。 FIG. 15 is a block diagram showing a conventional example of such a video distribution system, where 10 is a camera terminal, 11 is a camera, 12 is an encoder, 20 is a receiving terminal, 21 is a decoder, 22 is a display, and 23 is a system controller. , 24 is a changeover switch, 25 is a recording medium (recording / reproducing apparatus), and 30 is a network.
同図において、この従来の映像配信システムは、カメラ端末10と受信端末20とがネットワーク30を介して接続されている。カメラ端末10はカメラ11とエンコーダ12とを有しており、受信端末20はデコーダ21とディスプレイ22とシステムコントローラ23と切替スイッチ24と記録媒体25とを有している。
In the figure, in this conventional video distribution system, a
次に、この従来例の動作について説明する。 Next, the operation of this conventional example will be described.
カメラ端末10においては、カメラ11が撮影を行なって映像信号を生成する。この映像信号はエンコーダ12で情報圧縮処理され、ビットストリームが生成され、このビットストリームがネットワーク30を介して受信端末20に供給される。このように、カメラ端末10はビットストリームを配信するための最小単位となっており、1以上のカメラ端末10がネットワーク30に接続されて夫々からビットストリームが配信されている。
In the
受信端末20では、システムコントローラ23によって各部の制御が行なわれる。この制御のもとに、ネットワーク30を介して送信される所定のカメラ端末10からのビットストリームが選択され、デコーダ21で映像信号にデコードされる。このデコードされた映像信号は、記録媒体25に記録されて保存されるとともに、システムコントローラ23によってa接点側に閉じている切替スイッチ24を介してディスプレイ22に供給され、そこで映像表示が行なわれる。
In the
受信端末20の視聴者が配信された映像を再度視聴したい場合には、視聴者がそのための所定の操作をすることにより、システムコントローラ23は、切替スイッチ24をb接点側に切り替えるとともに、記録媒体25を動作させて映像信号を読み出させ、切替スイッチ24を介してディスプレイ22に供給させる。これにより、記録媒体25に蓄えられた過去の映像信号をディスプレイ22で再生できるようにする。
When the viewer of the
上記の従来例において、視聴者が巻き戻し再生を必要とするのは、ディスプレイ22で映し出された映像に注意を喚起されたためであり、注意を喚起された部分の映像を詳細に見ることを望んでいるからである。このためには、カメラ端末10から詳細な映像を配信することが必要である。しかし、このためには、エンコーダ12側で圧縮率を下げてビット量を増やす必要がある。
In the above-described conventional example, the viewer needs rewind playback because the video displayed on the
ところで、監視カメラシステムを代表例とした映像配信システムでは、定常的に映像を配信することを必要としており、しかも、ネットワーク30には、多数のカメラ端末10が接続されて、それらからの映像信号のビットストリームが常に伝送されている。このため、各カメラ端末10が出力するビットストリームのビット量を増やすと、ネットワーク30で伝送されるビット量がこれに接続されるカメラ端末10の台数に応じて増加する。
By the way, in a video distribution system using a surveillance camera system as a representative example, it is necessary to constantly distribute video, and a large number of
一方、ネットワーク30にも、伝送可能な容量もあり、伝送可能なビット量にも制限がある。このため、各カメラ端末10から低圧縮率で圧縮処理された詳細な(高画質の)映像ビットストリームをネットワーク30を介して常時伝送しようとすると、おのずからこのネットワーク30に接続されるカメラ端末10の台数が制限されるし、また、数多くのカメラ端末10を同じネットワーク30に接続しようとすると、夫々のカメラ端末10での映像信号の圧縮率を高くせざるを得ず、注意を監視する部分を高画質の映像で再度視聴するということもできない。
On the other hand, the
本発明はかかる問題に鑑みてなされたものであって、その目的は、ネットワークでの伝送ビット量を定常的に増加させることなく、再度視聴する同じ部分の映像を高画質で得ることができるようにした映像配信システムとカメラ端末及び受信端末を提供することにある。 The present invention has been made in view of such a problem, and an object of the present invention is to obtain a high-quality image of the same portion to be viewed again without constantly increasing the transmission bit amount in the network. Another object is to provide a video distribution system, a camera terminal, and a receiving terminal.
上記目的を達成するため、本発明は、カメラ端末と受信端末とがネットワークを介して接続され、カメラ端末で撮影映像から生成したビットストリームを該受信端末に配信する映像配信システムであって、カメラ端末は、撮像した映像信号をエンコード処理して、第1のビットストリームとこの第1のビットストリームよりも高画質の映像をなす第2のビットストリームとを生成し、受信端末に、通常、第1のビットストリームを配信するとともに、受信端末からの再送要求に応じて、再送要求があった時点よりも所定時間前の映像からの第2のビットストリームを配信する構成とするものである。 In order to achieve the above object, the present invention provides a video distribution system in which a camera terminal and a receiving terminal are connected via a network, and a bit stream generated from a captured video by the camera terminal is distributed to the receiving terminal. The terminal encodes the captured video signal to generate a first bit stream and a second bit stream that forms a higher quality video than the first bit stream, and usually receives the first bit stream from the receiving terminal. One bit stream is distributed, and in response to a retransmission request from the receiving terminal, a second bit stream from a video that is a predetermined time before the time when the retransmission request is made is distributed.
また、本発明は、同じく映像配信システムであって、ネットワークは、カメラ端末とローカルサーバとの間を接続する上位階層のネットワークと、このローカルサーバと受信端末との間を接続する下位階層のネットワークとからなる階層構造をなしており、カメラ端末は、撮像した映像信号をエンコード処理して、第1のビットストリームとこの第1のビットストリームよりも高画質の映像をなす第2のビットストリームとを生成して、第1,第2のビットストリームを上位階層のネットワークに同時に送信し、受信端末は、ローカルサーバから下位階層のネットワークを介して第1,第2のビットストリームのいずれかが選択的に配信される構成とする。 The present invention is also a video distribution system, and the network includes an upper layer network connecting the camera terminal and the local server, and a lower layer network connecting the local server and the receiving terminal. The camera terminal encodes the captured video signal, and a first bit stream and a second bit stream that forms a higher quality video than the first bit stream, And the first and second bit streams are simultaneously transmitted to the upper layer network, and the receiving terminal selects one of the first and second bit streams from the local server via the lower layer network. The system is configured to be distributed in an automated manner.
さらに、本発明は、複数のカメラ端末がネットワークを介して受信端末に接続され、これらカメラ端末で撮影映像から生成したビットストリームを受信端末に配信する映像配信システムであって、これら複数のカメラ端末は、撮像した映像信号をエンコード処理して、第1のビットストリームとこの第1のビットストリームよりも高画質の映像をなす第2のビットストリームとを生成し、通常、これら複数のカメラ端末で生成された第1のビットストリームを同時に受信端末に配信し、受信端末からこれら複数のカメラ端末のうちの1つが指定されて再送要求があると、指定されたカメラ端末のみが第2のビットストリームを受信端末に配信する構成とする。 Furthermore, the present invention is a video distribution system in which a plurality of camera terminals are connected to a receiving terminal via a network, and a bit stream generated from a captured video by these camera terminals is distributed to the receiving terminal. Encodes the captured video signal to generate a first bit stream and a second bit stream having a higher image quality than the first bit stream. When the generated first bit stream is simultaneously distributed to the receiving terminal and one of the plurality of camera terminals is designated from the receiving terminal and a retransmission request is made, only the designated camera terminal receives the second bit stream. Is distributed to the receiving terminal.
さらに、本発明は、カメラ端末と受信端末とがネットワークを介して接続され、カメラ端末で撮影映像から生成したビットストリームを受信端末に配信する映像配信システムであって、カメラ端末では、受信端末での映像の再生形態に応じた異なる処理方法でエンコードされたn個(但し、nは3以上の整数)のビットストリームが生成され、受信端末からの再生形態を指定した要求により、指定された再生形態に該当するビットストリームを受信端末に配信するものである。 Furthermore, the present invention is a video distribution system in which a camera terminal and a receiving terminal are connected via a network, and a bit stream generated from a captured video by the camera terminal is distributed to the receiving terminal. N bit streams (where n is an integer of 3 or more) encoded by different processing methods according to the video playback mode are generated, and the playback specified by the request specifying the playback mode from the receiving terminal The bit stream corresponding to the form is distributed to the receiving terminal.
上記目的を達成するために、本発明は、ネットワークを介して映像情報を配信するカメラ端末であって、撮影した被写体の映像信号を出力するカメラと、この映像信号をエンコード処理して第1のビットストリームを生成する第1のエンコーダと、この映像信号をエンコード処理してこの第1のビットストリームよりも高画質の映像の第2のビットストリームを生成する第2のエンコーダと、第2のビットストリームを記録し、再生する記録媒体とを備え、第1,第2のビットストリームを配信する映像情報とするものである。 In order to achieve the above object, the present invention provides a camera terminal that distributes video information via a network, a camera that outputs a video signal of a photographed subject, and a first signal obtained by encoding the video signal. A first encoder that generates a bit stream; a second encoder that encodes the video signal to generate a second bit stream of a higher quality video than the first bit stream; and a second bit And a recording medium for recording and reproducing the stream, and the first and second bit streams are used as video information for distribution.
また、本発明は、同じくカメラ端末であって、撮影した被写体の映像信号を出力するカメラと、この映像信号を時分割で第1のエンコード処理と第2のエンコード処理し、第1のビットストリームとこの第1のビットストリームよりも高画質の映像の第2のビットストリームとを生成するプロセッサと、この第2のビットストリームを記録し、再生する記録媒体とを備え、第1,第2のビットストリームを配信する映像情報とするものである。 The present invention is also a camera terminal, which is a camera that outputs a video signal of a photographed subject, and performs a first encoding process and a second encoding process on the video signal in a time-sharing manner, and a first bit stream. And a processor for generating a second bit stream of video having a higher image quality than the first bit stream, and a recording medium for recording and reproducing the second bit stream, the first and second The bit stream is used as video information to be distributed.
さらに、本発明は、同じくカメラ端末であって、撮影した被写体の映像信号を出力するカメラと、この映像信号から1フレーム毎に設定される抽出範囲内の映像部分を抽出し、抽出した該映像部分を1フレーム全体に拡張する信号処理部と、信号処理部の出力映像信号をエンコード処理して第1のビットストリームを生成する第1のエンコーダと、カメラから出力される映像信号をエンコードし、第1のビットストリームムよりも高画質の映像の第2のビットストリームを生成する第2のエンコーダと、第2のビットストリームを記録し、再生する記録媒体とを備え、第1,第2のビットストリームを配信する映像情報とするものである。 Furthermore, the present invention is also a camera terminal that outputs a video signal of a photographed subject, and extracts the video portion within the extraction range set for each frame from the video signal and extracts the video A signal processing unit that expands a portion to one whole frame, a first encoder that encodes an output video signal of the signal processing unit to generate a first bit stream, and a video signal output from the camera, A first encoder that generates a second bit stream of a higher quality video than the first bit stream; and a recording medium that records and reproduces the second bit stream; The bit stream is used as video information to be distributed.
さらに、本発明は、同じくカメラ端末であって、撮影した被写体の映像信号を出力するカメラと、この映像信号をエンコード処理して第1のビットストリームを生成する第1のエンコーダと、この映像信号をエンコード処理してこの第1のビットストリームよりも高画質の映像の第2のビットストリームを生成する第2のエンコーダと、カメラから出力されるこの映像信号に基づく画像認識とカメラに設けられたマイクロホンから出力される音声信号に基づく音声認識との少なくともいずれかを行なう画像/音声認識回路と、この画像/音声認識回路の認識結果に基づいて、第2のビットストリームを記録し、再生する記録媒体とを備え、第1,第2のビットストリームを配信する映像情報とするものである。 Furthermore, the present invention is also a camera terminal, which outputs a video signal of a photographed subject, a first encoder that encodes the video signal to generate a first bit stream, and the video signal And a second encoder for generating a second bit stream of video with higher image quality than the first bit stream by encoding the image, image recognition based on the video signal output from the camera, and a camera An image / voice recognition circuit that performs at least one of voice recognition based on a voice signal output from the microphone, and a recording that records and reproduces the second bit stream based on the recognition result of the image / voice recognition circuit And video information for distributing the first and second bit streams.
さらに、本発明は、同じくカメラ端末であって、撮影した被写体の映像信号を出力するカメラと、この映像信号を互いに異なる処理方法でエンコード処理し、互いに異なる画質のビットストリームを生成するn個(但し、nは3以上の整数)のエンコーダと、最も低画質のビットストリーム以外のビットストリームを記録し、再生する記録媒体とを備え、これらn個のビットストリームを配信する映像情報とするものである。 Furthermore, the present invention is also a camera terminal, which is a camera that outputs a video signal of a photographed subject, and n (which encodes the video signal by different processing methods to generate bit streams having different image quality). However, n is an integer of 3 or more) and a recording medium that records and reproduces a bit stream other than the lowest image quality bit stream, and uses the n bit streams as video information. is there.
さらに、以上のカメラ端末において、生成された上記ビットストリームのいずれか1つを選択して配信する切替スイッチを設け、配信先からの要求に応じて、この切替スイッチを切替制御する構成とするものである。 Further, the above camera terminal is provided with a selector switch that selects and distributes any one of the generated bitstreams, and switches the selector switch in response to a request from the distribution destination. It is.
上記目的を達成するために、本発明は、ネットワークを介して配信された映像のビットストリームを受信する受信端末であって、受信したビットストリームを映像信号にデコードするデコーダと、デコードされたこの映像信号が供給されて映像を表示するディスプレイと、映像の配信元にディスプレイに表示された映像について、高画質映像として再送を要求するためのシステムコントローラとを備えた構成とするものである。 To achieve the above object, the present invention provides a receiving terminal for receiving a bit stream of a video distributed via a network, a decoder for decoding the received bit stream into a video signal, and the decoded video. The display is configured to include a display that displays a video by supplying a signal, and a system controller that requests retransmission of the video displayed on the display as a high-quality video for the video distribution source.
本発明による映像配信システムによると、カメラ端末と受信端末とがネットワークを介して接続され、該カメラ端末で撮影映像から生成したビットストリームを該受信端末に配信する映像配信システムであって、該カメラ端末は、撮像した映像信号をエンコード処理して、第1のビットストリームと該第1のビットストリームよりも高画質の映像をなす第2のビットストリームとを生成し、該受信端末に、通常、該第1のビットストリームを配信するとともに、該受信端末からの再送要求に応じて、該再送要求があった時点よりも所定時間前の映像からの該第2のビットストリームを配信するものであるから、通常時には、必要最低限の画質で受信してビット量を抑制できるし、再送要求したときには、ビット量は多くなるが、必要な時点まで遡って、巻き戻し再生のようにして、高画質の映像が表示され、鮮明な画像が得られることになり、再送するときだけビット量が多くなるだけで、定常的に得るビット量を増やすことなく、鮮明な映像を必要な部分から得ることができる。 According to the video distribution system of the present invention, a camera terminal and a reception terminal are connected via a network, and the video distribution system distributes a bit stream generated from a captured video by the camera terminal to the reception terminal, the camera The terminal encodes the captured video signal to generate a first bit stream and a second bit stream that forms a higher quality video than the first bit stream. The first bit stream is distributed, and in response to a retransmission request from the receiving terminal, the second bit stream from a video that is a predetermined time before the time when the retransmission request is made is distributed. Therefore, it is possible to reduce the amount of bits by receiving with the minimum necessary image quality in normal times, and when requesting retransmission, the amount of bits increases, but it is up to the required time. Going back and rewinding playback, high-quality video is displayed and a clear image can be obtained, and the amount of bits that can be obtained steadily only increases when retransmitting. And a clear image can be obtained from a necessary part.
また、本発明による映像配信システムによると、ネットワークが、カメラ端末とローカルサーバとの間を接続する上位階層のネットワークと、ローカルサーバと受信端末との間を接続する下位階層のネットワークとからなる階層構造をなしており、カメラ端末は、撮像した映像信号をエンコード処理して、第1のビットストリームとこの第1のビットストリームよりも高画質の映像をなす第2のビットストリームとを生成して、これら第1,第2のビットストリームを上位階層のネットワークを介してローカルサーバに同時に送信し、受信端末は、ローカルサーバから下位階層のネットワークを介して第1,第2のビットストリームのいずれかが選択的に配信されるものであるから、高画質の映像のビットストリームの再送要求の負荷を各ローカルサーバに分散し、滞ることなく高画質の映像を配信することが可能となる。 According to the video distribution system of the present invention, the network includes a higher layer network connecting the camera terminal and the local server, and a lower layer network connecting the local server and the receiving terminal. The camera terminal encodes the captured video signal to generate a first bit stream and a second bit stream that forms a higher quality video than the first bit stream. The first and second bitstreams are simultaneously transmitted to the local server via the upper layer network, and the receiving terminal transmits either the first or second bitstream from the local server via the lower layer network. Therefore, the load of resending requests for high-quality video bitstreams is Distributed Karusaba, it becomes possible to deliver high-quality video without stagnation.
さらに、本発明による映像配信システムによると、複数のカメラ端末が、撮像した映像信号をエンコード処理して、第1のビットストリームと該第1のビットストリームよりも高画質の映像をなす第2のビットストリームとを生成し、通常、複数のカメラ端末で生成された第1のビットストリームを同時に受信端末に配信し、受信端末から複数のカメラ端末のうちの1つが指定されて再送要求があると、指定されたカメラ端末のみが第2のビットストリームを受信端末に配信するものであるから、視聴者は複数のカメラから映像を平行して視聴し、そのいずれかのカメラの映像を選択してその高画質ビットストリームの配信を受けることができ、所望とする映像を容易に選択できて、それを高画質で視聴することができる。 Furthermore, according to the video distribution system of the present invention, the plurality of camera terminals encodes the captured video signal to form the first bit stream and the second bit stream having higher image quality than the first bit stream. A first bit stream generated by a plurality of camera terminals is simultaneously distributed to a receiving terminal, and one of the plurality of camera terminals is designated by the receiving terminal and a retransmission request is made. Since only the designated camera terminal delivers the second bit stream to the receiving terminal, the viewer views the video from a plurality of cameras in parallel, and selects the video of one of the cameras. The high-quality bitstream can be received, and a desired video can be easily selected and viewed with high quality.
さらに、本発明による映像配信システムによると、カメラ端末では、受信端末での映像の再生形態に応じた異なる処理方法でエンコードされたn個(但し、nは3以上の整数)のビットストリームが生成され、受信端末からの再生形態を指定した要求により、指定された再生形態に該当するビットストリームを受信端末に配信するものであるから、受信端末側の再送要求に対し、最適なエンコード処理がなされたビットストリームが配信されることになり、いずれの画像再生態様においても、鮮明で高画質の画像再生が得られることになる。 Further, according to the video distribution system of the present invention, the camera terminal generates n bit streams (where n is an integer of 3 or more) encoded by different processing methods according to the video playback mode at the receiving terminal. Since the bit stream corresponding to the designated reproduction format is distributed to the receiving terminal in response to the request designating the reproduction format from the receiving terminal, the optimum encoding process is performed for the retransmission request on the receiving terminal side. Therefore, a clear and high-quality image reproduction can be obtained in any image reproduction mode.
本発明によるカメラ端末によれば、ネットワークを介して映像情報を配信するカメラ端末であって、撮影した被写体の映像信号を出力するカメラと、該映像信号をエンコード処理して第1のビットストリームを生成する第1のエンコーダと、該映像信号をエンコード処理して該第1のビットストリームよりも高画質の映像の第2のビットストリームを生成する第2のエンコーダと、該第2のビットストリームを記録し、再生する記録媒体とを備え、該第1,第2のビットストリームを配信する映像情報とするものであるから、配信先からの要求に応じて、いずれの画質の映像も配信することができるし、定常的にネットワークから得るビット量を増加させることがない。 According to the camera terminal of the present invention, a camera terminal that distributes video information via a network, which outputs a video signal of a photographed subject, encodes the video signal, and outputs a first bit stream. A first encoder for generating, a second encoder for encoding the video signal to generate a second bit stream of video having higher image quality than the first bit stream, and the second bit stream A recording medium for recording and reproduction, and the first and second bitstreams are used as video information to be distributed, so that any image quality video can be distributed in response to a request from a distribution destination. And the amount of bits obtained from the network on a regular basis is not increased.
また、本発明によるカメラ端末によると、撮影した被写体の映像信号を出力するカメラと、この映像信号を時分割で第1のエンコード処理と第2のエンコード処理し、第1のビットストリームと、該第1のビットストリームよりも高画質の映像の第2のビットストリームを生成するプロセッサと、第2のビットストリームを記録し、再生する記録媒体とを備え、該第1,第2のビットストリームを配信する映像情報とするものであるから、カメラ端末部品点数を削減して製造コストを引き下げることが可能になる。 According to the camera terminal of the present invention, the camera that outputs the video signal of the photographed subject, the first encoding process and the second encoding process of the video signal in a time division manner, the first bit stream, A processor that generates a second bit stream of video with higher image quality than the first bit stream, and a recording medium that records and reproduces the second bit stream, the first and second bit streams being Since the video information is distributed, it is possible to reduce the number of camera terminal parts and reduce the manufacturing cost.
さらに、本発明によるカメラ端末によると、撮影した被写体の映像信号を出力するカメラと、この映像信号から1フレーム毎に設定される抽出範囲内の映像部分を抽出し、抽出した該映像部分を1フレーム全体に拡張する信号処理部と、信号処理部の出力映像信号をエンコード処理して第1のビットストリームを生成する第1のエンコーダと、カメラから出力されるこの映像信号をエンコードし、第1のビットストリームムよりも高画質の映像の第2のビットストリームを生成する第2のエンコーダと、第2のビットストリームを記録し、再生する記録媒体とを備え、第1,第2のビットストリームを配信する映像情報とするものであるから、伝送するビット量を削減できて、必要なときに撮影映像を高画質で見ることができる。 Furthermore, according to the camera terminal of the present invention, a camera that outputs a video signal of a photographed subject, a video portion within an extraction range set for each frame is extracted from the video signal, and the extracted video portion is 1 A signal processing unit that extends to the entire frame; a first encoder that encodes the output video signal of the signal processing unit to generate a first bit stream; and the video signal output from the camera is encoded, A first encoder that generates a second bit stream of video with higher image quality than the bit stream of the first bit stream; and a recording medium that records and reproduces the second bit stream. Therefore, the amount of bits to be transmitted can be reduced, and the captured video can be viewed with high image quality when necessary.
さらに、本発明によるカメラ端末によると、撮影した被写体の映像信号を出力するカメラと、この映像信号をエンコード処理して第1のビットストリームを生成する第1のエンコーダと、この映像信号をエンコード処理して該第1のビットストリームよりも高画質の映像の第2のビットストリームを生成する第2のエンコーダと、カメラから出力される映像信号に基づく画像認識とカメラに設けられたマイクロホンから出力される音声信号に基づく音声認識との少なくともいずれかを行なう画像/音声認識回路と、この画像/音声認識回路の認識結果に基づいて、第2のビットストリームを記録し、再生する記録媒体とを備え、第1,第2のビットストリームを配信する映像情報とするものであるから、必要なときにのみ記録媒体での記録が行なわれるので、記録媒体の記録容量を低減できるし、あるいはまた、記録媒体での長時間の記録が可能となる。 Furthermore, according to the camera terminal of the present invention, a camera that outputs a video signal of a photographed subject, a first encoder that encodes the video signal to generate a first bit stream, and encodes the video signal And a second encoder that generates a second bit stream of video with higher image quality than the first bit stream, an image recognition based on a video signal output from the camera, and a microphone provided in the camera. An image / speech recognition circuit that performs at least one of speech recognition based on a sound signal, and a recording medium that records and reproduces the second bitstream based on the recognition result of the image / speech recognition circuit. Since the first and second bit streams are used as video information to be distributed, recording on the recording medium can be performed only when necessary. Since the ropes to be reduced recording capacity of the recording medium, or alternatively, it is possible to lengthen the recording time of the recording medium.
さらに、本発明によるカメラ端末によると、撮影した被写体の映像信号を出力するカメラと、この映像信号を互いに異なる処理方法でエンコード処理し、互いに異なる画質のビットストリームを生成するn個(但し、nは3以上の整数)のエンコーダと、最も低画質の該ビットストリーム以外の該ビットストリームを記録し、再生する記録媒体とを備え、n個のビットストリームを配信する映像情報とするものであるから、配信元が要求する映像の再生態様に最も適した処理方法でエンコードされたビットストリームを配信することが可能となり、再生態様にかかわらず、良好な映像を提供することができる。 Further, according to the camera terminal of the present invention, the camera that outputs the video signal of the photographed subject, and n (however, n) that encode the video signal by different processing methods and generate bit streams of different image quality. Is an integer of 3 or more) and a recording medium that records and reproduces the bitstream other than the bitstream with the lowest image quality, and provides video information for distributing n bitstreams. The bit stream encoded by the processing method most suitable for the video playback mode requested by the distribution source can be distributed, and a good video can be provided regardless of the playback mode.
さらに、本発明による受信端末によれば、ネットワークを介して配信された映像のビットストリームを受信する受信端末であって、受信したビットストリームを映像信号にデコードするデコーダと、デコードされた映像信号が供給されて映像を表示するディスプレイと、映像の配信元にディスプレイに表示された映像について、高画質映像として再送を要求するためのシステムコントローラとを備えたものであるから、必要なときに、高画質の映像の再送を受けることができ、同じ映像を再度高画質で見ることができる。 Furthermore, according to the receiving terminal according to the present invention, the receiving terminal receives a bit stream of a video distributed via a network, the decoder for decoding the received bit stream into a video signal, and the decoded video signal It is equipped with a display that displays the supplied video and a system controller that requests retransmission of the video displayed on the display from the video distribution source as high-quality video. It is possible to receive a re-transmission of high-quality video and view the same video again with high image quality.
以下、本発明の実施形態を図面を用いて説明する。
図1は本発明による映像配信システムとカメラ端末及び受信端末の第1の実施形態を示すブロック図であって、10はカメラ端末、11はカメラ、12a,12bはエンコーダ、13は記録媒体(あるいは記録再生装置:但し、以下では、記録媒体として説明するが、記録再生装置であってもよい)、14は切替スイッチ、20は受信端末、21はデコーダ、22はディスプレイ、23はシステムコントローラ、30はネットワークである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a first embodiment of a video distribution system, a camera terminal and a receiving terminal according to the present invention, wherein 10 is a camera terminal, 11 is a camera, 12a and 12b are encoders, and 13 is a recording medium (or Recording / reproducing apparatus: However, although described below as a recording medium, it may be a recording / reproducing apparatus), 14 is a changeover switch, 20 is a receiving terminal, 21 is a decoder, 22 is a display, 23 is a system controller, 30 Is a network.
同図において、カメラ端末10と受信端末20とがネットワーク30を介して接続され、映像配信システムを構成している。ここでは、カメラ端末10と受信端末20とを夫々1台ずつ示しているが、カメラ端末10,受信端末20は夫々2台以上ネットワーク30に接続されていてもよい。カメラ端末10はカメラ11とエンコーダ12a,12bと切替スイッチ14と記録媒体13とを有しており、受信端末20はデコーダ21とシステムコントローラ23とディスプレイ22を有している。
In the figure, a
次に、この第1の実施形態の動作について説明する。 Next, the operation of the first embodiment will be described.
カメラ端末10においては、カメラ11が撮影を行なって映像信号Aを生成する。この映像信号Aはエンコーダ12aで高圧縮率の、例えば、国際標準のMPEG(Moving Picture Expert Group)に準拠した方式などに基づいて情報圧縮(エンコード)処理され、低ビットレートの、従って、低画質のビットストリーム(以下、低画質ビットストリームという)BLが生成される。また、カメラ11で生成された映像信号Aはエンコーダ12bで低圧縮率の、例えば、MPEGに準拠した方式などに基づいて情報圧縮処理され、高ビットレートの、従って、高画質のビットストリーム(以下、高画質ビットストリームという)BHが生成される。切替スイッチ14は受信端末20のシステムコントローラ23によって切替制御されるが、通常a接点側に閉じている。このため、通常エンコーダ12aから出力される低画質ビットストリームBL が切替スイッチ14を介し、ネットワーク30上を伝送される。
In the
また、エンコーダ12bから出力される高画質ビットストリームBHは、記録媒体13に常時供給されて記録される。この記録媒体13は、例えば、半導体メモリであって、記録と同時に再生もできるものである。つまり、エンコーダ12bから供給されるこの高画質ビットストリームBHを順次記録するとともに、この記録時点よりも所定の時間Tだけ前に記録された部分を再生する。従って、記録媒体13からは高画質ビットストリームBHが所定の時間Tだけ遅延されて再生される。記録媒体13からの再生高画質ビットストリームBH'は切替スイッチ14のb接点に供給されるが、通常切替スイッチ14はa接点側に閉じているので、この再生高画質ビットストリームBH'はネットワーク30に供給されない。
The high-quality bit stream B H output from the
なお、記録媒体13を半導体メモリとした場合、先頭アドレスから記録をしていくが、所定の時間T分の記録がなされると、その記録容量分の記録がなされたことになって、先頭アドレスから再び記録が行なわれることになり、既に記録されている内容が書き替えられることになる。また、この記録よりも所定の時間Tだけ遅れて再生がなされる。このようにして、記録と再生とが同時に行なわれることにより、常時記録が行なわれて所定の時間Tだけ遅延された高画質のビットストリームが再生されることになる。この場合、記録媒体13は所定の時間Tよりも若干長い時間高画質ビットストリームを記録できる容量のメモリでよい。この所定の時間Tとしては、適宜任意に設定することができるが、この実施形態を監視カメラシステムに適用する場合には、注意を喚起させる場面よりもある程度前に遡った場面から高画質映像が見られるような時間にする必要がある。このことは、後述する他の実施形態においても、同様である。
In the case where the
また、ビットストリームBL,BHがMPEGに準拠した方式でエンコードされる場合には、再送要求に対する高画質ビットストリームBH'の配信は、フレーム内符号化されてフレームから、あるいはその直前から開始されることになる。 In addition, when the bit streams B L and B H are encoded by a method compliant with MPEG, the delivery of the high-quality bit stream B H ′ in response to the retransmission request is performed from the frame after the intra-frame encoding or from immediately before. Will be started.
このようにして、カメラ11から出力される映像信号Aは、低画質ビットストリームBL として、ネットワーク30から受信端末20に配信される。
In this way, the video signal A output from the
受信端末20では、ネットワーク30を介して配信されるビットストリームが受信され、デコーダ21でもとの映像信号にデコードされてディスプレイ22に供給される。これにより、配信された映像がディスプレイ22で表示される。
In the receiving
かかる表示状態で視聴者の注意を喚起する場面が表示され、視聴者が再度この場面をみたい場合、視聴者が受信端末20側のリモコンや操作部などで所定の操作(これを、以下、再送の操作という)をすると、システムコントローラ23が切替制御信号Cを発生し、ネットワーク30を介してカメラ端末10に送信する。これを受信したカメラ端末10では、この切替制御信号Cによって切替スイッチ14が制御され、a接点からb接点に切り替わる。これにより、記録媒体13の再生高画質ビットストリームBH'が切替スイッチ14とネットワーク30を介して受信端末20に配信(再送)される。これにより、この再生高画質ビットストリームBH'がデコーダ21で高品質の映像信号にデコードされ、ディスプレイ22に供給されて高画質の映像が表示される。
In such a display state, a scene that alerts the viewer is displayed, and when the viewer wants to view this scene again, the viewer performs a predetermined operation (hereinafter referred to as retransmission) with the remote control or operation unit on the receiving
ここで、記録媒体13の再生高画質ビットストリームBH'は、エンコーダ12aから出力されて配信されていた低画質ビットストリームBLよりも上記の所定の時間Tだけ遅延されたビットストリームであるから、受信端末20でのディスプレイ22では、現時点よりも所定時間Tだけ遡った時点からの高画質の映像が表示開始される。即ち、記録再生装置からの巻き戻し再生と同様の効果が高画質の映像でもって得られることになって、これにより、上記の視聴者の注意を喚起した場面が再度高画質で見ることができる。このとき、切替スイッチ14がb接点側に切り替わっているので、エンコーダ12aからの低画質ビットストリームBLはネットワーク30で伝送されない。
Here, the reproduction high-quality bit stream B H ′ of the
なお、(イ)ビットストリームBH'が上記の所定の時間T以上の或る設定時間T’だけ受信端末20に配信されると、切替スイッチ14は自動的にa接点側に切り替わり、低画質ビットストリームBLの配信に戻るようにしてもよいし、(ロ)受信端末20側で低画質ビットストリームBLの配信を要求しない限り(即ち、切換制御信号がシステムコントローラ23から送信されない限り)、そのまま高画質ビットストリームBH'が配信続けるようにしてもよい。
(A) When the bit stream B H ′ is delivered to the receiving
低画質ビットストリームBLによる映像が表示されていて、注意を喚起する場面(シーン)が表示され出したときには、通常視聴者は、この場面を一通り見てから、再度この場面を見たいと思うものである。このような場合には、この場面を一通り見てからカメラ端末に再送を要求するものである。このような再送要求に対し、上記(イ),(ロ)のいずれの場合も、再送された高画質ビットストリームBH'による高画質映像の表示は、少なくとも一通り見た上記の場面の少なくとも先頭から開始さればならず、上記の所定の時間Tとしては、この場面の先頭まで遡れる時間以上に設定しなければならない。例えば、視聴者がこのような場面を一通り見たと認識する時間を2〜3分程度とすると、所定の時間Tとしてはかかる時間以上に設定すればよい。 When a video with low-quality bitstream BL is displayed and a scene (scene) that calls attention is displayed, the normal viewer wants to see this scene again after looking through this scene. It is what you think. In such a case, the camera terminal is requested to retransmit after viewing this scene. In response to such a re-transmission request, in any of the cases (a) and (b), the display of the high-quality video by the re-transmitted high-quality bit stream B H ′ is at least one of the above scenes viewed at least. It must be started from the beginning, and the predetermined time T must be set to be longer than the time that can be traced back to the beginning of this scene. For example, if the time for which the viewer recognizes such a scene as a whole is about 2 to 3 minutes, the predetermined time T may be set longer than the time required.
また、上記(イ)の場合の高画質ビットストリームBH'による高画質映像の表示期間(上記設定時間T’)としては、通常視聴者が要求する任意の時間に適宜設定可能である。また、上記(ロ)の場合には、視聴者は満足するまで高画質の映像を見続けることができる。 Further, the display period (the set time T ′) of the high-quality video by the high-quality bitstream B H ′ in the case (b) can be appropriately set to an arbitrary time required by the normal viewer. In the case of (b) above, the viewer can continue to watch high-quality video until they are satisfied.
以上のことは、後述の実施形態についても、同様である。 The same applies to the embodiments described later.
図2は以上の動作を示すタイミング図であって、同図(a)はカメラ端末10での低画質ビットストリームBLと高画質ビットストリームBLのタイミングを示し、同図(b)は受信端末20での低画質ビットストリームBLによる低画質映像の表示タイミングと高画質ビットストリームBHによる高画質映像の表示タイミングとを示す。
Figure 2 is a timing diagram illustrating the above operations, the (a) shows the timing of the low quality bitstream B L and quality bitstream B L in the
同図において、受信端末20でカメラ端末10からの配信を受けるように操作した時刻をt1とすると、受信端末20では、低画質ストリームBLが受信されてデコーダ21で映像信号にデコードされ、時刻t2から低画質の映像がディスプレイ22で表示し始める。その後、この映像で時刻t’に視聴者が注意を喚起される場面があり、これを再度見たいために視聴者が時刻t3に高画質の映像再生のための操作をすると、システムコントローラ23からネットワーク30を介してカメラ端末10に切替制御信号が送られ、カメラ端末10では、切替スイッチ14がb接点側に切り替わり、記録媒体13から時刻t1から記録された高画質ビットストリームBHが再生されて、切替スイッチ14とネットワーク30とを介して受信端末20に配信される。受信端末20では、この高画質ビットストリームBHがデコーダ21で高画質の映像信号にデコードされ、時刻t4からディスプレイ22に時刻t1からの高画質の映像信号が供給されて映像再生が行なわれる。
In the figure, when the time at which the receiving
なお、エンコーダ12bから時刻t1に出力されて記録媒体13に記録される部分は、これより上記の所定の時間Tだけ遅れて記録媒体13から再生される。従って、図2に示す高画質ビットストリームBHはこのエンコーダ12bから出力される高画質ビットストリームBH を示すものであって、その時刻t1の部分は、これより所定の時間Tだけ遅れて受信端末20に配信される。
The portion to be recorded on the
また、低画質ビットストリームBLの時刻t1の部分がディスプレイ22で表示開始されるまでの時間t12(=t2−t1)が、高画質ビットストリームBHの時刻t1の部分が配信開始(時刻t3)されてからディスプレイ22で表示開始(時刻t4)されるまでの時間t34(=t4−t3)よりも長いのは、低画質ビットストリームBL の方が、より情報圧縮されているため、もとの映像信号にデコードするのに時間が掛かるためである。 The time until time t 1 of the portion of the low-quality bit stream B L is initiated displayed on the display 22 t 12 (= t 2 -t 1) is the time t 1 of a portion of the high quality bit stream B H The time t 34 (= t 4 −t 3 ) from the start of distribution (time t 3 ) to the start of display on the display 22 (time t 4 ) is longer for the low-quality bitstream BL . This is because since the information is further compressed, it takes time to decode the original video signal.
以上、この第1の実施形態によれば、カメラ端末10は、視聴者が配信された映像に対して注意を喚起されて再度見直したいときに限って、高画質の映像を配信する。通常時には、必要最低限の画質のビットレートを持つ低画質ビットストリームBLを伝送し、システムコントローラ23からの要求時のみ、高画質ビットストリームBHを伝送することにより、定常的にネットワーク30が伝送するビット量を削減することが可能になる。また、高画質ビットストリームBHを再送したときには、図15に示した従来の技術に比べて、詳細な(即ち、高画質の)映像信号を得ることが可能になる。
As described above, according to the first embodiment, the
この第1の実施形態では、説明の簡略化のため、ネットワーク30に接続するカメラ端末を1台としたが、ネットワーク30がビットストリームを伝送可能な範囲内でカメラ端末を増やし、受信端末で複数の画面を視聴できるようにしてもよい。例えば、多数のカメラによる監視を目的とした場合、通常時には、多数のカメラ端末を接続し、各カメラ端末が出力する画質を下げることにより、ネットワーク30が伝送するビットレートを抑える。しかし、視聴者が注意を喚起される異常発生時には、他のカメラ端末の低画質ビットストリームを抑制もしくは排除して、着目したカメラ端末の映像のみ高画質ビットストリームとして配信し、これを受信端末で再度詳細に視聴することが可能になる。通常時には、必要最低限の低画質ビットレートでよいため、ネットワーク30の最大伝送容量を変えること、なくカメラ端末の台数を増加させることが可能であり、異常発生時には、カメラ端末をその以上発生のものに限定して視聴することにより、詳細な映像を得ることが可能になる。
In the first embodiment, for simplicity of explanation, one camera terminal is connected to the
また、例えば、この第1の実施形態をテレビ放送を目的とした場合、ネットワーク30で伝送可能な単位時間当りのデータ量は有限であるため、放送局は、視聴したデータ量に応じて、課金をなしもしくはCMを挿入することが想定される。視聴者は、通常時には、低画質ビットストリームによる視聴を行ない、視聴時の必要に応じて高画質ビットストリームを要求することにより、効率的にテレビ放送を視聴することが可能になる。
Further, for example, when the first embodiment is intended for television broadcasting, the amount of data per unit time that can be transmitted through the
なお、以上の説明では、記録媒体13から再生されて配信される高画質の映像は、ディスプレイ22で1度しか見ることができないが、受信端末20として、図15に示した従来の受信端末20のように、システムコントローラ23で制御される記録媒体25や切替スイッチ24を設け、デコーダ21でデコードした高画質の映像信号をディスプレイ22で表示するとともに、この記録媒体25に記録し、必要なときにこの記録媒体25からこの高画質の映像信号を再生して、切替スイッチ24を介して、ディスプレイ22に供給できるようにしてもよい。このことは、後述する他の実施形態についても同様である。
In the above description, the high-quality video reproduced and distributed from the
また、図1における記録媒体13を半導体メモリとしたが、記録再生可能なディスクや磁気テープなどの記録媒体であってもよい。この場合には、システムコントローラ23から切替制御信号Cが供給されると、記録媒体も制御されて記録モードから再生モードに切り替えられ、その切替時点よりも所定の時間Tだけ前に記録されたところから高画質ビットストリームBH を再生開始するようにする。このことも、後述する他の実施形態についても同様である。
Further, although the
図3は本発明による映像配信システムとカメラ端末及び受信端末の第2の実施形態を示すブロック図であって、10a,10bはカメラ端末、20a,20b,20cは受信端末、30〜32はネットワーク、40,41はローカルサーバであり、図1に対応する部分には同一符号を付けて重複する説明を省略する。 FIG. 3 is a block diagram showing a second embodiment of the video distribution system, camera terminal and receiving terminal according to the present invention, wherein 10a and 10b are camera terminals, 20a, 20b and 20c are receiving terminals, and 30 to 32 are networks. , 40 and 41 are local servers, and parts corresponding to those in FIG.
同図において、この実施形態では、ネットワーク30を上位階層とし、ネットワーク31,32を下位階層として、ネットワークを階層的に構成しており、ネットワーク30は上位階層の大容量のネットワークである。複数のカメラ端末10a,10bはこの上位階層のネットワーク30を介して複数のローカルサーバ40,41と接続されている。下位階層のネットワーク31はローカルサーバ40と受信端末20aとの間を接続しており、下位階層のネットワーク32はローカルサーバ41と受信端末20b,20cとの間を接続している。
In this figure, in this embodiment, the
カメラ端末10a,10bは、図1におけるカメラ端末10とはその切換スイッチ14が設けられていないことだけが構成が異なるものであり、従って、いずれのカメラ端末10a,10bも、エンコーダ12から出力される低画質ビットストリームBLと記録媒体13で遅延された高画質ビットストリームBH’とを常時ネットワーク30を介してローカルサーバ40,41に送信する。従って、ローカルサーバ40,41には、ネットワーク30に接続された全てのカメラ端末からの低画質ビットストリームと遅延された高画質ビットストリームとが格納されることになる。
The
一方、ローカルサーバ31に接続されている受信端末20aも、また、ローカルサーバ32に接続されている受信端末20b,20cも、図1に示した受信端末20と同じ構成をなしており、通常はローカルサーバ40,41からネットワーク31,32を介して低画質ビットストリームが配信されるが、ディスプレイ22で表示される低画質ビットストリームによる映像を見て視聴者にとって注意を喚起する場面があり、その場面の再送を要求するための所定の操作が視聴者によって行なわれると、システムコントローラ23から再送要求信号が形成されて出力され、ネットワーク31,32を介してローカルサーバ40,41に送信される。ローカルサーバ40,41は、この再送要求信号を受信すると、これまで送信していた低画質ビットストリームに対応する遅延された高画質ビットストリームを、低画質ビットストリームに代えて、ネットワーク31,32を介して受信端末20aや受信端末20b,20cに配信する。
On the other hand, the receiving terminal 20a connected to the
このように、上位階層のネットワーク30では、各カメラ端末からの低画質ビットストリームBLと高画質ビットストリームBH'とが同時に伝送されるが、下位階層ネットワーク31,32では、低画質ビットストリームBLと高画質ビットストリームBH'とのいずれか一方しか伝送されない。
In this way, in the
このようにして、夫々の受信端末20a〜20cでは、再送要求をすると、注意を喚起する場面を再度高画質の映像でみることができるし、また、ローカルサーバ40,41には夫々、同じカメラ端末10a,10bからの低画質ビットストリームと遅延された高画質ビットストリームとが格納されるから、夫々の受信端末20a〜20cがこれらカメラ端末10a,10bからの映像を取得することができると、また、同じカメラ端末10aまたは10bからの映像を同時に取得することもできる。
In this way, in each of the
以上のように、この第2の実施形態においては、図1に示した第1の実施形態同様、通常時には、低ビットレートの低画質ビットストリームを伝送し、視聴者が配信された同じ映像を再度見るときには、高ビットレートの高画質ビットストリームが再送されるので、高画質の映像を得ることが可能である。 As described above, in the second embodiment, similarly to the first embodiment shown in FIG. 1, the low-quality bit stream with a low bit rate is normally transmitted and the same video distributed by the viewer is displayed. When viewing again, a high-quality bit stream with a high bit rate is retransmitted, so that a high-quality video can be obtained.
また、全ての受信端末から1つのカメラ端末に対して高画質ビットストリームの再送要求が出ても、カメラ端末は各ローカルサーバに対してこれを伝送すればよいため、ネットワーク30の単位時間当たりの最大伝送容量を超えることがない。 In addition, even if a retransmission request for a high-quality bitstream is issued from all receiving terminals to one camera terminal, the camera terminal only needs to transmit this to each local server. The maximum transmission capacity is not exceeded.
また、例えば、この第2の実施形態をテレビ放送を目的とする場合、視聴者が1つのカメラ端末に集中して高画質ビットストリームを要求することが予想されるが、ネットワークを上位階層のネットワーク30と下位階層のネットワーク31,32とに階層化することにより、このカメラ端末内の記録媒体13に対する伝送の負荷を軽減し、受信端末へ連続して高画質ビットストリームを伝送することが可能となる。
Also, for example, when the second embodiment is intended for television broadcasting, it is expected that viewers concentrate on one camera terminal and request a high-quality bitstream. By layering the
図4は本発明による映像配信システムとカメラ端末及び受信端末の第3の実施形態を示すブロック図であって、15はプロセッサ、16はメモリ、16aはエンコードプログラム、16bはエンコードプログラムであり、図1に対応する部分には同一符号を付けて重複する説明を省略する。 FIG. 4 is a block diagram showing a third embodiment of a video distribution system, a camera terminal, and a receiving terminal according to the present invention, in which 15 is a processor, 16 is a memory, 16a is an encoding program, and 16b is an encoding program. Parts corresponding to 1 are assigned the same reference numerals and redundant description is omitted.
同図において、プロセッサ15は、メモリ16に格納されているエンコードプログラム16a,16bを実行することにより、カメラ端末10から出力される映像信号Aをエンコード処理する。ここで、エンコードプログラム16aは、図1でのエンコーダ12aと同等の処理をプロセッサ15で行なわせるものであり、エンコードプログラム16bは、図1でのエンコーダ12bと同等の処理をプロセッサ15で行なわせるものである。これにより、プロセッサ15では、低画質ビットストリームBLと高画質ビットストリームBHとが生成され、低画質ビットストリームBL は切換スイッチ14に供給され、高画質ビットストリームBHは記録媒体13に供給されて記録される。
In the figure, the
図5は図4におけるプロセッサ15の処理動作の一具体例を示すタイミング図であって、横軸を時間軸とし、時間ta+tbをカメラ11の1フレーム期間としている。
FIG. 5 is a timing diagram showing a specific example of the processing operation of the
カメラ11が1フレームの映像信号A(図4)を出力する期間(1フレーム期間)毎に、プロセッサ15は、エンコードプログラム16a,16bを時分割に実行するものであって、例えば、1フレーム期間の前期間taにエンコードプログラム16aを実行して低画質ビットストリームBLを生成し、この同じフレーム期間の後期間tbにエンコードプログラム16bを実行して高画質ビットストリームBH を生成する。
For each period (one frame period) in which the
ここで、プロセッサ15はフレームメモリを備えており、カメラ11から供給される映像信号Aは一旦フレームメモリに格納され、まず、このフレームメモリから高速に読み出されて、エンコードプログラム16aにより、期間ta内でエンコード処理されて低画質ビットストリームBLが生成され、次に、再びこのフレームメモリから高速に読み出されて、エンコードプログラム16bにより、期間tb内でエンコード処理されて高画質ビットストリームBHが生成される。これら生成された低画質ビットストリームBLと高画質ビットストリームBHとは一旦別のフレームメモリに記録され、これらから夫々1フレーム期間の時間長となるように読み出されてプロセッサ15から出力される。
Here, the
このようにして、この第3の実施形態では、プロセッサ15が時分割でエンコード処理を行なうことにより、カメラ端末10を構成する部品点数を増やすことなく、異なる圧縮率のエンコード処理を行なうことができ、また、受信端末20の要求に応じて高画質のビットストリームを再送することができる。また、部品点数の削減により、カメラ端末10の軽量化や製造工程の削減が可能になる。
As described above, in the third embodiment, the
なお、図3に示した第2の実施形態においても、この第3の実施形態を適用可能であることはいうまでもない。 Needless to say, this third embodiment can also be applied to the second embodiment shown in FIG.
次に、本発明による映像配信システムとカメラ端末及び受信端末の第4の実施形態について説明する。
この第4の実施形態の構成は、先の実施形態と同じであるが、以下では、図1に示した第1の実施形態の構成でもって説明する。
Next, a fourth embodiment of the video distribution system, camera terminal, and receiving terminal according to the present invention will be described.
The configuration of the fourth embodiment is the same as that of the previous embodiment, but will be described below with the configuration of the first embodiment shown in FIG.
図1において、この第4の実施形態は、記録装置13からの静止画像の再送も可能とするものである。このため、エンコーダ12bは、カメラ11からの映像信号Aを各フレーム毎に可逆の圧縮(例えば、フレーム内符号化)を行なうものである。
In FIG. 1, the fourth embodiment also enables retransmission of a still image from the
受信端末20側で視聴者が再送の操作を行なうと、図1に示した第1の実施形態と同様、システムコントローラ23からの切換制御信号により、カメラ端末10において、切換スイッチ14がb接点側に切り替わり、記録媒体13から高画質ビットストリームBH'が受信端末20に再送され、ディスプレイ22に高画質の映像が表示されるが、視聴者が静止画再生の指示操作をすると、その指示制御信号がシステムコントローラ23からカメラ端末10に供給され、記録媒体13が制御されてその時点での1フレームの高画質ビットストリームが繰り返し読み出されて受信端末20に配信される。これにより、受信端末20のディスプレイ22では、1フレームの高画質ビットストリームの繰り返しにより、静止画像が表示される。
When the viewer performs a retransmission operation on the receiving
あるいは、受信端末20には、図15に示すような記録媒体25またはフレームメモリなどの記録媒体や切替スイッチ24が設けられており、この記録媒体にも高画質ビットストリームBH'が順次記録され、上記の静止画再生の指示とともに、この時点に記録された1フレームの高画質ビットストリームをこの記録媒体から繰り返し再生してディスプレイ22に供給するようにしてもよい。
Alternatively, the receiving
ところで、MPEG方式に代表される映像圧縮方式は、映像信号の前後のフレームで相関が高いことから、大半のフレームで動き補償によるフレーム間符号化が行なわれている。動き補償によるフレーム間符号化が行なわれたフレームは、圧縮率向上のために、フレーム内符号化が行なわれたフレームに比べて、画質が低下するのが一般的である。このため、動き補償によるフレーム間符号化が行なわれたフレームで一時停止を行ない、静止画像を要求すると、ディスプレイ22には、画質の悪い映像がそのまま停止して表示されることになる。
By the way, since the video compression system represented by the MPEG system has a high correlation between frames before and after the video signal, interframe coding by motion compensation is performed in most frames. In general, a frame subjected to interframe coding by motion compensation has a lower image quality than a frame subjected to intraframe coding in order to improve the compression rate. For this reason, when a pause is made at a frame that has been subjected to interframe coding by motion compensation and a still image is requested, a video with poor image quality is stopped and displayed on the
しかし、この第4の実施形態では、高画質ビットストリームは可逆の圧縮処理がなされているので、視聴者は配信された高画質の画像を一時停止で表示させたときも、受信端末20でのデコーダ21で高画質ビットストリームBH'が高画質を保ったまま映像信号にデコードされるから、画質劣化を伴わない高画質の静止画が得られることになる。
However, in the fourth embodiment, since the high-quality bitstream is subjected to a reversible compression process, even when the viewer temporarily displays the delivered high-quality image, Since the
次に、本発明による映像配信システムとカメラ端末及び受信端末の第5の実施形態について説明する。
この第5の実施形態の構成は、先の実施形態と同じであるが、高画質のスローモーション画像(以下、スロー画像という)も得られるようにしたものであり、以下、図1に示す構成を例にして説明する。
Next, a fifth embodiment of the video distribution system, camera terminal, and receiving terminal according to the present invention will be described.
The configuration of the fifth embodiment is the same as that of the previous embodiment. However, a high-quality slow motion image (hereinafter referred to as a slow image) is also obtained. The configuration shown in FIG. Will be described as an example.
以下、図6により、この第5の実施形態の動作について説明するが、同図(a)は図1でのエンコーダ12aが符号化処理するフレームを、同図(b)は図1でのエンコーダ12bが符号化処理するフレームを夫々示し、同図(c)は受信端末20内のディスプレイ22に表示される映像のフレームを示すものである。
Hereinafter, the operation of the fifth embodiment will be described with reference to FIG. 6. FIG. 6A shows a frame to be encoded by the
図1において、エンコーダ12aは、図6(a)に示すように、1フレーム期間毎にフレーム1,フレーム2,フレーム3,……の順で1フレームずつ低画質ビットストリームBLを出力する。
In FIG. 1, an
また、エンコーダ12bは、図6(b)に示すように、スロー画像も可能なように、カメラから受け取る高いフレームレートの映像信号をエンコードする。ここで、図6(b)において、フレーム1.5はフレーム1とフレーム2との中間の時間のフレームであり、フレーム2.5はフレーム2とフレーム3との中間の時間のフレームであって、以下、同様である。ここでは、2倍のスロー画像が得られるようにするものとして、各フレーム1,フレーム1.5,フレーム2,フレーム2.5,……は夫々1/2フレーム時間長に時間圧縮されたフレームの高画質ビットストリームBHであり、これがエンコーダ12bから出力されて記録媒体13に記録される。
Further, as shown in FIG. 6B, the
なお、一般に、n(但し、nは2以上の整数)のスロー画像が得られるようにするためには、カメラ11からの映像信号Aでのフレーム間毎に、(n−1)個の一方のフレームから他方のフレームへと順次内容が変化するフレームが間挿される。
In general, in order to obtain n (where n is an integer of 2 or more) slow images, (n−1) one of the frames in the video signal A from the
記録媒体13からは、フレーム周期で、各フレームの高画質ビットストリームBH'が再生される。受信端末20では、記録媒体13からの再送として、通常の画像とともに、スロー画像(図6(b)の高画質ビットストリームBHの場合、2倍のスロー画像)の再生も要求することができる。
From the
そこで、いま、図6(c)に示すように、ディスプレイ22で図6(a)に示す低画質ビットストリームBLが配信されて画像表示される「(1)通常再生」の状態にあるとき、受信端末20側でスロー再生の要求があると、上記のようにして切替スイッチ14がb接点側に切り替わり、図6(b)に示すように各フレームが1/2フレーム周期で記録媒体13に記録された高画質ビットストリームBLが各フレームが1フレーム周期の高画質ビットストリームBH’として再生され、切替スイッチ14からネットワーク30を介して受信端末20に再送される。これにより、ディスプレイ22では、図6(c)に示すように、時刻tsから1フレーム時間長のフレームがフレーム0.5,フレーム1,フレーム1.5,フレーム2,……の順で表示されることになり、2倍の高画質スロー再生の「(2)スロー再生」状態となる。
Therefore, as shown in FIG. 6C, when the low-quality bit stream BL shown in FIG. 6A is distributed and displayed on the
なお、受信端末20では、通常の高画質ビットストリームの再送も要求することができる。この場合には、この要求に応じて、記録媒体13からは、1つおきのフレームの高画質ビットストリームがフレーム1,フレーム2,フレーム3,……の順で読み出され、受信端末20に配信される。
Note that the receiving
以上のように、この第5の実施形態では、配信された画像に対し、スロー再生を選択したときのみ、フレームレートを上げて映像を観察することが可能になる。視聴者がスロー再生を必要とするのは、映像がすばやく変化するときである。エンコーダ12bは、常時高フレームレートでエンコードしているので、エンコーダ12aからの出力からは見られないフレーム間(図6(c)でのd,e,fとして示すフレーム0.5,フレーム1.5,フレーム2.5)の動きを詳細に見ることが可能になり、詳細な動きを観察することができる。
As described above, in the fifth embodiment, it is possible to increase the frame rate and observe the video only when the slow reproduction is selected for the distributed image. The viewer needs slow playback when the video changes quickly. Since the
なお、この第5の実施形態では、スロー再生用の高画質ビットストリームBH'として、記録媒体13に記録する前に入力映像信号Aのフレーム間にフレーム間挿を行なうようにするものであったが、図1に示した第1の実施形態と同様にして、エンコーダ12bからの高画質ビットストリームBHを記録媒体13に記録し、記録媒体13から再生するとき、各フレームの高画質ビットストリームを複数回ずつ繰り返し再生することにより、高画質のスロー再生を行なうようにしてもよい。
In the fifth embodiment, the high-quality bit stream B H ′ for slow reproduction is subjected to inter-frame interpolation between frames of the input video signal A before recording on the
次に、本発明による映像配信システムとカメラ端末及び受信端末の第6の実施形態について説明する。
この第6の実施形態は、複数のカメラ端末から同時に配信されるものであって、これら配信される映像を同じ受信端末のディスプレイで同時に表示できるようにしたものである。図7は2個のカメラ端末から同じ受信端末に映像が同時に配信される場合のこの第6の実施形態を説明するためのブロック図であって、10a,10bは先の実施形態におけるカメラ端末10と同じ構成をなすカメラ端末であるが、ここでは、図1に示したカメラ端末10と同じ構成のものとして、図1に対応する部分には同一符号を付けて重複する説明を省略する。
Next, a sixth embodiment of the video distribution system, camera terminal, and receiving terminal according to the present invention will be described.
In the sixth embodiment, images are distributed simultaneously from a plurality of camera terminals, and the distributed images can be simultaneously displayed on the display of the same receiving terminal. FIG. 7 is a block diagram for explaining the sixth embodiment in the case where video is simultaneously distributed from two camera terminals to the same receiving terminal.
同図において、受信端末20からは、そのシステムコントローラ23からの切替制御信号Cにより、カメラ端末10a,10bの切替スイッチ14a,14bを制御することができ、また、システムコントローラ23が受信端末20の図示しない受信部を制御することができる。これにより、受信端末20では、カメラ端末10a,10bのいずれか一方から映像(低画質の映像や高画質の映像)の配信を受け、受信した映像をディスプレイ22で表示させるようにすることができるし、カメラ端末10a,10bの両方から同時に映像の配信を受け、これら映像を同時にディスプレイ22で表示させるようにすることもできる。
In the figure, the receiving
図8はこの第6の実施形態の動作を示すタイミング図であって、同図(a)はカメラ端末10aでの低画質ビットストリームBLと高画質ビットストリームBHとのタイミングを、同図(b)はカメラ端末10bでの低画質ビットストリームBLと高画質ビットストリームBHとのタイミングを夫々示し、同図(c)は受信端末20のディスプレイ22での低画質ビットストリームBLによる低画質映像の表示タイミングと高画質ビットストリームBHによる高画質映像の表示タイミングとを示す。
FIG. 8 is a timing chart showing the operation of the sixth embodiment. FIG. 8A shows the timing of the low image quality bit stream B L and the high image quality bit stream B H in the
同図において、受信端末20側で視聴者がカメラ端末10a,10bから同時に映像の配信を希望する操作をすると(時刻t1)、これらカメラ端末10a,10bからの低画質ビットストリームBLが同時に受信され、これらが同時にデコーダ21で映像信号にデコードされたディスプレイ22に供給される。このとき、図示しない処理部により、これら映像信号に対して画面縮小の処理がなされ、これにより、ディスプレイ22では、図9(a)に示すように、カメラ端末10a,10bからの映像1,2が縮小して同時に表示されるサムネイル表示がなされる(時刻t2)。
In the figure, when the viewer performs an operation on the receiving
その後、例えば、カメラ端末10bからの映像に視聴者に注意を喚起させるような場面があり、これを見て視聴者が高画質の映像2の再送を要求する操作を行なうと(時刻t3)、システムコントローラ23は、図示しない受信部がカメラ端末10bからのビットストリームのみを受信するようにし、また、切替制御信号Cにより、カメラ端末10bでの切替スイッチ14をb接点側に閉じさせる。これにより、カメラ端末10bから高画質ビットストリームBH'が配信されて受信端末20で受信され、これがデコードされてディスプレイ22に供給される。このときには、即ち、1つのカメラ端末から配信されるビットストリームのみを受信するときには、システムコントローラ23の制御により、図9(b)に示すように、受信した映像(この場合には、カメラ端末10bからの高画質の映像)がディスプレイ22の画面全体に表示されることになる(時刻t4)。
After that, for example, there is a scene that alerts the viewer to the video from the
なお、ここでは、2つのカメラ端末を対象としたが、3個以上の任意の個数のカメラ端末を対象とする場合も同様である。 Here, two camera terminals are targeted, but the same applies to a case where three or more arbitrary number of camera terminals are targeted.
このように、この第6の実施形態では、視聴者は複数のカメラ端末の映像をプレビューした後に、改めて最初から希望する所定のカメラ端末の映像を視聴することが可能になる。 As described above, in the sixth embodiment, after the viewer previews the videos of the plurality of camera terminals, the viewer can view the desired video of the predetermined camera terminal again from the beginning.
また、この第6の実施形態をテレビ放送に応用した場合、記録媒体13の容量を所定の時間T分とすると、視聴者は同時刻に放送される番組の冒頭部分を同時に視聴し、この所定の時間T内に興味の引かれた番組を選択すれば、それをその放送開始時点から見ることが可能になる。この場合、記録媒体13では、番組の放送開始とともに、この番組を先頭アドレスから記録していくが、所定の時間T分の番組が記録されると、その記録容量の記録がなされたことになり、先頭アドレスから再び記録が行なわれることになり、既に記録されている内容が書き替えられることになる。また、受信端末20のシステムコントローラ23からこの記録媒体13からの読み出し要求があると、記録媒体13では、先頭アドレスから読み出しが開始されるようにする。これにより、番組の受信を開始してから所定の時間Tが経過しないうちに受信端末20のシステムコントローラ23からこの記録媒体13からの読み出し要求があると、この番組の最初から読み出されて受信端末20に配信されることになる。従って、この所定の時間Tとしては、図9(a)に示すサムネイル常時の複数の番組の中から所望とする1つの番組を視聴者が充分に選択できる程度の時間、例えば、1〜数分間程度であればよい。
In addition, when the sixth embodiment is applied to television broadcasting, if the capacity of the
このようにして、視聴者は実際に番組を視聴してから選択することが可能になり、EPG(Electoronic Program Guide)などのプログラムガイドと比較して容易かつ効率的に番組を選択することができる。 In this way, the viewer can select the program after actually watching the program, and can easily and efficiently select the program as compared with a program guide such as EPG (Electoronic Program Guide). .
図10は本発明による映像配信システムとカメラ端末及び受信端末の第7の実施形態を示すブロック図であって、17は信号処理部であり、図1に対応する部分には同一符号を付けて重複する説明を省略する。
FIG. 10 is a block diagram showing a seventh embodiment of the video distribution system, camera terminal and receiving terminal according to the present invention.
同図において、カメラ端末10には、信号処理部17が設けられており、カメラ11から出力される映像信号Aが、この信号処理部17で処理された後、エンコーダ12aに供給されてエンコードされ、低画質ビットストリームBL が生成される。これ以外は図1に示した第1の実施形態と同様であり、従って、エンコーダ12bはカメラ11からの映像信号Aをそのままエンコード処理して高画質ビットストリームBH を生成する。
In the figure, the
信号処理部17は、カメラ11が撮像する映像の一部を抽出するように、カメラ11から出力される映像信号Aの一部を抽出し、この抽出した部分を1画面の大きさとなるように拡大処理して、エンコーダ12aに供給するものである。
The
これを図11により説明すると、同図(a)において、範囲50はカメラ11の撮影範囲であって、この撮影範囲50の映像信号Aがカメラ11から出力される。信号処理部17は、かかる撮影範囲の映像信号Aから、この撮影範囲50の一部の範囲(以下、抽出範囲という)51の部分を抽出し、この抽出範囲51の映像を、受信端末20のディスプレイ22の画面全体で表示されるように、拡張処理する。この拡張処理では、1フレームのラインするが映像信号Aのライン数と一致するように、ライン補間処理がなされる。
This will be described with reference to FIG. 11. In FIG. 11A, a
このようにして、カメラ11の撮影範囲50の一部の抽出範囲51の映像が拡張された映像信号A’が信号処理部17から出力され、これがエンコーダ12aに供給されてエンコード処理される。ここで、例えば、抽出範囲51を撮影範囲50の1/数倍〜1/10倍程度とすることにより、この映像信号A’は、もとの映像信号Aに比べて、充分狭帯域化された映像信号であり、従って、エンコーダ12aでは、もとの映像信号Aをエンコードするのに比べて、より大きい情報圧縮率でエンコードすることができる。
In this manner, the video signal A ′ obtained by extending the video of the
エンコーダ12aから出力される低画質ビットストリームBLが切替スイッチ14からネットワーク30を介して受信端末20に供給されると、そのディスプレイ22では、図11(b)に示すように、図11(a)に示す抽出範囲51の映像が画面全体にわたって拡大表示されることになる。
When the low-quality bit stream BL output from the
ここで、図11(a)において、抽出範囲51は1フレーム毎に、矢印で示すように、撮影範囲50内を移動するように、位置が変化される。このため、ディスプレイ22に表示される画像も変化していく。そして、この抽出範囲51内に人物52などの視聴者に注意を喚起するような画像が入ってくると、ディスプレイ22にも、その表示画面に、図11(b)に示すように、人物52の画像が表われ始める。これをある程度見て視聴者が再送の要求操作を受信端末20側ですると、図1に示した第1の実施形態度と同様、切替スイッチ14がb接点側に閉じて記録媒体13から高画質ビットストリームBH'が配信され、ディスプレイ22に図11(a)に示す撮影範囲50の高画質の映像が表示されることになる。 このようにして、この第7の実施形態では、通常時、カメラの撮影範囲内の限定された領域を視聴し、必要に応じて画面全体を視聴するものであるから、通常時の受信ビット量を大幅に削減しながら、再送を必要とする画像を認識可能な画像表示も可能である。また、通常時では、限定された領域(抽出範囲51の映像)のみを配信するため、ネットワーク30が定常的に伝送するビット量を大幅に削減できる。
Here, in FIG. 11A, the position of the
次に、図12により、本発明による映像配信システムとカメラ端末及び受信端末の第8の実施形態について説明する。
この第8の実施形態の構成も、図1に示した第1の実施形態と同様である。
Next, an eighth embodiment of the video distribution system, camera terminal, and receiving terminal according to the present invention will be described with reference to FIG.
The configuration of the eighth embodiment is the same as that of the first embodiment shown in FIG.
図12(a)は、図1におけるエンコーダ12aから出力されるビットストリームBLから得られる映像の解像度を示し、図12(b)は図1におけるエンコーダ12bから出力されるビットストリームBHから得られる映像の解像度を示すものである。図12(a),(b)での点線によって囲まれる格子は画素を表わしている。
12A shows the resolution of the video obtained from the bit stream BL output from the
図12(a),(b)から明らかなように、エンコーダ12aから出力されるビットストリームBLによる映像は、それを視聴するのに充分な解像度を有しているが、エンコーダ12bから出力されるビットストリームBH、従って、記録媒体13から再生されるビットストリームBH'による映像は、エンコーダ12aから出力されるビットストリームBLによる映像に比べて、さらに高解像度の映像である。このため、視聴者は、通常時、このエンコーダ12aからのビットストリームBL による映像を視聴すれば充分である。
As is clear from FIGS. 12A and 12B, the video by the bit stream BL output from the
かかるビットストリームBL による映像を視聴中に注意を喚起させる場面が表われ、視聴者がその再送を要求すると、先の実施形態と同様、記録媒体13からビットストリームBH'が再生されて受信端末20に配信され、高解像度の映像がディスプレイ22に表示される。この映像により、注意を喚起された部分の詳細、例えば、この部分を人物53の顔の部分とすると、この顔の部分の画素数が多いため、その表情を明確に認識することができる。
When a scene that calls attention during viewing of the video by the bit stream BL appears and the viewer requests the retransmission, the bit stream B H ′ is reproduced and received from the
また、この第8の実施形態では、このように高解像度の映像が再送されるということになると、受信端末20において、デコーダ21でデコードされた映像信号をフレームメモリを介してディスプレイ22に供給するように構成することにより、注意を喚起された部分を拡大して表示できるようにすることができる。
In the eighth embodiment, when the high-resolution video is retransmitted in this way, the video signal decoded by the
いま、図12(a)に示す映像の表示状態で視聴者に注意を喚起する場面があり、これに伴って視聴者が再送を要求すると、上記のように、カメラ端末10での記録媒体13から再生された高解像度の映像のビットストリームBH'が受信端末20に配信され、デコーダ21でデコードされてフレームメモリを介しディスプレイ22に供給される。これにより、図12(b)に示すような高解像度の映像がディスプレイ22で表示されるが、ここで、この高解像度の映像画面で所定の部分をカーソル操作などによって指示すると、この指示部分を含む所定の大きさの領域が、フレームメモリの読み出し制御により、拡大表示される。この拡大表示領域は、例えば、図12(b)に示す映像に重なるようにして表示されるようにする。
Now, there is a scene that draws attention to the viewer in the video display state shown in FIG. 12A, and when the viewer requests retransmission, the
ここで、かかる拡大表示領域の映像の拡大率を、例えば、この拡大表示領域での映像の解像度が図12(a)で示す映像の解像度以下とする値とすることにより、注目する映像を充分な解像度で拡大表示させることができる。従って、映像の一部を拡大表示させても、鮮明な映像が得られることになり、視聴者は映像の確認したい部分を明確に認識することが可能となる。 Here, by setting the enlargement ratio of the video in the enlarged display area to a value in which, for example, the resolution of the video in the enlarged display area is equal to or less than the resolution of the video shown in FIG. Can be enlarged and displayed at a high resolution. Therefore, even if a part of the video is enlarged and displayed, a clear video can be obtained, and the viewer can clearly recognize the part of the video to be confirmed.
図13は本発明による映像配信システムとカメラ端末及び受信端末の第9の実施形態を示すブロック図であって、18は画像/音声認識回路であり、図1に対応する部分には同一符号を付けて重複する説明を省略する。
FIG. 13 is a block diagram showing a ninth embodiment of the video distribution system and camera terminal and receiving terminal according to the present invention.
同図において、カメラ端末11には、画像/音声認識回路18が設けられており、カメラ11から得られた映像信号から特定の映像が、あるいはまた、このカメラ11に備え付けられた図示しないマイクロホンから出力される音声信号から特定の音声がこの画像/音声認識回路18によって検出されると、画像/音声認識回路18がこの検出に応じて記録媒体13を制御し、エンコーダ12bからの高画質ビットストリームBHが記録媒体13に書き込まれるようにする。
In the figure, the
ここで、特定の映像とは、例えば、移動するものの映像であって、この実施形態を監視システムに適用する場合には、撮影場面に人物などが入り込んで来ると、これを画像/音声認識回路18がこれを認識し、これを認識している期間記録媒体13を制御してエンコーダ12bからの高画質ビットストリームBHを記録させる。また、画像/音声認識回路18にいくつかの特定の映像を格納しておき、カメラ11からの映像信号Aからこれら格納されている特定の映像以外の映像が認識されると、あるいはこの特定の映像が認識されると、記録媒体13を記録動作させるようにしてもよい。音声についても同様であり、上記のマイクロホンから音声が出力されると、画像/音声認識回路18はこれを認識して記録媒体13を記録動作させるようにしてもよいし、いくつかの特定の音声パターンを格納しておき、これら特定の音声パターン以外のパターンの音声がマイクロホンから出力されると、あるいはこれら特定の音声パターンがマイクロホンから出力されると、画像/音声認識回路18はこれを認識して記録媒体13を記録動作させるようにしてもよい。
Here, the specific video is, for example, a video of a moving object, and when this embodiment is applied to a monitoring system, when a person or the like enters a shooting scene, this is converted into an image / voice recognition circuit. 18 recognizes this and controls the
このようにして、この第9の実施形態では、画像/音声認識回路18の認識結果に応じて記録媒体13の書込みが行なわれるので、記録媒体13が必要とする記憶容量を削減できるし、また、長時間の映像が記録媒体13に保存できる。
In this way, in the ninth embodiment, since the
このように記録媒体13に保存された情報は、システムコントローラ23からの制御信号により、読み出されて受信端末20に配信される。従って、視聴者は、必要なときに配信要求をすることにより、記録媒体13に保存されている情報を取得してディスプレイ22に表示させることができる。
Information stored in the
図14は本発明による映像配信システムとカメラ端末及び受信端末の第10の実施形態を示すブロック図であって、12cはエンコーダ、13aは記録媒体であり、図1に対応する部分には同一符号を付けて重複する説明を省略する。 FIG. 14 is a block diagram showing a tenth embodiment of a video distribution system, a camera terminal and a receiving terminal according to the present invention, wherein 12c is an encoder, 13a is a recording medium, and parts corresponding to those in FIG. A duplicate description is omitted.
同図において、この第10の実施形態は、図1に示した第1の実施形態に対し、エンコーダ12cと記録媒体13aとが追加されたものであり、また、切替スイッチ14は、エンコーダ12aの出力と記録媒体13,13aの出力とのいずれか1つを選択するものである。
In the figure, the tenth embodiment is obtained by adding an encoder 12c and a
即ち、受信端末20のディスプレイ22で映像の表示の仕方(画像再生の態様)としては、上記のように、低画質の映像や高画質の映像の通常再生(通常表示)ばかりでなく、スロー再生,静止画再生,高速再生などの種々の態様が考えられるものであり、これらを可能とするためには、配信されるビットストリームとして、かかる画像再生の態様に適した処理方法でエンコードされていなければならない(例えば、上記のように、MPEGに準拠した処理方法でエンコードされたビットストリームから静止画再生する場合には、良好な静止画再生がなされるとは限らない)。この第6の実施形態では、このことからして、種々の処理方法でエンコードされたビットストリームが得られるようにしたものである。
That is, as a method of displaying video on the
エンコーダ12cはエンコーダ12a,12bとは異なるエンコード処理を行なうものであって、このエンコーダ12cで生成された高画質ビットストリームBhは、記録媒体13aに蓄積される。切替スイッチ14は、通常、エンコーダ12aの低画質ビットストリームBLを選択して出力するが、受信端末20のシステムコントローラ23から再送要求を受けたときには、記録媒体13,13aに保存された高画質ビットストリームのうち最適なエンコード処理が行なわれたたビットストリームを選択して出力する。
The encoder 12c has a performs an encoding process that is different from the
なお、ここでは、低画質用のエンコーダ12a以外の互いに異なるエンコード処理をするエンコーダを2個設けたものとしたが、そのようなエンコーダを3個以上設けるようにしてもよい。
Here, two encoders that perform different encoding processes other than the low
このように、この第10の実施形態では、カメラ端末10内で複数のエンコードを行なうことにより、再送要求に応じて最適なエンコード処理がなされたビットストリームを選択できる。スロー再生や拡大再生のように、画像再生の形態に応じて最適なエンコード方法が異なる異なるものであって、この第10の実施形態では、画像再生の形態毎に夫々に最適な方法でエンコード処理を行なうエンコーダとこれらから出力されるビットストリームを蓄積する記録媒体が設けられており、これらエンコーダが同じカメラ11からの映像信号を同時にエンコードして記録媒体に蓄積するものであるから、受信端末20からの再生形態を指示した再送要求に対して、常に指示される再生形態に最適な方法でエンコード処理されたビットストリームの配信を受けることができ、再生形態にかかわらず、視聴者は常に鮮明な再生画像を受け取ることが可能である。
Thus, in the tenth embodiment, by performing a plurality of encodings within the
10 カメラ端末
11 カメラ
12a〜12c エンコーダ
13,13a 記録媒体
14 ビットストリーム切替スイッチ
15 プロセッサ
16 メモリ
16a,16b エンコードプログラム
17 信号処理部
18 画像/音声認識回路
20 カメラ端末
21 デコーダ
22 ディスプレイ
23 システムコントローラ
30〜32 ネットワーク
40,41 ローカルバス
50 撮影範囲
51 抽出範囲
52,53 人物
DESCRIPTION OF
Claims (11)
該カメラ端末は、撮像した映像信号をエンコード処理して、第1のビットストリームと該第1のビットストリームよりも高画質の映像をなす第2のビットストリームとを生成し、該受信端末に、通常、該第1のビットストリームを配信するとともに、該受信端末からの再送要求に応じて、該再送要求があった時点よりも所定時間前の映像からの該第2のビットストリームを配信することを特徴とする映像配信システム。 A video distribution system in which a camera terminal and a receiving terminal are connected via a network, and a bit stream generated from a captured video by the camera terminal is distributed to the receiving terminal,
The camera terminal encodes the captured video signal to generate a first bit stream and a second bit stream that forms a higher quality video than the first bit stream, and Usually, the first bit stream is distributed, and the second bit stream from the video a predetermined time before the time when the retransmission request is made is distributed in response to the retransmission request from the receiving terminal. Video distribution system characterized by
該ネットワークは、該カメラ端末とローカルサーバとの間を接続する上位階層のネットワークと、該ローカルサーバと該受信端末との間を接続する下位階層のネットワークとからなる階層構造をなしており、
該カメラ端末は、撮像した映像信号をエンコード処理して、第1のビットストリームと該第1のビットストリームよりも高画質の映像をなす第2のビットストリームとを生成して、該第1,第2のビットストリームを該上位階層のネットワークを介して該ローカルサーバに同時に送信し、
該受信端末は、該ローカルサーバから該下位階層のネットワークを介して該第1,第2のビットストリームのいずれかが選択的に配信されることを特徴とする映像配信システム。 A video distribution system in which a camera terminal and a receiving terminal are connected via a network, and a bit stream generated from a captured video by the camera terminal is distributed to the receiving terminal,
The network has a hierarchical structure composed of an upper layer network connecting the camera terminal and the local server and a lower layer network connecting the local server and the receiving terminal,
The camera terminal encodes the captured video signal to generate a first bit stream and a second bit stream that forms a higher-quality video than the first bit stream. Simultaneously sending a second bitstream to the local server via the higher layer network;
The receiving terminal selectively distributes one of the first and second bit streams from the local server via the lower layer network.
該複数のカメラ端末は、撮像した映像信号をエンコード処理して、第1のビットストリームと該第1のビットストリームよりも高画質の映像をなす第2のビットストリームとを生成し、
通常、該複数のカメラ端末で生成された該第1のビットストリームを同時に該受信端末に配信し、該受信端末から該複数のカメラ端末のうちの1つが指定されて再送要求があると、指定された該カメラ端末のみが該第2のビットストリームを該受信端末に配信することを特徴とする映像配信システム。 A video distribution system in which a plurality of camera terminals are connected to a receiving terminal via a network, and a bit stream generated from a captured video by the camera terminal is distributed to the receiving terminal,
The plurality of camera terminals encode a captured video signal to generate a first bit stream and a second bit stream that forms a higher quality video than the first bit stream,
Usually, the first bit stream generated by the plurality of camera terminals is simultaneously delivered to the receiving terminal, and when one of the plurality of camera terminals is designated by the receiving terminal and a retransmission request is made, The video distribution system, wherein only the camera terminal that has been distributed distributes the second bit stream to the receiving terminal.
該カメラ端末では、該受信端末での映像の再生形態に応じた異なる処理方法でエンコードされたn個(但し、nは3以上の整数)のビットストリームが生成され、該受信端末からの再生形態を指定した要求により、該指定された再生形態に該当する該ビットストリームを該受信端末に配信することを特徴とする映像配信システム。 A video distribution system in which a camera terminal and a receiving terminal are connected via a network, and a bit stream generated from a captured video by the camera terminal is distributed to the receiving terminal,
In the camera terminal, n bitstreams (where n is an integer of 3 or more) encoded by different processing methods according to the video playback mode at the receiving terminal are generated, and the playback mode from the receiving terminal A video distribution system that distributes the bit stream corresponding to the designated reproduction mode to the receiving terminal in response to a request that designates.
撮影した被写体の映像信号を出力するカメラと、
該映像信号をエンコード処理して第1のビットストリームを生成する第1のエンコーダと、
該映像信号をエンコード処理して該第1のビットストリームよりも高画質の映像の第2のビットストリームを生成する第2のエンコーダと、
該第2のビットストリームを記録し、再生する記録媒体と
を備え、該第1,第2のビットストリームを配信する映像情報とすることを特徴とするカメラ端末。 A camera terminal that distributes video information via a network,
A camera that outputs a video signal of the photographed subject;
A first encoder that encodes the video signal to generate a first bitstream;
A second encoder that encodes the video signal to generate a second bitstream of video with higher image quality than the first bitstream;
And a recording medium for recording and reproducing the second bit stream, wherein the first and second bit streams are used as video information for distribution.
撮影した被写体の映像信号を出力するカメラと、
該映像信号を時分割で第1のエンコード処理と第2のエンコード処理し、第1のビットストリームと、該第1のビットストリームよりも高画質の映像の第2のビットストリームを生成するプロセッサと、
該第2のビットストリームを記録し、再生する記録媒体と
を備え、該第1,第2のビットストリームを配信する映像情報とすることを特徴とするカメラ端末。 A camera terminal that distributes video information via a network,
A camera that outputs a video signal of the photographed subject;
A first encoding process and a second encoding process of the video signal in a time-sharing manner to generate a first bit stream and a second bit stream of an image with higher image quality than the first bit stream; ,
And a recording medium for recording and reproducing the second bit stream, wherein the first and second bit streams are used as video information for distribution.
撮影した被写体の映像信号を出力するカメラと、
該映像信号から1フレーム毎に設定される抽出範囲内の映像部分を抽出し、抽出した該映像部分を1フレーム全体に拡張する信号処理部と、
該信号処理部の出力映像信号をエンコード処理して該第1のビットストリームを生成する第1のエンコーダと、
該カメラから出力される該映像信号をエンコードし、該第1のビットストリームムよりも高画質の映像の第2のビットストリームを生成する第2のエンコーダと、
該第2のビットストリームを記録し、再生する記録媒体と
を備え、該第1,第2のビットストリームを配信する映像情報とすることを特徴とするカメラ端末。 A camera terminal that distributes video information via a network,
A camera that outputs a video signal of the photographed subject;
A signal processing unit that extracts a video portion within an extraction range set for each frame from the video signal, and extends the extracted video portion to the entire frame;
A first encoder that encodes an output video signal of the signal processing unit to generate the first bitstream;
A second encoder that encodes the video signal output from the camera and generates a second bitstream of video with higher image quality than the first bitstream;
And a recording medium for recording and reproducing the second bit stream, wherein the first and second bit streams are used as video information for distribution.
撮影した被写体の映像信号を出力するカメラと、
該映像信号をエンコード処理して第1のビットストリームを生成する第1のエンコーダと、
該映像信号をエンコード処理して該第1のビットストリームよりも高画質の映像の第2のビットストリームを生成する第2のエンコーダと、
該カメラから出力される該映像信号に基づく画像認識と該カメラに設けられたマイクロホンから出力される音声信号に基づく音声認識との少なくともいずれかを行なう画像/音声認識回路と、
該画像/音声認識回路の認識結果に基づいて、該第2のビットストリームを記録し、再生する記録媒体と
を備え、該第1,第2のビットストリームを配信する映像情報とすることを特徴とするカメラ端末。 A camera terminal that distributes video information via a network,
A camera that outputs a video signal of the photographed subject;
A first encoder that encodes the video signal to generate a first bitstream;
A second encoder that encodes the video signal to generate a second bitstream of video with higher image quality than the first bitstream;
An image / speech recognition circuit that performs at least one of image recognition based on the video signal output from the camera and sound recognition based on a sound signal output from a microphone provided in the camera;
A recording medium that records and reproduces the second bit stream based on a recognition result of the image / speech recognition circuit, and uses the first and second bit streams as video information. A camera terminal.
撮影した被写体の映像信号を出力するカメラと、
該映像信号を互いに異なる処理方法でエンコード処理し、互いに異なる画質のビットストリームを生成するn個(但し、nは3以上の整数)のエンコーダと、 最も低画質の該ビットストリーム以外の該ビットストリームを記録し、再生する記録媒体と
を備え、該n個のビットストリームを配信する映像情報とすることを特徴とするカメラ端末。 A camera terminal that distributes video information via a network,
A camera that outputs a video signal of the photographed subject;
The video signals are encoded by different processing methods to generate bit streams of different image quality (where n is an integer of 3 or more), and the bit streams other than the bit image of the lowest image quality And a recording medium that records and reproduces the video information for distributing the n bit streams.
生成された前記ビットストリームのいずれか1つを選択して配信する切替スイッチを設け、
配信先からの要求に応じて、該切替スイッチを切替制御することを特徴とするカメラ端末。 In any one of Claims 5-9,
Providing a changeover switch for selecting and distributing any one of the generated bitstreams;
A camera terminal, wherein the changeover switch is controlled to be switched in response to a request from a distribution destination.
受信した該ビットストリームを映像信号にデコードするデコーダと、
デコードされた該映像信号が供給されて映像を表示するディスプレイと、
映像の配信元に該ディスプレイに表示された映像について、高画質映像として再送を要求するためのシステムコントローラと
を備えたことを特徴とする受信端末。 A receiving terminal for receiving a bit stream of a video distributed via a network,
A decoder that decodes the received bitstream into a video signal;
A display for displaying the video by being supplied with the decoded video signal;
A reception terminal comprising: a system controller for requesting retransmission of a video displayed on the display as a high-quality video for a video distribution source.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008130796A JP4695669B2 (en) | 2008-05-19 | 2008-05-19 | Video distribution system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008130796A JP4695669B2 (en) | 2008-05-19 | 2008-05-19 | Video distribution system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001354970A Division JP4148673B2 (en) | 2001-11-20 | 2001-11-20 | Video distribution system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008199677A true JP2008199677A (en) | 2008-08-28 |
JP4695669B2 JP4695669B2 (en) | 2011-06-08 |
Family
ID=39758142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008130796A Expired - Fee Related JP4695669B2 (en) | 2008-05-19 | 2008-05-19 | Video distribution system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4695669B2 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012095052A (en) * | 2010-10-26 | 2012-05-17 | Toshiba Corp | Video transmission system, transmission processing device, reception processing device, and video transmission method |
JP2015005792A (en) * | 2013-06-19 | 2015-01-08 | 株式会社Jvcケンウッド | Imaging apparatus, imaging system, and control method |
WO2015097922A1 (en) | 2013-12-26 | 2015-07-02 | パナソニックIpマネジメント株式会社 | Video editing device |
WO2015174451A1 (en) * | 2014-05-16 | 2015-11-19 | 株式会社ドワンゴ | Terminal device, control method, and program |
CN106416220A (en) * | 2014-05-22 | 2017-02-15 | 微软技术许可有限责任公司 | Automatic insertion of video into a photo story |
JP2017163537A (en) * | 2016-03-10 | 2017-09-14 | 株式会社リコー | Secure real-time healthcare information streaming |
US9986303B2 (en) | 2014-03-31 | 2018-05-29 | JVC Kenwood Corporation | Video image coding data transmitter, video image coding data transmission method, video image coding data receiver, and video image coding data transmission and reception system |
JP2018137771A (en) * | 2018-03-22 | 2018-08-30 | 株式会社Jvcケンウッド | Imaging apparatus and control method |
JP2018137772A (en) * | 2018-03-22 | 2018-08-30 | 株式会社Jvcケンウッド | Imaging apparatus and control method |
JP2019050473A (en) * | 2017-09-08 | 2019-03-28 | 富士通株式会社 | Video data sharing system, video data sharing program, video data sharing method and video data sharing apparatus |
US11284156B2 (en) | 2016-03-02 | 2022-03-22 | Panasonic Intellectual Property Management Co., Ltd. | Video streaming apparatus, video editing apparatus, and video delivery system |
US11297218B1 (en) * | 2019-10-25 | 2022-04-05 | Genetec Inc. | System and method for dispatching media streams for viewing and for video archiving |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110324580B (en) * | 2019-07-05 | 2020-12-11 | 视联动力信息技术股份有限公司 | Monitoring video playing method and device based on video network |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04148673A (en) * | 1990-10-09 | 1992-05-21 | Kao Corp | Diagnosis of culture state |
JPH10174086A (en) * | 1996-12-09 | 1998-06-26 | Mitsubishi Electric Corp | Image data distribution system |
JPH11313310A (en) * | 1998-04-30 | 1999-11-09 | Toshiba Corp | Plant monitoring device |
JP2000059758A (en) * | 1998-08-05 | 2000-02-25 | Matsushita Electric Ind Co Ltd | Monitoring camera apparatus, monitoring device and remote monitor system using them |
JP2001128144A (en) * | 1999-10-26 | 2001-05-11 | Fujitsu Ltd | Method and device for on-demand picture transmission |
-
2008
- 2008-05-19 JP JP2008130796A patent/JP4695669B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04148673A (en) * | 1990-10-09 | 1992-05-21 | Kao Corp | Diagnosis of culture state |
JPH10174086A (en) * | 1996-12-09 | 1998-06-26 | Mitsubishi Electric Corp | Image data distribution system |
JPH11313310A (en) * | 1998-04-30 | 1999-11-09 | Toshiba Corp | Plant monitoring device |
JP2000059758A (en) * | 1998-08-05 | 2000-02-25 | Matsushita Electric Ind Co Ltd | Monitoring camera apparatus, monitoring device and remote monitor system using them |
JP2001128144A (en) * | 1999-10-26 | 2001-05-11 | Fujitsu Ltd | Method and device for on-demand picture transmission |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9357157B2 (en) | 2010-10-26 | 2016-05-31 | Toshiba Corporation | Video transferring system, video transmission apparatus, video reception apparatus and video transferring method |
JP2012095052A (en) * | 2010-10-26 | 2012-05-17 | Toshiba Corp | Video transmission system, transmission processing device, reception processing device, and video transmission method |
JP2015005792A (en) * | 2013-06-19 | 2015-01-08 | 株式会社Jvcケンウッド | Imaging apparatus, imaging system, and control method |
WO2015097922A1 (en) | 2013-12-26 | 2015-07-02 | パナソニックIpマネジメント株式会社 | Video editing device |
US9343109B2 (en) | 2013-12-26 | 2016-05-17 | Panasonic Intellectual Property Management Co., Ltd. | Video editing device |
US9986303B2 (en) | 2014-03-31 | 2018-05-29 | JVC Kenwood Corporation | Video image coding data transmitter, video image coding data transmission method, video image coding data receiver, and video image coding data transmission and reception system |
WO2015174451A1 (en) * | 2014-05-16 | 2015-11-19 | 株式会社ドワンゴ | Terminal device, control method, and program |
JP2015220609A (en) * | 2014-05-16 | 2015-12-07 | 株式会社ドワンゴ | Terminal device, control method, and program |
CN106416220A (en) * | 2014-05-22 | 2017-02-15 | 微软技术许可有限责任公司 | Automatic insertion of video into a photo story |
US11284156B2 (en) | 2016-03-02 | 2022-03-22 | Panasonic Intellectual Property Management Co., Ltd. | Video streaming apparatus, video editing apparatus, and video delivery system |
US11611805B2 (en) | 2016-03-02 | 2023-03-21 | Panasonic Intellectual Property Management Co., Ltd. | Video streaming apparatus, video editing apparatus, and video delivery system |
JP2017163537A (en) * | 2016-03-10 | 2017-09-14 | 株式会社リコー | Secure real-time healthcare information streaming |
US10162936B2 (en) | 2016-03-10 | 2018-12-25 | Ricoh Company, Ltd. | Secure real-time healthcare information streaming |
JP2019050473A (en) * | 2017-09-08 | 2019-03-28 | 富士通株式会社 | Video data sharing system, video data sharing program, video data sharing method and video data sharing apparatus |
JP7007558B2 (en) | 2017-09-08 | 2022-01-24 | 富士通株式会社 | Video data sharing system, video data sharing program, video data sharing method and video data sharing device |
JP2018137772A (en) * | 2018-03-22 | 2018-08-30 | 株式会社Jvcケンウッド | Imaging apparatus and control method |
JP2018137771A (en) * | 2018-03-22 | 2018-08-30 | 株式会社Jvcケンウッド | Imaging apparatus and control method |
US11297218B1 (en) * | 2019-10-25 | 2022-04-05 | Genetec Inc. | System and method for dispatching media streams for viewing and for video archiving |
Also Published As
Publication number | Publication date |
---|---|
JP4695669B2 (en) | 2011-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4695669B2 (en) | Video distribution system | |
JP3261844B2 (en) | Digital video recording device and recording method | |
JP4227509B2 (en) | Communication terminal device and control method thereof | |
KR100906957B1 (en) | Adaptive video processing using sub-frame metadata | |
US5510844A (en) | Video bitstream regeneration using previously agreed to high priority segments | |
JP4148673B2 (en) | Video distribution system | |
JPH10507886A (en) | Generation of HDTV trick play stream for recording prerecorded digital video | |
JP2020524450A (en) | Transmission system for multi-channel video, control method thereof, multi-channel video reproduction method and device thereof | |
CN102111644A (en) | Method, device and system for controlling media transmission | |
JP2007274443A (en) | Image transmitting method, transmitter, receiver and image transmitting system | |
JP2008109434A (en) | Stream data reproducing system, transmitter for stream data reproducing system, receiver for stream data reproducing system and program for stream data reproducing system | |
US20120099831A1 (en) | Method for creating a replay signal in a surveillance video and a video system for creating a replay signal in a surveillance video | |
WO2009093557A1 (en) | Multi-screen display | |
KR20040065170A (en) | Video information decoding apparatus and method | |
JP4462559B2 (en) | Trick playback content creation method and device, trick playback compressed video data transmission method and device, and trick playback content creation program | |
JP4888955B2 (en) | Content delivery method and apparatus | |
JP4406623B2 (en) | Video receiver | |
JP2002247565A (en) | Network av camera and system | |
KR101992533B1 (en) | Channel switching system in real-time IPTV broadcasting | |
JPWO2009017229A1 (en) | Moving image data distribution system, method and program thereof | |
JPH0974540A (en) | Moving image encoding information generation device for real-time fast forward reproduction | |
JP4112350B2 (en) | Moving image communication system, moving image reproduction terminal, moving image distribution apparatus, and moving image distribution method | |
CN114513658B (en) | Video loading method, device, equipment and medium | |
JP2012160982A (en) | Video transmission device and video reception device, and video transmission/reception control device | |
JP2008270939A (en) | Motion image distribution system, and server device and client device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110225 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4695669 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |