JP2017204767A - Video transmitter and video transmission method - Google Patents

Video transmitter and video transmission method Download PDF

Info

Publication number
JP2017204767A
JP2017204767A JP2016096139A JP2016096139A JP2017204767A JP 2017204767 A JP2017204767 A JP 2017204767A JP 2016096139 A JP2016096139 A JP 2016096139A JP 2016096139 A JP2016096139 A JP 2016096139A JP 2017204767 A JP2017204767 A JP 2017204767A
Authority
JP
Japan
Prior art keywords
stream data
moving image
data
color difference
yuv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016096139A
Other languages
Japanese (ja)
Other versions
JP6045051B1 (en
Inventor
鳴海 鼓大
Kodai Narumi
鼓大 鳴海
伸康 田中
Nobuyasu Tanaka
伸康 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SYSTEM K KK
System Kkk
Original Assignee
SYSTEM K KK
System Kkk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SYSTEM K KK, System Kkk filed Critical SYSTEM K KK
Priority to JP2016096139A priority Critical patent/JP6045051B1/en
Application granted granted Critical
Publication of JP6045051B1 publication Critical patent/JP6045051B1/en
Priority to PCT/JP2017/017762 priority patent/WO2017195844A1/en
Publication of JP2017204767A publication Critical patent/JP2017204767A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19667Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a video transmitter and a video transmission method capable of transmitting a high quality video even in a situation where a wide bandwidth cannot be get, when transmitting a video via a network of IP cameras, or the like.SOLUTION: A transmitter 1 connected with an imaging apparatus 3 including an imaging section 31 for imaging a video, an encode section 32 for generating first stream data by encoding the captured videos, and an output section 33 for outputting the first stream data thus generated, directly or via a network, and transmitting the videos to a reception terminal 6 via a network 4, is further provided with a receiving section 11 for receiving the first stream data from the imaging apparatus 3, a storage section 12 for storing received or generated stream data, a processing section 13 for generating second stream data by re-encoding and compressing the first stream data stored in the storage section 12, and a transmitting section 14 for transmitting the second stream data.SELECTED DRAWING: Figure 1

Description

本発明は、ネットワークを介して動画像を伝送する動画像伝送システムに関し、特に、無線通信などの帯域が比較的狭い通信手段にて動画像を伝送する場合に適した動画像伝送システム及び動画像伝送方法に関する。   The present invention relates to a moving image transmission system for transmitting a moving image via a network, and in particular, a moving image transmission system and a moving image suitable for transmitting a moving image by communication means having a relatively narrow band such as wireless communication. The transmission method.

近年、ブロードバンドネットワークの普及により、IPカメラを屋内外に設置し、ネットワークを介して動画像データを送信して、離れた場所で閲覧や保存が可能な監視システムが普及している(例えば、特許文献1の図6参照)。従来の監視カメラシステムでは、撮像された動画像データは圧縮されてネットワーク配信される。動画像データの圧縮方式としては、MPEG2、MPEG4、H.264などが知られている。   In recent years, with the spread of broadband networks, surveillance systems in which IP cameras are installed indoors and outdoors, moving image data is transmitted via the network, and can be viewed and stored at remote locations have become widespread (for example, patents). (See FIG. 6 of Document 1). In a conventional surveillance camera system, captured moving image data is compressed and distributed over a network. As the moving image data compression methods, MPEG2, MPEG4, H.264, and the like are used. H.264 is known.

特開2012−90172号公報JP 2012-90172 A

従来技術は、光ファイバーなど帯域が広くて安定しているブロードバンドネットワークに接続できる環境下では高画質かつ高フレームレートの動画像データをリアルタイムで安定的に送信することができるが、帯域が比較的に狭くて変動の大きいネットワークにしか接続できない環境下では、コマ落ちや送信不能状態に陥ることがあるという問題があった。   The conventional technology can transmit moving image data with high image quality and high frame rate in real time stably in an environment where it can be connected to a broadband network with a wide bandwidth such as an optical fiber, but the bandwidth is relatively low. In an environment where only a small and highly variable network can be connected, there is a problem that frames may be dropped or transmission may not be possible.

ブロードバンドネットワークの中でも帯域が広くて安定している光ファイバー網の整備は都市部など人口密集地に集中しており、帯域が比較的狭くて安定しないADSLや無線通信に依存している地域も多い。従来、ネットワークの帯域が比較的狭く安定しない地域において、データ容量の大きい動画像データをリアルタイムに送信する場合には、画像データの画質を落としたりサイズを小さくしたりするか、フレームレートを低くせざるを得ないため、高フレームレートできれいな画像の伝送技術が望まれていた。   Among broadband networks, the development of optical fiber networks with wide and stable bandwidths is concentrated in densely populated areas such as urban areas, and there are many regions that rely on ADSL and wireless communications, which are relatively narrow and unstable. Conventionally, when moving image data with a large data capacity is transmitted in real time in an area where the network bandwidth is relatively narrow and unstable, the image quality of the image data is reduced, the size is reduced, or the frame rate is lowered. Therefore, there has been a demand for a high image transmission technology with a high frame rate.

そこで、本発明は、IPカメラなどネットワークを介して動画像を伝送する際に、帯域を広く取れない状況下でも、動きが滑らかで画像のきれいな高品質の動画像を伝送することができる動画像伝送装置及び動画像伝送方法を提供するものである。   Therefore, the present invention is capable of transmitting a high-quality moving image with smooth motion and a clean image even when a wide band cannot be obtained when transmitting a moving image via a network such as an IP camera. A transmission apparatus and a moving image transmission method are provided.

本発明は、上記課題を解決するために、動画像を撮像する撮像手段と、撮像した動画像をエンコード処理して第一ストリームデータを生成するエンコード手段と、生成された第一ストリームデータを出力する出力手段とを含む撮像装置に直接又はネットワークを介して接続され、ネットワークを介して受信端末に動画像を伝送する動画像伝送装置であって、前記撮像装置から前記第一ストリームデータを受信する受信手段と、受信又は生成したストリームデータを記憶する記憶手段と、前記記憶手段に記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理手段と、前記第二ストリームデータを送信する送信手段と、を有する動画像伝送装置を提供するものである。   In order to solve the above-described problem, the present invention provides an imaging unit that captures a moving image, an encoding unit that encodes the captured moving image to generate first stream data, and outputs the generated first stream data A moving image transmission device that is connected to an imaging device including an output unit directly or via a network and transmits a moving image to a receiving terminal via the network, and receives the first stream data from the imaging device Receiving means; storage means for storing received or generated stream data; processing means for generating second stream data compressed by re-encoding the first stream data stored in the storage means; and the second The present invention provides a moving image transmission apparatus having transmission means for transmitting stream data.

また、本発明の動画像伝送装置は、前記再エンコード処理が、前記第一ストリームデータの画像データを輝度信号と色差信号からなるYUV画像データに変換し、該色差信号を間引く間引き処理を含むものである。   In the moving image transmission apparatus of the present invention, the re-encoding process includes a thinning process for converting the image data of the first stream data into YUV image data including a luminance signal and a color difference signal, and thinning the color difference signal. .

また、本発明の動画像伝送装置において、前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれたYUV4:2:2フォーマット又はYUV4:2:0フォーマットであり、前記再エンコード処理が、前記第一ストリームデータの画像データから更に前記色差信号を間引く間引き処理を含むものである。   In the moving image transmission apparatus of the present invention, the first stream data is obtained by converting the captured image data into YUV image data composed of a luminance signal and a color difference signal, and the color difference signal is thinned out YUV 4: 2: 2 format or YUV 4: 2: 0 format, and the re-encoding process includes a thinning process for further thinning out the color difference signal from the image data of the first stream data.

また、本発明の動画像伝送装置において、前記第二ストリームデータはYUV4:2:0フォーマットである。   In the moving image transmission apparatus of the present invention, the second stream data is in a YUV 4: 2: 0 format.

また、本発明の動画像伝送装置は、前記再エンコード処理が、前記間引き処理の後に、前記画像データのサイズを縮小する縮小処理を含むものである。   In the moving image transmission apparatus of the present invention, the re-encoding process includes a reduction process for reducing the size of the image data after the thinning process.

また、本発明の動画像伝送装置は、ルータ機能を備えたものである。   The moving picture transmission apparatus of the present invention has a router function.

また、本発明の動画像伝送装置は、前記ネットワークを介してクラウドシステムと制御可能に接続され、前記送信手段が前記第二ストリームデータを前記クラウドシステムにアップロードする手段を備えたものである。   The moving image transmission apparatus of the present invention is controllably connected to the cloud system via the network, and the transmission means includes means for uploading the second stream data to the cloud system.

また、本発明は、ネットワークに接続された動画像撮像装置から配信される第一ストリームデータを伝送する動画像伝送方法であって、前記動画像撮像装置から前記第一ストリームデータを受信する受信工程と、受信した第一ストリームデータを一時的に記憶する一時記憶工程と、記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理工程と、前記第二ストリームデータを記憶する記憶工程と、前記第二ストリームデータを送信する送信工程と、を有する動画像伝送方法を提供するものである。   The present invention is also a moving image transmission method for transmitting first stream data distributed from a moving image capturing apparatus connected to a network, wherein the first stream data is received from the moving image capturing apparatus. A temporary storage step of temporarily storing the received first stream data, a processing step of generating a second stream data compressed by re-encoding the stored first stream data, and the second stream data Is provided, and a moving image transmission method having a storing step for transmitting the second stream data and a transmitting step for transmitting the second stream data is provided.

また、本発明の動画像伝送方法において、前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれた画像データからなるYUVフォーマットであり、前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引き、YUVフォーマットに再変換する工程を含むものである。   In the moving image transmission method of the present invention, the first stream data includes image data obtained by converting captured image data into YUV image data including a luminance signal and a color difference signal, and thinning out the color difference signal. In the YUV format, the processing step includes a step of further thinning out the color difference signal from the image data of the first stream data and reconverting it to the YUV format.

また、本発明の動画像伝送方法は、前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引いた後に、前記画像データのサイズを縮小する工程を含むものである。   In the moving image transmission method of the present invention, the processing step further includes a step of reducing the size of the image data after further thinning out the color difference signal from the image data of the first stream data.

また、本発明の動画像伝送方法は、前記通信工程が、ネットワークを介して制御可能に接続されたクラウドシステムに前記第二ストリームデータをアップロードする工程と、受信端末からのリクエストに応じて前記第二ストリームデータを送信する工程と、を含むものである。   In the moving image transmission method of the present invention, the communication step uploads the second stream data to a cloud system that is controllably connected via a network, and the request is received from the receiving terminal. Transmitting two stream data.

本発明の動画像伝送装置は、動画像を撮像する撮像手段と、撮像した動画像をエンコード処理して第一ストリームデータを生成するエンコード手段と、生成された第一ストリームデータを出力する出力手段とを含む撮像装置に直接又はネットワークを介して接続され、ネットワークを介して受信端末に動画像を伝送する動画像伝送装置であって、前記撮像装置から前記第一ストリームデータを受信する受信手段と、受信又は生成したストリームデータを記憶する記憶手段と、前記記憶手段に記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理手段と、前記第二ストリームデータを送信する送信手段と、を有することにより、IPカメラなどの撮像装置が生成した第一ストリームデータを更に圧縮した第二ストリームデータを生成して送信するから、帯域が比較的狭くて安定しないネットワークを介しても、コマ落ちを防いで動きの滑らかな動画像をリアルタイムで伝送することができる効果がある。   The moving image transmission apparatus of the present invention includes an imaging unit that captures a moving image, an encoding unit that encodes the captured moving image to generate first stream data, and an output unit that outputs the generated first stream data A moving image transmission device that is connected directly or via a network to an imaging device, and transmits a moving image to a receiving terminal via the network, and receiving means that receives the first stream data from the imaging device Storage means for storing received or generated stream data, processing means for generating second stream data compressed by re-encoding the first stream data stored in the storage means, and the second stream data And transmitting the first stream data generated by the imaging device such as an IP camera. Since the compressed second stream data is generated and transmitted, there is an effect that a moving image with smooth motion can be transmitted in real time while preventing a frame drop even through a network having a relatively narrow band and not stable. .

また、本発明の動画像伝送装置は、前記再エンコード処理が、前記第一ストリームデータの画像データを輝度信号と色差信号からなるYUV画像データに変換し、該色差信号を間引く間引き処理を含むことにより、人の視覚に与える影響が大きいY画像データの解像度やサイズ、フレームレートを維持しつつ、人の視覚に与える影響が小さい色差信号を間引いてデータ量を圧縮するから、見た目の動きが滑らかで画像のきれいな高品質の動画像を伝送することができる効果がある。   In the moving image transmission apparatus of the present invention, the re-encoding process includes a thinning process for converting the image data of the first stream data into YUV image data including a luminance signal and a color difference signal, and thinning the color difference signal. Compresses the amount of data by thinning out the color difference signal that has a small effect on human vision while maintaining the resolution, size, and frame rate of Y image data that has a large effect on human vision. Thus, it is possible to transmit a high-quality moving image with a clean image.

また、本発明の動画像伝送装置において、前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれたYUV4:2:2フォーマット又はYUV4:2:0フォーマットであり、前記再エンコード処理が、前記第一ストリームデータの画像データから更に前記色差信号を間引く間引き処理を含むことにより、大きく圧縮されたYUV4:2:2フォーマット又はYUV4:2:0フォーマットの第一ストリームデータに、更に色差信号の間引き処理を加えてデータ量を圧縮するから、帯域が狭くて安定しない無線通信などのネットワークを介しても、コマ落ちを防ぎつつ、動きが滑らかできれいな動画像をリアルタイムで伝送することができる効果がある。   In the moving image transmission apparatus of the present invention, the first stream data is obtained by converting the captured image data into YUV image data composed of a luminance signal and a color difference signal, and the color difference signal is thinned out YUV 4: 2: 2 format or YUV4: 2: 0 format, and the re-encoding process includes a thinning process that further thins out the color difference signal from the image data of the first stream data, thereby greatly compressing the YUV4: 2: 2 format. Or, the first stream data in the YUV4: 2: 0 format is further processed by thinning out the color difference signal to compress the data volume, so frames are prevented from dropping even through networks such as wireless communication with narrow bandwidth and instability. On the other hand, there is an effect that a moving image with smooth motion can be transmitted in real time.

また、本発明の動画像伝送装置において、前記第二ストリームデータはYUV4:2:0フォーマットであることにより、人の視覚特性を利用して高い圧縮率を得ることができる効果がある。   In the moving image transmission apparatus of the present invention, since the second stream data is in the YUV 4: 2: 0 format, there is an effect that a high compression rate can be obtained using human visual characteristics.

また、本発明の動画像伝送装置は、前記再エンコード処理が、前記間引き処理の後に、前記画像データのサイズを縮小する縮小処理を含むことにより、画質の劣化を最小限に抑えつつ、更に高い圧縮率を得ることができる。本動画像伝送装置は、帯域が狭くて安定しない無線通信などのネットワークを介しても、確実にコマ落ちを防ぎつつ、動きが滑らかできれいな動画像をリアルタイムで伝送することができる効果がある。   In the moving image transmission apparatus of the present invention, the re-encoding process includes a reduction process for reducing the size of the image data after the decimation process, thereby further minimizing degradation of image quality. Compression rate can be obtained. This moving image transmission apparatus has an effect of transmitting a moving image having a smooth motion in real time while reliably preventing frame dropping, even through a network such as wireless communication, which has a narrow band and is not stable.

また、本発明の動画像伝送装置は、ルータ機能を備えたことにより、撮像装置をインターネットなどの広域ネットワークに接続するルータ機器に、撮像装置から出力される第一ストリームデータを圧縮・変換し、第二ストリームデータを送信する機能を付加することができる。本動画像伝送装置は、既存のIPカメラであっても、帯域が比較的狭く安定しないネットワークにしか接続できない場所に設置することができ、動きが滑らかできれいな動画像をリアルタイムで伝送することができる効果がある。   Further, the moving image transmission apparatus of the present invention has a router function, so that the first stream data output from the imaging apparatus is compressed and converted into router equipment that connects the imaging apparatus to a wide area network such as the Internet, A function of transmitting the second stream data can be added. This moving image transmission apparatus can be installed in a place where even an existing IP camera can be connected only to a relatively narrow and unstable network, and can transmit a moving image with smooth motion in real time. There is an effect that can be done.

また、本発明の動画像伝送装置は、前記ネットワークを介してクラウドシステムと制御可能に接続され、前記送信手段が前記第二ストリームデータを前記クラウドシステムにアップロードする手段を備えたことにより、通常時は動画像伝送装置からストリームデータをライブ配信又は録画配信する一方、動画像伝送装置側の帯域が減少したときには、クラウドシステムからストリームデータをライブ配信又は録画配信することができ、常に動画像を受信端末に伝送することができる効果がある。   Further, the moving image transmission apparatus of the present invention is controllably connected to the cloud system via the network, and the transmission means includes means for uploading the second stream data to the cloud system. While streaming or streaming distribution of stream data from a moving image transmission device, when the bandwidth on the moving image transmission device side decreases, stream data can be distributed or recorded and distributed from the cloud system, and moving images are always received. There is an effect that can be transmitted to the terminal.

また、本発明の動画像伝送方法は、ネットワークに接続された動画像撮像装置から配信される第一ストリームデータを伝送する動画像伝送方法であって、前記動画像撮像装置から前記第一ストリームデータを受信する受信工程と、受信した第一ストリームデータを一時的に記憶する一時記憶工程と、記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理工程と、前記第二ストリームデータを記憶する記憶工程と、前記第二ストリームデータを送信する送信工程と、を有することにより、IPカメラなどの撮像装置が生成した第一ストリームデータを更に圧縮した第二ストリームデータを生成してリアルタイムで送信することができる。また、本動画像伝送方法は、必要な帯域幅を得られないときには、記憶された第二ストリームデータを録画配信することができるから、確実に動画像を伝送することができる効果がある。   The moving image transmission method of the present invention is a moving image transmission method for transmitting first stream data distributed from a moving image capturing apparatus connected to a network, wherein the first stream data is transmitted from the moving image capturing apparatus. A temporary storage step for temporarily storing the received first stream data, a processing step for generating a second stream data compressed by re-encoding the stored first stream data, Second stream data obtained by further compressing first stream data generated by an imaging device such as an IP camera by including a storage step for storing the second stream data and a transmission step for transmitting the second stream data. Can be generated and sent in real time. In addition, the present moving image transmission method can record and distribute the stored second stream data when a necessary bandwidth cannot be obtained, and thus has an effect of reliably transmitting a moving image.

また、本発明の動画像伝送方法において、前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれた画像データからなるYUVフォーマットであり、前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引き、YUVフォーマットに再変換する工程を含むことにより、人の視覚に与える影響が大きいY画像データの解像度やサイズ、フレームレートを維持しつつ、人の視覚に与える影響が小さい色差信号を間引いてデータ量を圧縮するから、見た目の動きが滑らかで画像のきれいな高品質の動画像を伝送することができる。本動画像伝送方法は、YUVフォーマットの第一ストリームデータに、更に色差信号の間引き処理を加えてデータ量を圧縮するから、帯域が狭くて安定しない無線通信などのネットワークを介しても、コマ落ちを防ぎつつ、動きが滑らかできれいな動画像をリアルタイムで伝送することができる効果がある。   In the moving image transmission method of the present invention, the first stream data includes image data obtained by converting captured image data into YUV image data including a luminance signal and a color difference signal, and thinning out the color difference signal. YUV format, and the processing step further includes the step of thinning out the color difference signal from the image data of the first stream data and reconverting it to the YUV format, so that Y image data having a great influence on human vision can be obtained. Since the data amount is compressed by thinning out the color difference signal that has little effect on human vision while maintaining the resolution, size, and frame rate, it is possible to transmit high-quality moving images with smooth appearance and clean images. it can. This moving image transmission method compresses the amount of data by further thinning out the color difference signal to the first stream data in the YUV format, so frames are dropped even over a network such as a wireless communication with a narrow band that is not stable. It is possible to transmit a moving image that is smooth and beautiful in real time while preventing the image from moving.

また、本発明の動画像伝送方法は、前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引いた後に、前記画像データのサイズを縮小する工程を含むことにより、画質の劣化を最小限に抑えつつ、更に高い圧縮率を得ることができる。本動画像伝送方法は、帯域が狭くて安定しない無線通信などのネットワークを介しても、確実にコマ落ちを防ぎつつ、動きが滑らかできれいな動画像をリアルタイムで伝送することができる効果がある。   In the moving image transmission method of the present invention, the processing step includes a step of reducing the size of the image data after further thinning out the color difference signal from the image data of the first stream data. An even higher compression ratio can be obtained while minimizing deterioration. This moving image transmission method has an effect that a moving image with smooth and smooth movement can be transmitted in real time while reliably preventing frame dropping even through a network such as wireless communication which is not stable due to a narrow band.

また、本発明の動画像伝送方法は、前記通信工程が、ネットワークを介して制御可能に接続されたクラウドシステムに前記第二ストリームデータをアップロードする工程と、受信端末からのリクエストに応じて前記第二ストリームデータを送信する工程と、を含むことにより、通常時はストリームデータを直にライブ配信又は録画配信する一方、接続しているネットワークの帯域が減少したときには、クラウドシステムからストリームデータをライブ配信又は録画配信することができ、常に動画像を受信端末に伝送することができる効果がある。   In the moving image transmission method of the present invention, the communication step uploads the second stream data to a cloud system that is controllably connected via a network, and the request is received from the receiving terminal. Sending the two stream data, and in the normal case, the stream data is directly distributed live or recorded, while the stream data is distributed live from the cloud system when the bandwidth of the connected network decreases. Alternatively, it can be recorded and distributed, and a moving image can be always transmitted to the receiving terminal.

本発明に係る動画像伝送装置の一実施例を示す構成図。The block diagram which shows one Example of the moving image transmission apparatus which concerns on this invention. 本発明に係る動画像伝送方法の一実施例を示すフローチャート。The flowchart which shows one Example of the moving image transmission method which concerns on this invention.

本発明の実施の形態を図示する実施例に基づいて説明する。図1は、本発明に係る動画像伝送装置の一実施例を示す構成図である。   Embodiments of the present invention will be described based on examples shown in the drawings. FIG. 1 is a block diagram showing an embodiment of a moving image transmission apparatus according to the present invention.

本発明の動画像伝送装置1は、動画像を撮像する撮像手段(撮像部31)と、撮像した動画像をエンコード処理して第一ストリームデータを生成するエンコード手段(エンコード部32)と、生成された第一ストリームデータを出力する出力手段(出力部33)とを含む撮像装置3に直接又はネットワークを介して接続され、ネットワーク4を介して受信端末6に動画像を伝送する装置であって、撮像装置3から第一ストリームデータを受信する受信手段(受信部11)と、受信又は生成したストリームデータを記憶する記憶手段(記憶部12)と、記憶手段(記憶部12)に記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理手段(処理部13)と、第二ストリームデータを送信する送信手段(送信部14)と、を有する。   The moving image transmission apparatus 1 of the present invention includes an imaging unit (imaging unit 31) that captures a moving image, an encoding unit (encoding unit 32) that encodes the captured moving image to generate first stream data, An apparatus for transmitting a moving image to the receiving terminal 6 via the network 4 directly or via a network connected to the imaging device 3 including the output means (output unit 33) for outputting the first stream data. , Stored in the receiving means (receiving section 11) for receiving the first stream data from the imaging device 3, the storing means (storage section 12) for storing the received or generated stream data, and the storing means (storage section 12). Processing means (processing unit 13) for generating second stream data obtained by re-encoding and compressing the first stream data, and transmission for transmitting the second stream data Having a means (transmission unit 14), the.

本願の発明者らは、IPカメラなどの撮像装置3を監視カメラとして設置したときに撮像される動画像には、背景など動きのない部分が多く、IPカメラなどで使用されているYUVフォーマットから更に色差情報を間引いても、視覚的な画質に与える影響が小さいことに着目した。そして、撮像装置3において既に非可逆圧縮されている画像データを、色差情報を間引くことにより更に圧縮率を高め、且つ非可逆圧縮することで、様々な利点を引き出すことができることを見出した。   The inventors of the present application have many portions that do not move, such as a background, in a moving image captured when the imaging device 3 such as an IP camera is installed as a surveillance camera. From the YUV format used in the IP camera or the like. Furthermore, we focused on the fact that even if the color difference information is thinned out, the effect on the visual image quality is small. Then, the present inventors have found that image data that has already been irreversibly compressed in the imaging apparatus 3 can be further improved by further reducing the compression rate by thinning out the color difference information and irreversibly compressing the image data.

本発明は、動画像データの変換前後の動画圧縮コードが同種の場合に限って、解像度を下げたり、フレーム間予測情報を少ない演算で不可逆圧縮したりする一般的トランスコードに対して、YUV画像データの色差情報による圧縮を付加することによって、従来にない高圧縮処理を可能にした。本願の伝送装置1は、ハイビジョン画質と30fpsの一般的なフレームレートを維持しつつ500kbps程度まで動画像データのサイズを小さくすることができ、色情報を残して視覚的にもきれいな動画像をライブ配信可能にした。   The present invention provides a YUV image for general transcode that lowers the resolution or irreversibly compresses interframe prediction information with few operations only when the moving image compression code before and after conversion of moving image data is the same type. By adding compression based on the color difference information of the data, high compression processing that has never been possible has been made possible. The transmission apparatus 1 of the present application can reduce the size of moving image data up to about 500 kbps while maintaining a high-definition image quality and a general frame rate of 30 fps, and can live a visually beautiful moving image while leaving color information. Made it possible to deliver.

[撮像装置]
本実施例において、撮像装置3は、例えば監視カメラとして設置されるIPカメラであり、動画像を撮像する撮像部31と、撮像した動画像をエンコード処理して第一ストリームデータを生成するエンコード部32と、生成された第一ストリームデータを出力する出力部33と、を有する。
[Imaging device]
In the present embodiment, the imaging device 3 is an IP camera installed as a surveillance camera, for example, an imaging unit 31 that captures a moving image, and an encoding unit that encodes the captured moving image to generate first stream data 32 and an output unit 33 that outputs the generated first stream data.

撮像部31は、レンズ及び撮像素子(CCD又はCMOSなど)を備えている。被写体からの光はレンズを通って撮像素子上に結像し、撮像素子で光電変換されてRGB画像データに変換される。撮像部31は、設定に応じてRGB画像データをエンコード部32に供給し、又は、輝度信号と色差信号からなるYUV画像データに変換し、YUV画像データをエンコード部32に供給する。本実施例において、画像データのサイズは1980×1080pixelで、フレームレートは30fpsである。   The imaging unit 31 includes a lens and an imaging element (such as a CCD or CMOS). Light from the subject passes through the lens and forms an image on the image sensor, and is photoelectrically converted by the image sensor to be converted into RGB image data. The imaging unit 31 supplies the RGB image data to the encoding unit 32 according to the setting, or converts the RGB image data into YUV image data including a luminance signal and a color difference signal, and supplies the YUV image data to the encoding unit 32. In this embodiment, the size of the image data is 1980 × 1080 pixels and the frame rate is 30 fps.

本実施例において、エンコード部32は、画像データのサイズ及びフレームレートを変更しないで、色差信号をYUV4:2:2フォーマット又はYUV4:2:0フォーマットに間引き処理し、H.264規格で圧縮処理して第一ストリームデータを生成する。生成された第一ストリームデータは、内部メモリに一時的に保存され、出力部33から出力される。出力部33は、RTSPやHTTPで要求されたストリームデータを伝送装置1に出力する。   In this embodiment, the encoding unit 32 thins out the color difference signal into the YUV 4: 2: 2 format or the YUV 4: 2: 0 format without changing the size and the frame rate of the image data. The first stream data is generated by compression processing according to the H.264 standard. The generated first stream data is temporarily stored in the internal memory and output from the output unit 33. The output unit 33 outputs stream data requested by RTSP or HTTP to the transmission apparatus 1.

エンコード部32は、動画像データをH.264規格で圧縮処理するものに限らず、MPEG−1、MPEG−2、MPEG−4やH.263規格など他の規格で圧縮処理してもよい。また、撮像装置3は、図示しない記憶装置を備え、エンコード部32が第一ストリームデータの他にMotion JPEG規格の動画像データを生成し、記憶装置に記憶する構成であってもよい。   The encoding unit 32 converts the moving image data to the H.264 format. The compression processing is not limited to the H.264 standard, but MPEG-1, MPEG-2, MPEG-4, and H.264. The compression processing may be performed according to other standards such as the H.263 standard. The imaging device 3 may include a storage device (not shown), and the encoding unit 32 may generate motion JPEG standard moving image data in addition to the first stream data, and store the generated motion image data in the storage device.

撮像装置3は、撮像した動画像データをリアルタイムで出力することができる構成であればよく、広く普及しているIPカメラなど動画像を撮影可能な種々のカメラを使用することができる。   The imaging device 3 only needs to have a configuration capable of outputting captured moving image data in real time, and various cameras capable of capturing moving images such as a widely used IP camera can be used.

[伝送装置]
伝送装置1は、撮像装置3から第一ストリームデータを受信する受信部11と、受信又は生成したストリームデータを記憶する記憶部12と、記憶部12に記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理部13と、第二ストリームデータを送信する送信部14と、を有する。
[Transmission equipment]
The transmission device 1 includes a receiving unit 11 that receives first stream data from the imaging device 3, a storage unit 12 that stores received or generated stream data, and a re-encoding process for the first stream data stored in the storage unit 12. And a processing unit 13 that generates the compressed second stream data and a transmission unit 14 that transmits the second stream data.

伝送装置1と撮像装置3は、PoE接続など通信ケーブル2を介して伝送装置1から撮像装置3へ電力供給可能に接続されている。図示の実施例では、1台の伝送装置1に1台の撮像装置3が接続されているが、伝送装置1には複数の撮像装置3を接続してもよい。また、撮像装置3の電源が確保できる場合には、有線又は無線LANなどの一般的なネットワークを介して相互に接続してもよい。   The transmission apparatus 1 and the imaging apparatus 3 are connected to the imaging apparatus 3 from the transmission apparatus 1 via a communication cable 2 such as PoE connection so that power can be supplied. In the illustrated embodiment, one imaging device 3 is connected to one transmission device 1, but a plurality of imaging devices 3 may be connected to the transmission device 1. Further, when the power supply of the imaging device 3 can be ensured, they may be connected to each other via a general network such as a wired or wireless LAN.

実施例において、伝送装置1は、ルータ機能を備えており、インターネットなどの広域ネットワーク4に無線接続されている。撮像装置3は、伝送装置1を介してネットワーク4に接続されており、ネットワーク4にアクセス可能な受信端末6に動画像を配信することができる。また、撮像装置3は、受信端末6から撮影条件など各種設定が可能になっている。なお、伝送装置1は、ネットワーク4に有線で接続してもよいが、撮像装置3の設置可能範囲が広がることから、無線接続できることが好ましい。   In the embodiment, the transmission device 1 has a router function and is wirelessly connected to a wide area network 4 such as the Internet. The imaging device 3 is connected to the network 4 via the transmission device 1, and can distribute a moving image to a receiving terminal 6 that can access the network 4. In addition, the imaging apparatus 3 can be set for various settings such as shooting conditions from the receiving terminal 6. The transmission device 1 may be connected to the network 4 by wire, but it is preferable that the transmission device 1 can be connected wirelessly because the installation range of the imaging device 3 is expanded.

受信部11は、通信ケーブル2を介して撮像装置3からリアルタイムで第一ストリームデータを受信し、記憶部12にストリームプロファイルデータをそのまま一時保存する。   The receiving unit 11 receives the first stream data from the imaging device 3 via the communication cable 2 in real time, and temporarily stores the stream profile data in the storage unit 12 as it is.

記憶部12は、例えばROMやRAMなどのメモリ及びハードディスクを備えている。記憶部12には、処理部13の各種処理を実行するためのプログラムなどが格納されるプログラム領域と、このプログラムの実行過程で生成される作業データなどを一時的に記憶するワーク領域などが割り当てられている。また、記憶部12には、撮像装置3から受信した第一ストリームデータと、処理部13で生成される第二ストリームデータを記憶する。   The storage unit 12 includes a memory such as a ROM or a RAM and a hard disk, for example. The storage unit 12 is assigned with a program area for storing a program for executing various processes of the processing unit 13 and a work area for temporarily storing work data generated during the execution of the program. It has been. The storage unit 12 stores the first stream data received from the imaging device 3 and the second stream data generated by the processing unit 13.

処理部13は、プロセッサなどの電子回路であり、伝送装置1の制御と、記憶部12に記憶された第一ストリームデータの再エンコード処理などを行う。本実施例において、処理部13は、第一ストリームデータに対して、デコードしないで再エンコードするトランスコード処理を行う。処理部13は、第一ストリームデータのYUV画像データから更に色差信号を間引く間引き処理を行い、次に、画像データのサイズを縮小する縮小処理を行う。画像データサイズは、例えば1280×720pixelに縮小される。本実施例では、動画像のスムーズな再生のために、フレームレートは30fpsから変更しない。   The processing unit 13 is an electronic circuit such as a processor, and performs control of the transmission apparatus 1 and re-encoding processing of the first stream data stored in the storage unit 12. In the present embodiment, the processing unit 13 performs transcoding processing for re-encoding the first stream data without decoding. The processing unit 13 performs a thinning process for further thinning out the color difference signal from the YUV image data of the first stream data, and then performs a reduction process for reducing the size of the image data. The image data size is reduced to, for example, 1280 × 720 pixels. In this embodiment, the frame rate is not changed from 30 fps for smooth playback of moving images.

色差信号の間引き処理は、YUV画像データの輝度信号(Y)はそのままにして、色差信号(U,V)のみ間引き処理を行う。本実施例では、UとVそれぞれの水平方向と垂直方向を半分に間引いた4:2:0フォーマットに変換される。処理部13は、第一ストリームデータをH.264規格で再エンコード処理し、生成される第二ストリームデータのビットレートが500kbps程度になるように、一般的なトランスコード処理に加えて色差信号の間引き処理を行う。例えば、動画像データは、ベースラインプロファイルのレベル3で圧縮される。なお、動画像データの圧縮処理は、現在の規格ではH.264規格で圧縮することが好ましいが、規格やフォーマットは実施例に限らず、他の規格やフォーマットを用いてもよい。   In the color difference signal thinning process, the luminance signal (Y) of the YUV image data is left as it is, and only the color difference signals (U, V) are thinned out. In this embodiment, the image is converted into 4: 2: 0 format in which the horizontal and vertical directions of U and V are thinned in half. The processing unit 13 converts the first stream data to H.264. In addition to the general transcoding process, the color difference signal is thinned out so that the bit rate of the second stream data generated by the re-encoding process according to the H.264 standard is about 500 kbps. For example, moving image data is compressed at level 3 of the baseline profile. Note that moving image data compression processing is H.264 in the current standard. However, the standard or format is not limited to the embodiment, and other standards and formats may be used.

処理部13は、YUV画像データの構成要素を変更するYUVフィルタを備えている。YUVフィルタは、YUVそれぞれにスケール用パラメータが設定されており、Yパラメータは輝度を調整し、Uパラメータは青色のカラーバランスを調整し、Vパラメータは赤色のバランスを調整する。   The processing unit 13 includes a YUV filter that changes components of the YUV image data. In the YUV filter, scale parameters are set for each YUV, the Y parameter adjusts the luminance, the U parameter adjusts the blue color balance, and the V parameter adjusts the red balance.

受信部11で受信した第一ストリームデータがRGBフォーマットの場合、処理部13は、第一ストリームデータの画像データを輝度信号(Y)と色差信号(U,V)からなるYUV画像データに変換した後、色差信号を間引く間引き処理を行う。処理部13は、画像データのUとVそれぞれの水平方向と垂直方向を半分に間引いた4:2:0フォーマットに変換する。処理部13は、第一ストリームデータをH.264規格で再エンコード処理し、生成される第二ストリームデータのビットレートが500kbps程度になるように、一般的なトランスコード処理に加えて色差信号の間引き処理を行う。受信部11は、第一ストリームデータの形式にかかわらず、プログレッシブ形式で第二ストリームデータを生成することが好ましい。   When the first stream data received by the receiving unit 11 is in the RGB format, the processing unit 13 converts the image data of the first stream data into YUV image data including a luminance signal (Y) and color difference signals (U, V). Thereafter, a thinning process for thinning out the color difference signals is performed. The processing unit 13 converts the image data into a 4: 2: 0 format in which the horizontal and vertical directions of U and V are thinned in half. The processing unit 13 converts the first stream data to H.264. In addition to the general transcoding process, the color difference signal is thinned out so that the bit rate of the second stream data generated by the re-encoding process according to the H.264 standard is about 500 kbps. It is preferable that the receiving unit 11 generates the second stream data in a progressive format regardless of the format of the first stream data.

処理部13で生成された第二ストリームデータは、記憶部12に記憶されると共に、送信部14からネットワーク4を介してクラウドシステム5及び受信端末6へ送信される。   The second stream data generated by the processing unit 13 is stored in the storage unit 12 and is transmitted from the transmission unit 14 to the cloud system 5 and the reception terminal 6 via the network 4.

送信部14は、無線通信機能を備えており、インターネットなどの広域ネットワーク4に無線接続されている。送信部14は、生成された第二ストリームデータをリアルタイムで受信端末6へ送信すると同時にクラウドシステムへアップロードする。また、送信部14は、受信端末からの要求に応じて、記憶部12に記憶された第二ストリームデータを録画配信する。なお、送信部14は、ネットワーク4に有線で接続してもよい。   The transmission unit 14 has a wireless communication function and is wirelessly connected to a wide area network 4 such as the Internet. The transmission unit 14 transmits the generated second stream data to the reception terminal 6 in real time and simultaneously uploads it to the cloud system. Further, the transmission unit 14 records and distributes the second stream data stored in the storage unit 12 in response to a request from the receiving terminal. The transmission unit 14 may be connected to the network 4 by wire.

[受信側機器]
クラウドシステム5は、ネットワーク4を介して伝送装置1と接続されており、API(アプリケーションプログラミングインターフェース)を使用して連携している。クラウドシステム5は、伝送装置1からアップロードされた第二ストリームデータを記憶装置に記憶する。クラウドシステム5は、第二ストリームデータをリアルタイムで受信端末に送信することができ、また、受信端末からの要求に応じて第二ストリームデータを録画配信する。
[Receiving device]
The cloud system 5 is connected to the transmission apparatus 1 via the network 4 and cooperates using an API (Application Programming Interface). The cloud system 5 stores the second stream data uploaded from the transmission device 1 in the storage device. The cloud system 5 can transmit the second stream data to the receiving terminal in real time, and record and distribute the second stream data in response to a request from the receiving terminal.

受信端末6は、インターネットなどの広域ネットワーク4に接続可能なパーソナルコンピュータ、タブレット端末、スマートフォンなどである。受信端末6は、伝送装置1又はクラウドシステム5にアクセスして、撮像装置3が撮像した動画像をライブ視聴又は録画視聴することができる。また、受信端末6は、クラウドシステム5にアクセスして、クラウドシステム5の機器管理やリモート操作、伝送装置1の設定変更などの管理を行うことができる。   The receiving terminal 6 is a personal computer, a tablet terminal, a smartphone, or the like that can be connected to the wide area network 4 such as the Internet. The receiving terminal 6 can access the transmission apparatus 1 or the cloud system 5 to view a moving image captured by the imaging apparatus 3 live or recorded. Further, the receiving terminal 6 can access the cloud system 5 and perform management such as device management and remote operation of the cloud system 5 and setting change of the transmission apparatus 1.

[伝送装置の動作]
以下、図2を参照しながら、本実施例1に係る伝送装置1の動作について説明する。図2は、本発明に係る動画像伝送方法の一実施例を示すフローチャートである。
[Transmission device operation]
Hereinafter, the operation of the transmission apparatus 1 according to the first embodiment will be described with reference to FIG. FIG. 2 is a flowchart showing an embodiment of the moving picture transmission method according to the present invention.

本発明の動画像伝送方法は、ネットワーク4に接続された動画像の撮像装置3から配信される第一ストリームデータを伝送する方法であって、撮像装置3から第一ストリームデータを受信する受信工程と、受信した第一ストリームデータを一時的に記憶する一時記憶工程と、記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理工程と、第二ストリームデータを記憶する記憶工程と、第二ストリームデータを送信する送信工程と、を有する。   The moving image transmission method of the present invention is a method for transmitting the first stream data distributed from the moving image imaging device 3 connected to the network 4, and receiving the first stream data from the imaging device 3. A temporary storage step for temporarily storing the received first stream data, a processing step for re-encoding the stored first stream data to generate a compressed second stream data, and a second stream data A storage step of storing, and a transmission step of transmitting the second stream data.

撮像装置3は、撮像部31で動画像を撮像すると、赤(R)緑(G)青(B)の各画像からなるRGB画像データを輝度信号(Y)と色差信号(U,V)からなるYUV画像データに変換する(ステップS1)。撮像装置3による動画像の撮像は、ネットワーク4を介して制御することができる。   When the imaging unit 31 captures a moving image, the imaging device 3 converts RGB image data including red (R), green (G), and blue (B) images from the luminance signal (Y) and the color difference signals (U, V). Is converted into YUV image data (step S1). The capturing of moving images by the imaging device 3 can be controlled via the network 4.

撮像装置3は、エンコード部32において、色差信号(U,V)をYUV4:2:0フォーマットに間引き処理し、H.264規格で圧縮処理して第一ストリームデータを生成する(ステップS2)。第一ストリームデータは、例えば画像データのサイズが1980×1080pixelで、フレームレートが30fpsである。第一ストリームデータは撮像装置3の最大解像度でプログレッシブ信号を使用することが好ましい。   The imaging device 3 thins out the color difference signals (U, V) in the YUV 4: 2: 0 format in the encoding unit 32, and the H.264 format. The first stream data is generated by compression processing according to the H.264 standard (step S2). The first stream data has, for example, image data size of 1980 × 1080 pixels and a frame rate of 30 fps. The first stream data preferably uses a progressive signal at the maximum resolution of the imaging device 3.

撮像装置3は、生成された第一ストリームデータを内部メモリに一時的に保存する(ステップS3)。   The imaging device 3 temporarily stores the generated first stream data in the internal memory (step S3).

撮像装置3は、伝送装置1からのリクエストを待機する(ステップS4)。伝送装置1は、受信端末6又はクラウドシステム5からの指示によって、撮像装置3に第一ストリームデータを出力するようにリクエストする。出力部33は、伝送装置1からのリクエストを受けて、第一ストリームデータをリアルタイムで出力する(ステップS5)。   The imaging device 3 waits for a request from the transmission device 1 (step S4). The transmission device 1 requests the imaging device 3 to output the first stream data according to an instruction from the reception terminal 6 or the cloud system 5. The output unit 33 receives the request from the transmission device 1 and outputs the first stream data in real time (step S5).

伝送装置1は、受信部11で第一ストリームデータを受信すると、記憶部12にストリームプロファイルデータをそのまま一時保存する(ステップS6)。このとき、データはMPEG形式で保存する。   When the receiving unit 11 receives the first stream data, the transmission device 1 temporarily stores the stream profile data in the storage unit 12 as it is (step S6). At this time, the data is stored in the MPEG format.

伝送装置1は、処理部13において、YUV画像データの輝度信号(Y)はそのままにして、色差信号(U,V)のみ間引き処理を行う(ステップS7)。処理部13は、人の視覚特性を利用して、色差信号の間引き処理が行われている第一ストリームデータにおいて更に色差信号の間引き処理を行う。   In the transmission device 1, the processing unit 13 performs the thinning process on only the color difference signals (U, V) while keeping the luminance signal (Y) of the YUV image data as it is (step S7). The processing unit 13 further performs a color difference signal thinning process on the first stream data on which the color difference signal thinning process is performed, using human visual characteristics.

処理部13は、ルックアップテーブルYUVフィルタを用いて、YUVの画素形式を部分的に修正する。色差信号(U,V)の間引き処理は、画素の間引きと諧調の圧縮とを組み合わせて行うことができる。   The processing unit 13 partially corrects the YUV pixel format using a lookup table YUV filter. The thinning processing of the color difference signals (U, V) can be performed by combining pixel thinning and gradation compression.

処理部13は、色差信号の間引き処理が行われた画像データのサイズを縮小する縮小処理を行う(ステップS8)。画像データのサイズは、例えば1280×720pixelに縮小される。なお、フレームレートは30fpsから変更しない。撮像装置3で生成される第一ストリームデータは、インターレース信号のものとプログレッシブ信号のものがあるため、処理部13は、プログレッシブ信号を使用してストリームデータを生成する。   The processing unit 13 performs a reduction process for reducing the size of the image data on which the color difference signal has been thinned (step S8). The size of the image data is reduced to, for example, 1280 × 720 pixels. The frame rate is not changed from 30 fps. Since the first stream data generated by the imaging device 3 includes an interlace signal and a progressive signal, the processing unit 13 generates stream data using the progressive signal.

処理部13は、動画像データをH.264規格で再エンコード処理して、第二ストリームデータを生成する(ステップS9)。処理部13は、生成される第二ストリームデータのビットレートが500kbps以下になるように指定し、フレーム間予測やエントロピー符号化などの圧縮処理も行う。   The processing unit 13 converts the moving image data to H.264. The second stream data is generated by re-encoding processing according to the H.264 standard (step S9). The processing unit 13 specifies that the bit rate of the generated second stream data is 500 kbps or less, and performs compression processing such as inter-frame prediction and entropy coding.

伝送装置1は、生成された第二ストリームデータを記憶部12に保存すると同時に、送信部14において、ネットワーク4を介して第二ストリームデータを受信端末6又はクラウドシステム5へ送信する(ステップS10)。   The transmission apparatus 1 stores the generated second stream data in the storage unit 12 and simultaneously transmits the second stream data to the reception terminal 6 or the cloud system 5 via the network 4 in the transmission unit 14 (step S10). .

本発明の動画像伝送方法は、色情報を視覚的にもきれいな動画像を維持しつつ、従来にない高圧縮処理を可能にした。本動画像伝送方法は、ハイビジョン画質と一般的なフレームレートを維持しつつ500kbps以下まで動画像データのサイズを小さくすることができた。これにより、上りの通信速度が1Mbps程度しかないネットワークを介してもきれいな動画像データを安定的にライブ配信することが可能になった。また、本発明の動画像伝送方法は、動画像データの圧縮処理を分散させたことにより、撮像装置3やクラウドシステム5の負担を軽減させることができる。   The moving image transmission method of the present invention enables unprecedented high compression processing while maintaining a visually beautiful moving image of color information. This moving image transmission method can reduce the size of moving image data to 500 kbps or less while maintaining high-definition image quality and a general frame rate. As a result, it has become possible to stably deliver live video data in a stable manner even through a network where the uplink communication speed is only about 1 Mbps. In addition, the moving image transmission method of the present invention can reduce the burden on the imaging device 3 and the cloud system 5 by distributing the compression processing of moving image data.

本発明の別の実施例としては、伝送装置1がクラウドシステムであってもよい。このときは、伝送装置1と撮像装置3はネットワークを介して接続される。その他の構成は、実施例1の構成と同様である。   As another embodiment of the present invention, the transmission apparatus 1 may be a cloud system. At this time, the transmission device 1 and the imaging device 3 are connected via a network. Other configurations are the same as those of the first embodiment.

伝送装置1がクラウドシステムである場合には、撮像装置3から伝送装置1への第一ストリームデータの送信負荷を軽減することはできないが、クラウドシステムにおける記憶容量の低減と記憶速度の向上を図ることができる。また、帯域の狭いところにある受信端末6からも、コマ落ちすることなくライブ視聴が可能になる。   When the transmission device 1 is a cloud system, the transmission load of the first stream data from the imaging device 3 to the transmission device 1 cannot be reduced, but the storage capacity and the storage speed of the cloud system are reduced. be able to. Also, live viewing can be performed from the receiving terminal 6 in a narrow band without dropping frames.

1 伝送装置
2 通信ケーブル
3 撮像装置
4 ネットワーク
5 クラウドシステム
6 受信端末
11 受信部
12 記憶部
13 処理部
14 送信部
31 撮像部
32 エンコード部
33 出力部
DESCRIPTION OF SYMBOLS 1 Transmission apparatus 2 Communication cable 3 Imaging apparatus 4 Network 5 Cloud system 6 Receiving terminal 11 Receiving part 12 Storage part 13 Processing part 14 Transmitting part 31 Imaging part 32 Encoding part 33 Output part

また、本発明の動画像伝送方法は、前記送信工程が、ネットワークを介して制御可能に接続されたクラウドシステムに前記第二ストリームデータをアップロードする工程と、受信端末からのリクエストに応じて前記第二ストリームデータを送信する工程と、を含むものである。 Further, in the moving image transmission method of the present invention, the transmission step uploads the second stream data to a cloud system that is controllably connected via a network, and the request is received from the receiving terminal. Transmitting two stream data.

また、本発明の動画像伝送方法は、前記送信工程が、ネットワークを介して制御可能に接続されたクラウドシステムに前記第二ストリームデータをアップロードする工程と、受信端末からのリクエストに応じて前記第二ストリームデータを送信する工程と、を含むことにより、通常時はストリームデータを直にライブ配信又は録画配信する一方、接続しているネットワークの帯域が減少したときには、クラウドシステムからストリームデータをライブ配信又は録画配信することができ、常に動画像を受信端末に伝送することができる効果がある。

Further, in the moving image transmission method of the present invention, the transmission step uploads the second stream data to a cloud system that is controllably connected via a network, and the request is received from the receiving terminal. Sending the two stream data, and in the normal case, the stream data is directly distributed live or recorded, while the stream data is distributed live from the cloud system when the bandwidth of the connected network decreases. Alternatively, it can be recorded and distributed, and a moving image can be always transmitted to the receiving terminal.

Claims (11)

動画像を撮像する撮像手段と、撮像した動画像をエンコード処理して第一ストリームデータを生成するエンコード手段と、生成された第一ストリームデータを出力する出力手段とを含む撮像装置に直接又はネットワークを介して接続され、ネットワークを介して受信端末に動画像を伝送する動画像伝送装置であって、
前記撮像装置から前記第一ストリームデータを受信する受信手段と、
受信又は生成したストリームデータを記憶する記憶手段と、
前記記憶手段に記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理手段と、
前記第二ストリームデータを送信する送信手段と、
を有する動画像伝送装置。
Directly or networked to an imaging apparatus including an imaging unit that captures a moving image, an encoding unit that encodes the captured moving image to generate first stream data, and an output unit that outputs the generated first stream data Is a moving image transmission apparatus that transmits a moving image to a receiving terminal via a network,
Receiving means for receiving the first stream data from the imaging device;
Storage means for storing received or generated stream data;
Processing means for generating second stream data obtained by re-encoding and compressing the first stream data stored in the storage means;
Transmitting means for transmitting the second stream data;
A moving image transmission apparatus.
前記再エンコード処理が、前記第一ストリームデータの画像データを輝度信号と色差信号からなるYUV画像データに変換し、該色差信号を間引く間引き処理を含む請求項1に記載の動画像伝送装置。   The moving image transmission apparatus according to claim 1, wherein the re-encoding process includes a thinning process in which the image data of the first stream data is converted into YUV image data including a luminance signal and a color difference signal, and the color difference signal is thinned out. 前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれたYUV4:2:2フォーマット又はYUV4:2:0フォーマットであり、
前記再エンコード処理が、前記第一ストリームデータの画像データから更に前記色差信号を間引く間引き処理を含む請求項1に記載の動画像伝送装置。
The first stream data is in YUV 4: 2: 2 format or YUV 4: 2: 0 format in which captured image data is converted into YUV image data composed of a luminance signal and a color difference signal, and the color difference signal is thinned out. ,
The moving image transmission apparatus according to claim 1, wherein the re-encoding process includes a thinning process for further thinning out the color difference signal from the image data of the first stream data.
前記第二ストリームデータはYUV4:2:0フォーマットである請求項2又は請求項3に記載の動画像伝送装置。   The moving image transmission apparatus according to claim 2 or 3, wherein the second stream data is in a YUV 4: 2: 0 format. 前記再エンコード処理が、前記間引き処理の後に、前記画像データのサイズを縮小する縮小処理を含む請求項2乃至請求項4の何れか一項に記載の動画像伝送装置。   The moving image transmission apparatus according to claim 2, wherein the re-encoding process includes a reduction process for reducing a size of the image data after the thinning process. 請求項1乃至請求項5の何れか一項に記載の動画像伝送装置であって、ルータ機能を備えた動画像伝送装置。   6. The moving image transmission apparatus according to claim 1, wherein the moving image transmission apparatus has a router function. 前記ネットワークを介してクラウドシステムと制御可能に接続され、前記送信手段が前記第二ストリームデータを前記クラウドシステムにアップロードする手段を備えた請求項6に記載の動画像伝送装置。   The moving image transmission apparatus according to claim 6, which is controllably connected to the cloud system via the network, and wherein the transmission unit includes a unit that uploads the second stream data to the cloud system. ネットワークに接続された動画像撮像装置から配信される第一ストリームデータを伝送する動画像伝送方法であって、
前記動画像撮像装置から前記第一ストリームデータを受信する受信工程と、
受信した第一ストリームデータを一時的に記憶する一時記憶工程と、
記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理工程と、
前記第二ストリームデータを記憶する記憶工程と、
前記第二ストリームデータを送信する送信工程と、
を有する動画像伝送方法。
A moving image transmission method for transmitting first stream data distributed from a moving image imaging device connected to a network,
A receiving step of receiving the first stream data from the moving image capturing device;
A temporary storage step of temporarily storing the received first stream data;
A process for generating a second stream data obtained by re-encoding and compressing the stored first stream data;
A storing step of storing the second stream data;
A transmission step of transmitting the second stream data;
A moving picture transmission method comprising:
前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれた画像データからなるYUVフォーマットであり、
前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引き、YUVフォーマットに再変換する工程を含む請求項8に記載の動画像伝送方法。
The first stream data is a YUV format consisting of image data in which captured image data is converted into YUV image data composed of a luminance signal and a color difference signal, and the color difference signal is thinned out;
The moving image transmission method according to claim 8, wherein the processing step includes a step of further thinning out the color difference signal from the image data of the first stream data and reconverting it into a YUV format.
前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引いた後に、前記画像データのサイズを縮小する工程を含む請求項9に記載の動画像伝送方法。   The moving image transmission method according to claim 9, wherein the processing step includes a step of reducing the size of the image data after further thinning out the color difference signal from the image data of the first stream data. 前記通信工程が、ネットワークを介して制御可能に接続されたクラウドシステムに前記第二ストリームデータをアップロードする工程と、受信端末からのリクエストに応じて前記第二ストリームデータを送信する工程と、を含む請求項10に記載の動画像伝送方法。   The communication step includes a step of uploading the second stream data to a cloud system that is controllably connected via a network, and a step of transmitting the second stream data in response to a request from a receiving terminal. The moving image transmission method according to claim 10.
JP2016096139A 2016-05-12 2016-05-12 Moving picture transmission apparatus and moving picture transmission method Active JP6045051B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016096139A JP6045051B1 (en) 2016-05-12 2016-05-12 Moving picture transmission apparatus and moving picture transmission method
PCT/JP2017/017762 WO2017195844A1 (en) 2016-05-12 2017-05-10 Moving image transmission device and moving image transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016096139A JP6045051B1 (en) 2016-05-12 2016-05-12 Moving picture transmission apparatus and moving picture transmission method

Publications (2)

Publication Number Publication Date
JP6045051B1 JP6045051B1 (en) 2016-12-14
JP2017204767A true JP2017204767A (en) 2017-11-16

Family

ID=57543846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016096139A Active JP6045051B1 (en) 2016-05-12 2016-05-12 Moving picture transmission apparatus and moving picture transmission method

Country Status (2)

Country Link
JP (1) JP6045051B1 (en)
WO (1) WO2017195844A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284005A (en) * 2002-01-15 2003-10-03 Sony Corp Data processing device
JP2007228459A (en) * 2006-02-27 2007-09-06 Ikegami Tsushinki Co Ltd Monitoring system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702015B2 (en) * 2003-03-20 2010-04-20 Ge Security, Inc. Systems and methods for multi-resolution image processing
JP2006333254A (en) * 2005-05-27 2006-12-07 Fujifilm Holdings Corp Moving image real time communication terminal, and method and program for controlling moving image real time communication terminal
US8428120B2 (en) * 2007-12-11 2013-04-23 Taiwan Imagingtek Corporation Method and apparatus of Bayer pattern direct video compression
WO2009094591A2 (en) * 2008-01-24 2009-07-30 Micropower Appliance Video delivery systems using wireless cameras
US20110007159A1 (en) * 2009-06-06 2011-01-13 Camp David M Video surveillance system and associated methods
JP2012090172A (en) 2010-10-21 2012-05-10 Canon Inc Monitoring camera, monitoring camera control method, and network camera system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284005A (en) * 2002-01-15 2003-10-03 Sony Corp Data processing device
JP2007228459A (en) * 2006-02-27 2007-09-06 Ikegami Tsushinki Co Ltd Monitoring system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
出原 優一 YUICHI IDEHARA: "JPEG2000スケーラブル配信を用いた映像監視システムの検討", FIT2004 第3回情報科学技術フォーラム 一般講演論文集 第4分冊 インターネット ネットワーク, vol. 第4分冊, JPN6016030234, 20 August 2004 (2004-08-20), pages 119 - 120, ISSN: 0003375112 *

Also Published As

Publication number Publication date
WO2017195844A1 (en) 2017-11-16
JP6045051B1 (en) 2016-12-14

Similar Documents

Publication Publication Date Title
JP6610735B2 (en) Image processing apparatus and image processing method
US11706448B2 (en) Image processing apparatus and image processing method
KR102498725B1 (en) Image encoding device, image encoding method and recording medium
JP4488027B2 (en) Information processing apparatus and method, and information processing system
WO2015104891A1 (en) Image processing device and image processing method
KR102012037B1 (en) Transcoding and encryption transmission device of video and audio data of IP based CCTV camera
KR102309086B1 (en) Device and method for encoding image, and device and method for decoding image
JPWO2011013349A1 (en) Video data processing apparatus and video data processing system
CN104247407A (en) Data, multimedia & video transmission updating system
CN111901630A (en) Data transmission method, device, terminal equipment and storage medium
JP2007325109A (en) Distribution server, network camera, distribution method, and program
WO2013011671A1 (en) Transmission device and transmission method
KR102050417B1 (en) System and method for networking
US9948903B2 (en) Method for configuration of video stream output from a digital video camera
Ramil et al. Real-time video server implementation for a mobile robot
KR101164365B1 (en) 4 channels screen method of video monitoring device for a car
KR20050115226A (en) Transmission control device and method, recording medium, and program
JP4799191B2 (en) Communication terminal, communication system, and communication method
JP6045051B1 (en) Moving picture transmission apparatus and moving picture transmission method
CN116962613A (en) Data transmission method and device, computer equipment and storage medium
KR20130122117A (en) Method and apparatus for transmitting a moving image in a real time
KR101291559B1 (en) Apparatus and method for real time image compression
KR20140072668A (en) Network camera server and method for processing video stream thereof
Mohammed et al. Ultra-High-Definition Video Transmission for Mission-Critical Communication Systems Applications
KR20180087697A (en) Camera and profile managing method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161110

R150 Certificate of patent or registration of utility model

Ref document number: 6045051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250