CN101335886A - 数据通信装置及数据通信方法 - Google Patents
数据通信装置及数据通信方法 Download PDFInfo
- Publication number
- CN101335886A CN101335886A CNA2008101306127A CN200810130612A CN101335886A CN 101335886 A CN101335886 A CN 101335886A CN A2008101306127 A CNA2008101306127 A CN A2008101306127A CN 200810130612 A CN200810130612 A CN 200810130612A CN 101335886 A CN101335886 A CN 101335886A
- Authority
- CN
- China
- Prior art keywords
- frame
- coded frame
- data
- coded
- data communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006854 communication Effects 0.000 title claims abstract description 226
- 238000004891 communication Methods 0.000 title claims abstract description 225
- 238000000034 method Methods 0.000 title claims description 41
- 230000006835 compression Effects 0.000 claims abstract description 70
- 238000007906 compression Methods 0.000 claims abstract description 70
- 238000012544 monitoring process Methods 0.000 claims description 74
- 230000005236 sound signal Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 29
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 5
- RTZKZFJDLAIYFH-UHFFFAOYSA-N Diethyl ether Chemical compound CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000000452 restraining effect Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/64322—IP
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明是一种数据通信装置，用于解决在生成多个数据流的编码帧的情况下，所生成的编码帧的编码量具有偏倚，且通信装置发生瞬间性的过负荷，从而发生数据包损失的问题。作为数据通信装置的网络摄像终端(300)，具备获取图像或者声音信息的传感器部(301)、压缩编码图像或者声音信号以生成编码帧(I帧、P帧、B帧等等)的压缩部(303)、使用保持于生成表保持部(306)的生成表来控制在压缩部(303)生成的编码帧的种类的帧控制部(305)、在网络上将编码帧向多个通信终端进行并行的发送的通信部(304)。
Description
技术领域
本发明涉及一种数据通信装置，使用IP(Internet Protocol：互联网协议)数据包的变换处理技术，将被压缩编码的图像或声音信号通过互联网等计算机网络进行实时通信。
背景技术
近几年，利用网络电路将包含图像或声音信息的数字数据进行传送成为非常普遍的被施行的方法。这些图像或声音信息以各种各样的形态被利用，在此之中，以监视、观测为目的的情况也不少。这些都是将摄像机和图像处理器以及网络通信设备进行组合的装置，用户经由网络来访问被设置在想要阅览的图像或声音的部分的装置，能够阅览远地的图像或声音。
图1是表示以往的网络摄像机终端101的结构例的参考图。使用图1来说明网络摄像机终端101的图像数据的发送处理。网络摄像机终端101由输入图像信息的传感器部102、对从传感器部102取来的图像施行Y/C(亮度/色度)处理的Y/C部103、压缩编码Y/C数据并生成编码帧的压缩部104、将编码帧数据包化并进行通信的通信部105构成。上述编码帧的种类大致上分为第一种和第二种。I帧属于第一种编码帧，P帧及B帧属于第二种编码帧。第一种编码帧的编码量比第二种编码帧的编码量多。
首先，从传感器部102输入被输入的图像信息。传感器部102数字变换所述图像或者声音信息，并将其传送到Y/C部103。Y/C部103将接受的数据进行Y/C处理，并进行大小变换，以成为VGA或QVGA等的大小。压缩部104从Y/C部103接受数据，进行MPEG等的压缩编码处理，并生成编码帧。通信部105接受所述编码帧，并通过WAN(Wide Area Network：广域网)或者LAN(Local Area Network：局域网)等网络，向多个通信对象106进行发送。
在本图中，例如，从网络摄像机终端101通过网络向多个通信终端106发送的图像数据是，VGA(Video Graphics Array：视频图形阵列，主要为用于PC使用的高分辨率的图像信息)、QVGA(QuarterVGA：大小为VGA的四分之一，主要为PDA或移动电话所利用的低分辨率的图像)、QQVGA(Quarter Quarter VGA：大小为VGA的四分之一的四分之一，主要为移动电话用所使用的较低分辨率的图像)。
可是，例如，虽然以MPEG方式被压缩编码的编码帧，由只依据本身的数据就能够解码的I帧、使用在帧间预测的正向预测的被编码的P帧和、使用在帧间预测的双向预测的被编码的B帧构成，但是，在这些I帧和P帧或者B帧之间会产生编码量的差异。具体而言，I帧和P帧或者B帧的编码量的比例一般是3比1。因此，在I帧被生成的帧区间，网络发送的编码量在局部增大，超过了平均的发送编码量。进而，在从一个图像或者声音信号生成多个编码帧并且并行发送的情况下，如果在同一帧区间同时生成I帧，则所发送的编码量会瞬间性地增大，从而超出网络能够发送的频带。
图2是表示在三个不同图像分辨率的数据流#1、#2、#3被并行地向多个通信终端同时送信的情况下的编码量的偏倚的参考图。
在这种情况下，网络摄像机的发送处理和前述的图1的处理同样，按每一33ms的帧周期来进行。但是，在帧频变化的情况下，按每一33ms×N(N＝1，2，3...)的周期来进行。例如，30fps的情况下是33ms周期，15fps的情况下是66ms周期，10fps的情况下是99ms周期。
另外，在本说明书中，设帧频为30fps，将MPEG的编码帧限定于仅由只依据本身的数据就能够解码的I帧、和使用在帧间预测的正向预测的被编码的P帧构成的情况来进行说明，在此，即使帧频的变化或B帧被追加，也没有问题。
在图2里的不同的三个数据流中，于同一帧区间内生成I帧201、202、203。为此，I帧的帧内编码重叠在一起，生成超出通信装置的发送性能的编码帧，在生成I帧的区间中发送编码量增大，发生过负荷204。并且，为了发送过负荷204而发生最小帧区间33ms之间的发送处理。在此最小帧区间33ms以内发送处理不能完成的情况下，则不能按照以各个数据流所规定的帧频来发送编码帧。
并且，因为有必要按照预先规定了的帧频，在规定时间内发送各个数据流的编码帧，在不能够按照指定的帧频于规定时间内发送编码帧的情况下，所谓发生帧遗漏，则不能在接收方106连续再生动态图像。这个情况下，会给再生图像的质量带来不良影响。例如，在MPEG编码的情况下会很严重。如果I帧脱落，则直到下一个I帧到达为止，完全不再生图像。这是因为I帧是再生信息的基准信息。而且，如果P帧脱落，则因为没有差分信息而不再生正常的图像。
为此，由于编码量大的编码帧的发送处理需要时间，所以为了不使之发生帧遗漏而发送动态图像数据，有必要控制被生成的编码帧的各个编码量。
并且，在使用像MPEG方式那样的帧间预测的压缩编码中，发生编码量的变动幅度很大，在瞬间超出能够进行网络的发送的频带之事成为问题。尤其，在网络摄像机终端中，从一个影像源生成多个压缩编码帧，在将其同时送信的情况下，会更加增大发生编码量的变动幅度。
而且，作为控制上述的课题的编码量的技术，控制编码帧的生成定时的方法被广为知晓(例如，专利文献1)。
专利文献1：日本特开2004-140651号公报
但是，上述专利文献1具有以下两个课题。即，第一个课题是不能在任意的帧区间控制I帧的生成。在前述的专利文献1中是以帧为单位来移位对图像或者声音信号进行压缩的开始定时，以使I帧的生成定时在同一帧区间内不重复。因此，是以I帧的插入间距是固定的为前提，无法在任意的帧区间里控制I帧的生成。顺便说一下，在MPEG方式中比特率或帧频与I帧的插入间距无依赖关系，能够任意进行设定。
而且，第二个课题是，在上述专利文献1所示方法中，需要多个压缩部的结构。在前述的专利文献1中，从被输入的影像信号里检测出同步信号，并在多个压缩部生成多个各自不同的数据流。因此，是以数据通信装置中具有多个压缩部为前提，会增加数据通信装置的成本。另外，供一般消费者使用或商用的网络摄像机为了降低成本而只具备一个压缩部，并为了在同一帧区间生成多个不同数据流而将一个压缩部以时分来使用。
发明内容
本发明鉴于以上课题，目的在于提供一种数据通信装置，在通过网络向多个通信终端并行发送多个数据流的数据通信装置中，使用单独的压缩部，且在任意的帧区间都能够控制I帧的生成，并能够适当地抑制通信延迟的发生。
为了解决上述课题，涉及本发明的数据通信装置从被输入的图像或者声音信号生成多个被压缩编码的编码帧，并在网络上将包含该被生成的编码帧的多个数据流与多个通信终端进行并行的通信，所述数据通信装置包括：传感器部，获取图像或者声音信息；压缩部，生成多个编码帧，该多个编码帧是对在所述传感器部所获取的图像或者声音信号进行压缩编码，并按每一帧区间所生成的；帧控制部，控制在所述压缩部生成的所述编码帧的种类；以及通信部，通过网络将在所述压缩部被压缩编码的编码帧与多个通信终端进行并行的通信，所述帧控制部控制与各个数据流相对应的编码帧的种类，以使在同一帧区间不生成多个所述第一种编码帧。
根据这种结构，由于在以一个压缩部的结构的帧控制部中，例如，I帧在不同的帧区间被生成三个数据流，所以能够减少所发送的编码量，及减少在局部发生的编码量的偏倚，并能够使编码量被平滑化。
而且，涉及本发明的数据通信装置的所述帧控制部包括生成表保持部，该生成表保持部存储生成表，该生成表表示在所述压缩部生成的编码帧的种类的组合模式，按照所述生成表的编码帧的种类的组合模式，控制与各个数据流相对应的编码帧的种类，以使在同一帧区间不生成多个所述第一种编码帧。
根据这种结构，在帧控制部中使用生成表，在任意的帧区间都能够控制I帧的生成的同时，能够适当地控制不重复生成编码量多的帧。
而且，涉及本发明的所述帧控制部包括与各个数据流相对应的多个递减计数器部，使用所述递减计数器部的计数值，来控制与各个数据流相对应的编码帧的种类，以便变更所述编码帧的产生速率。
而且，涉及本发明的数据通信装置的所述帧控制部通过使所述多个递减计数器部的初始值在各个数据流中不重复，或者在所述多个递减计数器部的计数值重复的情况下，通过对该计数值进行加减运算，来控制与各个数据流相对应的编码帧的种类，以使在同一帧区间不生成多个所述第一种编码帧。
根据这种结构，在使用递减计数器部将多个数据流进行并行的通信的情况下，也能够适当地控制不重复生成编码量多的帧。
而且，涉及本发明的所述数据通信装置还包括，频带监视部，监视所述通信部的通信频带，所述频带监视部在通信频带超出规定量的情况下，通知所述帧控制部，所述帧控制部在接受了来自所述频带监视部的所述通知的情况下，进行控制，以便生成所述第二种编码帧。
而且，涉及本发明的数据通信装置还包括，CPU负荷监视部，监视CPU负荷率，所述CPU负荷监视部在CPU负荷率超出规定比率的情况下，通知所述帧控制部，所述帧控制部在接受了来自所述频带监视部的所述通知的情况下，进行控制，以便生成所述第二种编码帧。
而且，涉及本发明的所述数据通信装置还包括，编码量监视部，监视被生成的所述多个编码帧的编码量，所述编码量监视部在被生成的编码量超出规定量的情况下，通知所述帧控制部，所述帧控制部在接受了所述通知的情况下，进行控制，以便生成所述第二种编码帧。
根据这种结构，在使用频带监视部、CPU负荷监视部或者编码量监视部所生成的编码量超出规定量的情况下，通知所述帧控制部，所述帧控制部在接收了所述通知的情况下，能够进行控制，以便生成所述第二种编码帧。
另外，本发明不仅能够作为这样的数据通信装置来实现，也能够将具备这样的数据通信装置的有特点的单元作为步骤的数据通信方法来实现，或作为使计算机执行这些步骤的程序来实现。并且，不言而喻，这样的程序能够通过CD-ROM等记录介质或网络等的传送介质来送信。
涉及本发明的数据通信装置在网络上将多个数据流与多个通信终端并行的进行发送的情况下，能够适当减少在局部发生的编码量的偏倚，并能够实现编码量的平滑化。
而且，能够在任意的帧区间控制I帧的生成，并且能够是不需要多个压缩部的结构。
附图说明
图1表示以往的网络摄像机终端结构例的参考图。
图2表示在三个不同图像分辨率的数据流#1、#2、#3被并行地向多个通信终端同时送信的情况下的编码量的偏倚的参考图。
图3表示涉及实施例1的网络摄像机终端的结构的功能框图。
图4表示从涉及实施例1的网络摄像机终端发送的三个数据流中的编码量的平滑化的参考图。
图5是编码帧的生成表的参考图。
图6表示涉及实施例1的网络摄像机终端的工作程序的流程图。
图7表示涉及本实施例1的网络摄像机终端的各个处理部的时分处理的说明图的参考图。
图8表示涉及实施例2的网络摄像机终端的结构的功能框图。
图9表示涉及实施例2的网络摄像机终端的工作程序的流程图。
图10表示涉及实施例3的网络摄像机终端的结构的功能框图。
图11表示涉及实施例3的网络摄像机终端的频带监视部的工作程序的流程图。
图12表示涉及实施例4的网络摄像机终端的结构的功能框图。
图13表示涉及实施例4的网络摄像机终端的CPU负荷监视部的工作程序的流程图。
图14表示涉及实施例5的网络摄像机终端的结构的功能框图。
图15表示涉及实施例5的网络摄像机终端的编码量监视部的工作程序的流程图。
图16表示涉及实施例6的网络摄像机终端的结构的功能框图。
图17表示涉及实施例6的网络摄像机终端的帧模式监视部的工作程序的流程图。
图18表示涉及实施例7的网络摄像机终端的结构的功能框图。
图19表示涉及实施例7的网络摄像机终端的计数部的工作程序的流程图。
图20表示在将通信频带或CPU负荷率、或编码量的监视进行组合以同时进行监视的情况下的网络摄像机终端的工作程序的流程图。
图21表示涉及实施例8的网络摄像机终端的结构的功能框图。
图22表示涉及实施例9的网络摄像机终端的结构的功能框图。
图23表示涉及实施例10的网络摄像机终端的结构的功能框图。
附图标记说明
300、800、1000、1200、1400、1600、1800、2100、2200、2300 网络摄像机终端
301 传感器部
302 Y/C部
303 压缩部
304 通信部
305 帧控制部
305a、305b、305c 递减计数器部
306 生成表保持部
501 生成表
1001 频带监视部
1201 CPU负荷监视部
1401 编码量监视部
1601 帧模式监视部
1801 计数部
2101 通信控制部
2102 频带监视部
2103 数据分割部
2104 MTU部
具体实施方式
以下，参照附图对关于涉及本发明的数据通信装置的实施例进行说明。
(实施例1)
关于涉及本发明的数据通信装置的实施例1，以下参照附图来进行说明。
另外，涉及本实施例1的网络摄像机终端的特征在于，以在帧控制部的预先被保持的生成表中所记载的I帧的产生速率来产生与各个数据流相对应的I帧。而且，以下实施例的说明中的网络摄像机终端与在权利要求中所记载的数据通信装置相对应。
图3是表示涉及实施例1的网络摄像机终端300的结构的功能框图。
涉及本实施例1的网络摄像机终端300由输入图像信息的传感器部301、对从传感器部301取来的图像施行Y/C处理的Y/C部302、压缩编码Y/C数据并生成编码帧的压缩部303、将编码帧数据包化并进行通信的通信部304、控制在压缩部303所生成的编码帧的种类的帧控制部305构成。而且，帧控制部305具备生成表保持部306，该生成表保持部306保持在后述图5中所示的表示被生成的编码表的模式的生成表501。
在此，如图5所示，生成表501包含以多个数据流在同一帧区间内由压缩部生成的编码帧的组合模式。通过动态改写生成表501，可以动态地变更I帧的产生速率。而且，生成表501也可以用软件或者硬件安装。
另外，在网络摄像机终端300的结构上还存在保管处理数据的存储器、调停对存储器的存取控制的MCU(Memory Control Unit：存储器控制器)、配置执行程序的闪存、控制执行程序的CPU、连接各个处理部的内部总线，但是，本说明书为了简化说明，而省略对此的说明。
以下，对本实施例1中的网络摄像机终端300的工作处理进行说明。图6是表示涉及实施例1的网络摄像机终端300的工作程序的流程图。
首先，从传感器部301输入图像信息(S601)。传感器部301在数字变换所述图像信息后，将其传送到Y/C部302。Y/C部302读入传感器部301所传送的数字数据，并在Y/C处理后进行大小变换，且作为Y/C数据传送到压缩部303(S602)。
其次，压缩部303从Y/C部302接受Y/C数据，进行MPEG等的压缩编码处理，根据生成表501生成编码帧，并传送到通信部304(S603)。在此，被生成的编码帧按照生成表501的模式生成。生成表501在同一帧区间里进行模式生成，以便不生成多个数据流的编码量多的I帧。
其次，通信部304将所接受的编码帧，例如，施行IP协议处理，并通过WAN(Wide Area Network)或者LAN(Local Area Network)等网络，向PC或PDA、移动电话等各种通信终端发送适合各个通信终端的图像分辨率的编码帧(S604)。
另外，图4是表示从涉及实施例1的网络摄像机终端300发送的三个数据流中的编码量的平滑化的参考图。如本图所示，由于I帧在不同的帧区间被生成三个数据流，所以具有适当地减少所发送的编码量，并减少在局部发生的编码量的偏倚，及编码量被平滑化的效果。
而且，图7表示涉及本实施例1的网络摄像机终端300的各个处理部的时分处理的说明图。如本图所示，通过使用生成表来防止编码量多的编码帧被同时生成，传感器部301、Y/C部302、压缩部303、通信部304、及帧控制部305的各个处理被适当地进行时分，能够适当地防止发生通信延迟。
如上所述，在涉及本实施例1的网络摄像机终端中，具备一个压缩部，并且由于能够使用在帧控制部所保持的生成表进行控制，以使在各个数据流中所生成的I帧的生成定时不重复，所以在将多个数据流在网络上并行发送的数据通信装置中，能够易于减少在局部发生的编码量的偏倚，从而实现编码量的平滑。
(实施例2)
关于本发明的第2个实施例，以下参照附图来进行说明。
而且，涉及本实施例2的网络摄像机终端的特征在于，该网络摄像机终端不像上述实施例1那样，使用生成表来固定各个流中的I帧的产生速率，在各个流的I帧的产生速率发生变更的情况下，使用帧控制部所具备的递减计数器部进行控制，以使在多个流中不重复产生I帧。
图8是表示涉及实施例2的网络摄像机终端800的结构的功能框图。
涉及本实施例2的网络摄像机终端800除具有上述实施例1的结构之外，还具备用于对帧控制部的三个流中各自生成的控制帧的帧数进行计数的递减计数器部305a～305c。递减计数器部305a与多个流中的一个流相对应，并将所对应的流中的I帧的产生周期作为初始值，按每一帧区间进行递减。例如，如果I帧的产生周期是5帧，则初始值是5，计数值的1表示应该产生I帧的定时的帧区间。递减计数器部305b及305c除了所对应的流互相不同以外，与递减计数器部305a的结构一样。
以下，对第2个实施例中的网络摄像机终端的工作处理进行说明。首先，从传感器部301输入图像信息。传感器部301在数字变换所述图像信息之后，将其传送到Y/C部302。Y/C部302读入传感器部301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为Y/C数据传送到压缩部303。
其次，压缩部303从Y/C部302接受Y/C数据，进行MPEG等的压缩编码处理，并使用帧控制部305的递减计数器部305a～305c生成以及控制编码帧，且传送到通信部304。通信部304通过网络向通信对象发送所接受了的编码帧。
图9是表示在涉及本实施例2的网络摄像机终端使用递减计数器部进行控制，以使各个流中的I帧的产生时刻不重复的情况下的工作程序的流程图。
最初，确认在各个流中的I帧的产生速率是否具有变更(S901)。
其次，在递减计数器部305a～305c中，针对各个流的I帧的产生开始递减计数处理(S902)。例如，在以30fps即在30张中插入一张I帧的情况下，在1秒钟里进行从30到1的递减计数。
并且，根据递减计数器部305a～305c的任一计数值重复的事宜，来判断I帧的产生时是否重复，在重复的情况下(S903的“是”)，通过变更任一方的递减计数器的计数值(S904)，来防止各个流中的I帧的重复。另外，作为此计数值的变更方法，可以考虑到使计数值的初始值不重复地变更，或者在任一个递减计数值里加1等。
然后，这些处理进行到流结束(S905)为止。如上所述，在涉及本实施例2的网络摄像机终端中，由于具备对帧控制部里的各个流的I帧的产生进行递减计数的递减计数器部，所以能够适当地防止各个流中的I帧的重复产生，并能够易于减少在局部发生的编码量的偏倚，从而实现编码量的平滑。
另外，对关于在本实施例2中的利用递减计数器部305a～305c的递减计数值的例进行了说明，但是，也可以利用递增计数器和产生已设定的周期的定时器或计数器。
(实施例3)
关于本发明的第3个实施例，以下参照附图来进行说明。
图10是表示涉及本实施例3的网络摄像机终端1000的结构的功能框图，其特点是，除具有实施例1的结构之外，还具备监视通信部304的通信频带的频带监视部1001。
以下，对本实施例3中的网络摄像机终端1000的工作处理进行说明。
首先，从传感器部301输入图像信息。传感器部301在数字变换所述图像信息后，将其传送到Y/C部302。Y/C部302读入传感器部301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为Y/C数据传送到压缩部303。
其次，压缩部303从Y/C部302接受Y/C数据，进行MPEG等的压缩编码处理，生成编码帧，并传送到通信部304。通信部304通过网络向通信对象发送所接受了的编码帧。
在此，频带监视部1001监视着通信部304的通信频带。在由于某种原因通信量变得拥挤，通信频带变细的情况下，防止通信部304的编码量多的编码帧超出通信部的通信频带。
使用图11来说明在此频带监视部1001的通信频带监视的处理流程。
最初，在通信频带的监视开始的情况下，频带监视部1001开始监视通信部304的频带监视(S1101)。如果在判断为所监视着的通信频带超出了规定的量的情况下(S1102的“是”)，则通知帧控制部305，帧控制部305对压缩部303进行控制，以使其生成编码量少的所述编码帧(S1103)。另外，此频带监视部1001的控制方法是控制I帧的生成定时的方法，可以是使用在上述实施例1的帧控制部305中的生成表进行控制的方法，或者是使用上述实施例2的递减计数器部进行控制的方法的任一种方法。
其次，确认通信频带的监视是否结束(S1104)，在通信频带的监视还在持续的情况下(S1104的“否”)，则继续进行通信频带的监视。另一方面，在通信频带的监视已经结束的情况下(S1104的“是”)，则结束监视处理。
如上所述，在涉及本实施例3的网络摄像机终端中，在易于减少在局部发生的编码量的偏倚，从而实现编码量的平滑方面与上述实施例1是同样的。但是，新追加了用于监视在频带监视部1001阻碍通信部304的通信性能的主要因素(即通信频带)，并进行自律反馈控制的装置及方法。因此，如果使用涉及实施例3的数据通信装置，在网络上并行发送多个数据流的数据通信装置中，能够通过自律反馈控制而易于减少在局部发生的编码量的偏倚，从而实现编码量的平滑。
(实施例4)
关于本发明的实施例4，以下参照附图来进行说明。
图12是表示涉及本实施例4的网络摄像机终端1200的结构的功能框图，其特点是，除具有图1的结构之外，还具备监视CPU的负荷率的CPU负荷监视部1201。在此所述的CPU至少能实现网络摄像机终端1200中的压缩部303及通信部304的部分功能。
以下，对本实施例4中的网络摄像机终端1200的工作处理进行说明。
首先，从传感器部301输入图像信息。传感器部301在数字变换所述图像信息后，将其传送到Y/C部302。Y/C部302读入传感器部301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为Y/C数据传送到压缩部303。其次，压缩部303从Y/C部302接受Y/C数据，进行MPEG等的压缩编码处理，生成编码帧，并传送到通信部304。通信部304通过网络向通信对象发送所接受了的编码帧。
在此，CPU负荷监视部1201监视着CPU的负荷率。例如在摄像机处理的负荷加大，CPU使用率变高的情况下，由于在通信处理上无法加大CPU功率，所以通信部304所能发送的编码量变小。因此，有必要防止编码量多的编码帧超出通信部304所能通信的编码量。
使用图13来说明通信频带监视的处理流程。在通信频带的监视开始的情况下，CPU负荷监视部1201开始监视CPU负荷(S1301)。另外，例如，CPU负荷监视部1201的负荷监视根据CPU的空闲时间测量等进行。
并且，如果在判断为所监视着的CPU负荷率超出了规定的负荷率的情况下(S1302的“是”)，则通知帧控制部305，帧控制部305对压缩部303进行控制，以使其生成编码量少的所述编码帧(S1303)。
其次，确认CPU负荷率的监视是否结束(S1304)，在CPU负荷率的监视还在持续的情况下(S1304的“否”)，则继续进行CPU负荷率的监视(S1301)。在CPU负荷率的监视已经结束的情况下(S1304的“是”)，则结束监视处理。
如上所述，本实施例4的网络摄像机终端的效果，在易于减少在局部发生的编码量的偏倚，从而实现编码量的平滑方面与上述实施例1是同样的。但是，新追加了用于监视在CPU负荷监视部1201阻碍通信部304的通信性能的主要因素(即CPU负荷率)，并进行自律反馈控制的装置及方法。因此，如果使用涉及实施例4的数据通信装置，在网络上并行发送多个数据流的数据通信装置中，能够通过自律反馈控制而易于减少在局部发生的编码量的偏倚，从而实现编码量的平滑。
(实施例5)
关于本发明的第5个实施例，以下参照附图来进行说明。
图14是表示涉及本实施例5的网络摄像机终端1400的结构的功能框图，其特点是，除具有图1的结构之外，还具备编码量监视部1401，用于监视在同一帧区间生成的编码帧的编码量。
以下，对本实施例5中的网络摄像机终端1400的工作处理进行说明。
首先，从传感器部301输入图像信息。传感器部301在数字变换所述图像信息后，将其传送到Y/C部302。Y/C部302读入传感器部301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为Y/C数据传送到压缩部303。
其次，压缩部303从Y/C部302接受Y/C数据，进行MPEG等的压缩编码处理，生成编码帧，并传送到通信部304。例如，通信部304将所接受的编码帧施行IP协议处理，并通过WAN(Wide AreaNetwork)或者LAN(Local Area Network)等网络，向通信对象进行发送。
在此，编码量监视部1401监视着在压缩部303的同一帧区间生成的编码量。例如由于拍摄对象而使编码帧的编码量增大的情况，会超出通信部304所能发送的编码量。因此，有必要防止编码量多的编码帧超出通信部304所能通信的编码量。
使用图15来说明编码量监视部1401的处理流程。最初，在通信频带的监视开始的情况下，编码量监视部1401开始监视压缩部303的编码量(S1501)。并且，例如，编码量监视部1401的编码量的监视是，对各个流中的编码量的每一帧的比特数进行监视等。
如果在判断为编码量超出了规定的量的情况下(S1502的“是”)，则通知帧控制部305，帧控制部305对压缩部303进行控制，以使其生成编码量少的所述编码帧(S1503)。
其次，确认编码量的监视是否结束(S1504)，在编码量的监视还在持续的情况下(S1504的“否”)，则继续进行编码量的监视(S1501)以下的处理。
另一方面，在编码量的监视已经结束的情况下(S1504的“是”)，则结束监视处理。如上所述，在涉及本实施例5的网络摄像机终端中，在易于减少于局部发生的编码量的偏倚，从而实现编码量的平滑方面与上述实施例1是同样的。但是，新追加了用于监视在编码量监视部1401阻碍通信部304的通信性能的主要因素(即编码量)，并进行自律反馈控制的装置及方法。因此，如果使用涉及实施例5的数据通信装置，在网络上并行发送多个数据流的数据通信装置中，能够通过自律反馈控制而易于减少在局部发生的编码量的偏倚，从而实现编码量的平滑。
并且，在涉及上述实施例3至5的方法中，自律反馈控制的效果相同，但是，由于阻碍通信的负荷因素不同，监视和检测的装置及方法也有差异，所以作为各自的实施例分别进行记载。
而且，上述实施例3～5中的频带监视部、CPU负荷监视部及编码量监视部的检测方法可以是轮询或者中断。
(实施例6)
关于本发明的第6个实施例，以下参照附图来进行说明。
图16是表示涉及本实施例6的网络摄像机终端1600的结构的功能框图，其特点是，除具有上述实施例1的结构之外，还具备帧模式监视部1601，用于监视在同一帧区间生成的编码帧的模式。
以下，对本实施例6中的网络摄像机终端1600的工作处理进行说明。
首先，从传感器部301输入图像信息。传感器部301在数字变换所述图像信息后，将其传送到Y/C部302。Y/C部302读入传感器部301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为Y/C数据传送到压缩部303。
其次，压缩部303从Y/C部302接受Y/C数据，进行MPEG等的压缩编码处理，生成编码帧，并传送到通信部304。例如通信部304将所接受的编码帧施行IP协议处理，并通过网络向通信对象发送。
在此，帧模式监视部1601监视着压缩部303的在同一帧区间里生成的编码量。例如，在实施例1～5中由于无意中在同一帧区间生成的编码帧而使编码量增大的情况下，会超出通信部304所能发送的编码量。因此，有必要防止编码量多的编码帧超出通信部304所能通信的编码量。帧模式也可以是指帧类型。
使用图17来说明帧模式监视部1601的处理流程。最初，在帧模式的监视开始的情况下，帧模式监视部1601开始监视压缩部303的帧模式(S1701)。
如果在检测出于同一帧区间内生成了编码量多的编码帧的情况下(S1702的“是”)，则通知帧控制部305，帧控制部305对压缩部303进行控制，以使其生成编码量少的编码帧(S1703)。具体而言，例如，帧模式监视部1601在帧模式是指帧类型，不同的流中I帧和I帧同时被生成的情况下，进行将在任一方的流中所生成的帧变成P帧等的处理。
其次，确认帧模式的监视是否结束(S1704)，在帧模式的监视还在持续的情况下(S1704的“否”)，则继续进行帧模式的监视(S1701)以下的处理。
另一方面，在帧模式的监视已经结束的情况下(S1704的“是”)，则结束帧模式监视处理。
如上所述，本实施例6的效果在易于减少局部发生的编码量的偏倚，从而实现编码量的平滑方面与实施例1～5是同样的。但是，在实施例1～5中具有，未必能够检测出在同一帧区间所生成的编码量多的编码帧的问题。例如，上述实施例1中，在生成表设定时误将编码量多的编码帧设定为于同一帧区间生成的模式的情况下，由于没有反馈控制机构而无法检测出来。而且，在实施例3～5中，虽然具有自律反馈控制机构，但是，只要所监视的对象不超出规定的值，反馈控制就不起作用。但是，本实施例6中，在反馈控制机构所监视的对象里追加帧模式，并检测前述的问题，从而能够解决该问题。
(实施例7)
关于本发明的第7个实施例，以下参照附图来进行说明。
图18是表示涉及本实施例7的网络摄像机终端1800的结构的功能框图，除具有上述实施例6的结构之外，还具备计数部1801，用于计数在压缩部303生成的编码帧的连续生成次数。
以下，对本实施例7中的网络摄像机终端1800的工作处理进行说明。
首先，从传感器部301输入图像信息。传感器部301在数字变换所述图像信息后，将其传送到Y/C部302。Y/C部302读入传感器部301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为Y/C数据传送到压缩部303。
其次，压缩部303从Y/C部302接受Y/C数据，进行MPEG等的压缩编码处理，生成编码帧，并传送到通信部304。例如通信部304将所接受的编码帧施行IP协议处理，并通过网络向通信对象发送。
在此，帧模式监视部1601监视压缩部303的在同一帧区间里生成的编码帧，在连续检测出编码量少的编码模式(例如，使用帧间预测的差分信息的P帧或B帧之类的编码帧)的情况下，计数此连续生成次数。如果P帧或B帧被连续生成，则被解密的图像会逐渐劣化。因此，有必要防止作为差分信息的编码帧被连续生成的次数超出规定的值。
使用图19来说明涉及本实施例7的计数部1801的计数处理流程。
最初，在帧模式的监视开始的情况下，帧模式监视部1601开始监视压缩部303的帧模式(S1901)。
然后，在检测出于同一帧区间内连续生成编码量少的编码帧(例如，具有使用帧间预测的差分信息的P帧或B帧之类的编码帧)的情况下(S1902)，在计数部1801中进行计数(S1903)。
并且，对计数值是否超出MAX值进行确认(S1904)，在达到MAX的情况下(S1904的“是”)，将计数器复位(S1906)，控制在帧控制部305中生成编码量多的编码帧(例如，只依据本身的数据就能够解码的、具有原图像信息的I帧)(S1907)。根据这样的控制，能够抑制解码图像的劣化。
其次，在所计数的值不超出MAX值的情况下(S1904的“否”)，则确认帧模式的监视是否结束(S1905)，如果帧模式的的监视仍在持续的情况下(S1905的“否”)，则继续进行帧模式的监视(S1901)以下的处理。另一方面，在帧模式的监视已经结束的情况下(S1905的“是”)，则结束帧模式监视处理。
如上所说明的，本实施例7的效果包括，由于连续检测出计数部1801的编码量少的编码模式(例如，使用帧间预测的差分信息的P帧或B帧之类的编码帧)，且在计数值达到被设定的MAX值的情况下进行I帧的生成，所以能够适当地减少被解码图像的劣化。
另外，在涉及本发明的网络摄像机终端中，如图20的流程图所示，能够将作为监视对象的通信频带、或CPU负荷率、或编码量的监视进行组合以同时进行监视(S2001)。
在这种情况下，即在S2001中没有检测出监视对象的情况下(S2002的“否”)，则重新开始S2001的处理。
另一方面，在检测出了的情况下(S2002的“是”)，则进行编码帧控制(S2003)。
而且，如上述实施例1～5所示，编码帧控制是指，对于在同一帧区间里的编码量多的编码帧，例如不只控制不生成I帧，也能够允许I帧相重复。例如，如图2所示，在以三个I帧的状态被检测出的情况下，首先生成两个I帧，进行循环之后，确认在S2002中是否被再次检测出。如果被检测出(S2002的“是”)，这次生成一个I帧并使之循环。通过进行这样的处理，可以辨明能够通信的最大限度的负荷、或者频带、或者CPU使用率，能够有效地使用发送能力。
(实施例8)
关于本发明的第8个实施例，以下参照附图来进行说明。
图21是表示涉及实施例8的网络摄像机终端2100的结构的功能框图，其特点是，除具有上述实施例1的结构之外，还具备包括数据包化编码帧并进行通信的多个通信部304a～304c的通信部304、选择及控制所使用的通信部304的通信控制部2101、和监视通信部304的通信频带的频带监视部2102。
以下，对本实施例8中的网络摄像机终端2100的工作处理进行说明。
首先，从传感器部301输入图像信息。传感器部301在数字变换所述图像信息后，将其传送到Y/C部302。Y/C部302读入传感器部301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为Y/C数据传送到压缩部303。
其次，压缩部303从Y/C部302接受Y/C数据，进行MPEG等的压缩编码处理，并生成编码帧。
其次，通过频带监视部2102来监视在多个通信部304a～304c所使用的一个通信部的通信频带，在超出规定量的情况下，频带监视部2102会通知通信控制部2101，以便减轻通信频带，或使用其他的通信部。
以上，在涉及实施例8的网络摄像机终端中，在具有多个通信部的情况下，能够有效地使用通信部的通信频带。在此，通信部可以是像Ethernet(注册商标)或PLC(Power line communication：电力线通信)那样的有线通信，也可以是无线LAN的IEEE802.11a/b/g或Bluetooth(蓝牙)。
(实施例9)
关于本发明的第9个实施例，以下参照附图来进行说明。
图22表示涉及实施例9的网络摄像机终端2200，除具有上述实施例8的结构之外，还具备数据分割部2103，用于分割在压缩部303生成的编码帧。
以下，对本实施例9中的网络摄像机终端2200的工作处理进行说明。
首先，从传感器部301输入图像信息。传感器部301在数字变换所述图像信息后，将其传送到Y/C部302。Y/C部302读入传感器部301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为Y/C数据传送到压缩部303。
其次，压缩部303从Y/C部302接受Y/C数据，进行MPEG等的压缩编码处理，并生成编码帧。
其次，以频带监视部2102来监视多个通信部304a～304c的通信频带。接着，按照所监视着的通信频带，通过数据分割部2103分割在压缩部303生成的编码帧。其次，在数据通信控制部2101将所分割的编码帧分配到通信部304，并进行通信。
如上所述，在本实施例9具有多个通信部的情况下，能够同时有效地使用全部通信部的通信频带。在上述实施例8具有多个通信部的情况下，存在只能同时使用一个通信部的问题，但是，本实施例9可以解决这个问题。
(实施例10)
关于本发明的第10个实施例，以下参照附图来进行说明。
图23是表示涉及本实施例10的网络摄像机终端2300的结构的功能框图，除具有上述实施例9的结构之外，还具备MTU部2104，用于判断多个通信部304a～304c的MTU(Maximum TransmissionUnit：最大传送单位)大小，并以MTU大小来分割数据。
以下，对本实施例10中的网络摄像机终端2300的工作处理进行说明。
首先，从传感器部301输入图像信息。传感器部301在数字变换所述图像信息后，将其传送到Y/C部302。Y/C部302读入传感器部301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为Y/C数据传送到压缩部303。其次，压缩部303从Y/C部302接受Y/C数据，进行MPEG等的压缩编码处理，并生成编码帧。
其次，以频带监视部2102来监视多个通信部304的通信频带。接着，按照所监视着的通信频带，通过MTU部2104和数据分割部2103，将在压缩部303生成的编码帧分割为通信部304的MTU大小。其次，在数据通信控制部2101将所分割的编码帧分配到通信部304，并进行通信。
如上所述，涉及本实施例10的网络摄像机终端，在具有多个通信部304的情况下，因为以全部的通信部304合起来的MTU大小来进行数据发送，所以能够同时最有效地使用全部的通信频带。在上述实施例8、9中，即使是具有多个通信部304的情况，因为不是以通信部304的MTU大小发送，所以存在不能有效地使用通信部304的通信频带的问题。但是，实施例10可以解决这个问题。
另外，在本实施例10的通信部304进行处理的各个通信介质的形式和MTU大小(Ether，PLC，Wi-Fi等)是各个通信部的MAX帧的长度，例如，Ether/IEEE802.3的情况是1500字节，PLC的情况是64KB，Wi-Fi/IEEE802.11a/b/g的情况是2304字节。
而且，涉及上述各个实施例的网络摄像机终端的压缩部可以以不同的多个比特率来进行压缩编码。同时，在压缩部被编码的压缩方式可以是MPEG-2、MPEG-4或者H.264。并且，压缩部可以以不同的多个帧频来进行压缩编码。
并且，通信部的网络接口可以是像Ethernet(注册商标)或PLC那样的有线通信，或像无线LAN或Bluetooth那样的无线电通信。而且进而，也可以在通信部对图像信号或者声音信号进行多路复用并在网络上发送。
涉及本发明的数据通信装置能够适用于，例如PC或PDA、移动电话等，将压缩图像或声音实时且并行地与使用图像的图像分辨率不同的多个通信终端进行通信的网络摄像机设备。并且，也能应用于网络摄像机以外的进行实时流的装置。
Claims (16)
1、一种数据通信装置，从被输入的图像或者声音信号生成多个被压缩编码的编码帧，并在网络上将包含该被生成的编码帧的多个数据流与多个通信终端进行并行的通信，其特征在于，
所述数据通信装置包括：
传感器部，获取图像或者声音信息；
压缩部，生成多个编码帧，该多个编码帧是对在所述传感器部所获取的图像或者声音信号进行压缩编码，并按每一帧区间所生成的；
帧控制部，控制在所述压缩部生成的所述编码帧的种类；以及
通信部，通过网络将在所述压缩部被压缩编码的编码帧与多个通信终端进行并行的通信，
所述编码帧的种类包括第一种和第二种，第一种编码帧的编码量比第二种编码帧的编码量多，
所述帧控制部控制与各个数据流相对应的编码帧的种类，以使在同一帧区间不生成多个所述第一种编码帧。
2、如权利要求1所述的数据通信装置，其特征在于，
所述帧控制部包括生成表保持部，该生成表保持部存储生成表，该生成表表示在所述压缩部生成的编码帧的种类的组合模式，按照所述生成表的编码帧的种类的组合模式，控制与各个数据流相对应的编码帧的种类，以使在同一帧区间不生成多个所述第一种编码帧。
3、如权利要求1所述的数据通信装置，其特征在于，
所述帧控制部包括与各个数据流相对应的多个递减计数器部，使用所述递减计数器部的计数值，来控制与各个数据流相对应的编码帧的种类，以便变更所述编码帧的产生速率。
4、如权利要求3所述的数据通信装置，其特征在于，
所述帧控制部通过使所述多个递减计数器部的初始值在各个数据流中不重复，或者在所述多个递减计数器部的计数值重复的情况下，通过对该计数值进行加减运算，来控制与各个数据流相对应的编码帧的种类，以使在同一帧区间不生成多个所述第一种编码帧。
5、如权利要求1所述的数据通信装置，其特征在于，
所述数据通信装置还包括，
频带监视部，监视所述通信部的通信频带，
所述频带监视部在通信频带超出规定量的情况下，通知所述帧控制部，
所述帧控制部在接受了来自所述频带监视部的所述通知的情况下，进行控制，以便生成所述第二种编码帧。
6、如权利要求1所述的数据通信装置，其特征在于，
所述数据通信装置还包括，
CPU负荷监视部，监视CPU负荷率，
所述CPU负荷监视部在CPU负荷率超出规定比率的情况下，通知所述帧控制部，
所述帧控制部在接受了来自所述CPU负荷监视部的所述通知的情况下，进行控制，以便生成所述第二种编码帧。
7、如权利要求1所述的数据通信装置，其特征在于，
所述数据通信装置还包括，
编码量监视部，监视被生成的所述多个编码帧的编码量，
所述编码量监视部在被生成的编码帧的编码量超出规定量的情况下，通知所述帧控制部，
所述帧控制部在接受了所述通知的情况下，进行控制，以便生成所述第二种编码帧。
8、如权利要求1所述的数据通信装置，其特征在于，
所述数据通信装置还包括，
帧模式监视部，监视在所述压缩部生成的所述编码帧的种类，
所述帧控制部，在依据所述帧模式监视部的监视结果表示为，在多个数据流的任一同一帧区间重复生成所述第一种编码帧的情况下，进行控制，以便生成所述第二种编码帧。
9、如权利要求8所述的数据通信装置，其特征在于，
所述数据通信装置还包括，
计数部，计数在所述压缩部生成的所述第二种编码帧被连续生成的次数，
所述帧模式监视部，在所述第二种编码帧被连续生成的次数超出规定次数的情况下，通知所述帧控制部，
所述帧控制部在接受该通知的情况下，进行控制，以使在同一帧区间不生成多个所述第一种编码帧的同时，生成所述第一种编码帧。
10、如权利要求1所述的数据通信装置，其特征在于，
所述通信部具有不同种类的多个数据通信部，
所述数据通信装置还包括，
通信控制部，进行控制，以便使用所述通信部；以及
频带监视部，监视所述通信部的通信频带，
所述通信控制部在所述频带监视部被监视的正在使用的所述数据通信部的通信频带超出规定量的情况下，选择所述通信部所具有的其他的所述数据通信部，
该被选择的数据通信部，将所述编码帧与所述多个通信终端通信进行通信。
11、如权利要求10所述的数据通信装置，其特征在于，
所述数据通信装置还包括，
数据分割部，分割所述编码帧，
在依据所述频带监视部的监视结果表示通信量变得拥挤的情况下，所述数据分割部分割所述编码帧，
所述通信控制部将所述被分割的编码帧分配给多个数据通信部，该数据通信部将所述被分割的编码帧与通信终端进行通信。
12、如权利要求11所述的数据通信装置，其特征在于，
所述数据通信装置还包括，
MTU部，判断对于用于进行编码帧通信的网络的最佳的MTU大小，
所述数据分割部，以在所述MTU部中被判断为最佳的MTU大小来分割所述被分割的编码帧，
所述通信部将所述被分割的编码帧与通信终端进行通信。
13、如权利要求7所述的数据通信装置，其特征在于，
所述帧控制部，对在同一帧区间生成的所述编码帧种类进行组合并梯次地调整编码量。
14、一种数据通信方法，从被输入的图像或者声音信号生成多个被压缩编码的编码帧，并在网络上将包含该被生成的编码帧的多个数据流与多个通信终端进行并行的通信，其特征在于，
所述数据通信方法包括：
压缩步骤，生成多个编码帧，该多个编码帧是对在所述传感器部所获取的图像或者声音信号进行压缩编码，并按每一帧区间所生成的；
帧控制步骤，控制在所述压缩部生成的所述编码帧的种类；以及
通信步骤，通过网络将在所述压缩部被压缩编码的编码帧与多个通信终端进行并行的通信，
所述编码帧的种类包括第一种和第二种，第一种编码帧的编码量比第二种编码帧的编码量多，
所述帧控制步骤控制与各个数据流相对应的编码帧的种类，以使在同一帧区间不生成多个所述第一种编码帧。
15、如权利要求14所述的数据通信方法，其特征在于，
所述帧控制步骤包括生成表保持步骤，在该生成表保持步骤存储生成表，该生成表表示在所述压缩步骤生成的编码帧的种类的组合模式，按照所述生成表的编码帧的种类的组合模式，控制与各个数据流相对应的编码帧的种类，以使在同一帧区间不生成多个所述第一种编码帧。
16、如权利要求14所述的数据通信方法，其特征在于，
所述帧控制步骤包括与各个数据流相对应的多个递减计数器步骤，使用所述递减计数器步骤的计数值，来控制与各个数据流相对应的编码帧的种类，以便变更所述编码帧的产生速率。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007166990A JP4934524B2 (ja) | 2007-06-25 | 2007-06-25 | データ通信装置及びデータ通信方法 |
| JP166990/2007 | 2007-06-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101335886A true CN101335886A (zh) | 2008-12-31 |
Family
ID=40137677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2008101306127A Pending CN101335886A (zh) | 2007-06-25 | 2008-06-25 | 数据通信装置及数据通信方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20080320170A1 (zh) |
| JP (1) | JP4934524B2 (zh) |
| CN (1) | CN101335886A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102209237A (zh) * | 2011-05-26 | 2011-10-05 | 杭州华三通信技术有限公司 | 降低点播实况媒体流时i帧重叠的方法及视频管理服务器 |
| CN102469562A (zh) * | 2010-11-18 | 2012-05-23 | 中国移动通信有限公司 | 移动终端的功率消耗控制方法与装置 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011077912A (ja) * | 2009-09-30 | 2011-04-14 | Brother Industries Ltd | 通信制御装置、通信制御方法、及び通信制御プログラム |
| JP5336336B2 (ja) * | 2009-11-30 | 2013-11-06 | 株式会社メガチップス | データ伝送システム、およびデータ伝送システムのデータ伝送方法 |
| EP2816478B1 (en) | 2012-02-15 | 2017-06-14 | Toyota Jidosha Kabushiki Kaisha | Vehicle electronic control device and data-receiving method |
| JP5929358B2 (ja) | 2012-03-15 | 2016-06-01 | ソニー株式会社 | 画像伝送システムおよび画像伝送方法 |
| JP5499207B2 (ja) * | 2013-06-20 | 2014-05-21 | 株式会社メガチップス | データ伝送システム |
| WO2016082220A1 (zh) * | 2014-11-28 | 2016-06-02 | 华为技术有限公司 | 多视频流的传输方法和设备 |
| WO2020101547A1 (en) * | 2018-11-14 | 2020-05-22 | Saab Ab | Video data burst control for remote towers |
| WO2022198464A1 (zh) * | 2021-03-23 | 2022-09-29 | 华为技术有限公司 | 一种数据传输的方法、相关设备以及通信系统 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2689632B2 (ja) * | 1989-08-15 | 1997-12-10 | ソニー株式会社 | 画像信号の伝送装置および伝送方法 |
| JPH1023427A (ja) * | 1996-07-04 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 映像信号符号化及び復号化装置と映像信号伝送装置 |
| US6122514A (en) * | 1997-01-03 | 2000-09-19 | Cellport Systems, Inc. | Communications channel selection |
| JP4244394B2 (ja) * | 1998-02-17 | 2009-03-25 | 富士ゼロックス株式会社 | 多地点会議システム |
| EP1075099B1 (en) * | 1999-07-28 | 2012-04-18 | Panasonic Corporation | Apparatus for the transmission of data and method for digital radio communication |
| AU2002222475A1 (en) * | 2000-12-18 | 2002-07-01 | Wintegra Ltd. | Method/apparatus for dynamic bandwidth allocation over aal-2 connections |
| US7336720B2 (en) * | 2002-09-27 | 2008-02-26 | Vanguard Software Solutions, Inc. | Real-time video coding/decoding |
| JP4040426B2 (ja) * | 2002-10-18 | 2008-01-30 | 富士通株式会社 | データ送信装置 |
| DE602004016224D1 (de) * | 2004-06-15 | 2008-10-09 | Ntt Docomo Inc | Vorrichtung und verfahren zum erzeugen eines senderahmens |
| US7936793B2 (en) * | 2005-04-01 | 2011-05-03 | Freescale Semiconductor, Inc. | Methods and apparatus for synchronizing data transferred across a multi-pin asynchronous serial interface |
| US8160140B2 (en) * | 2005-07-28 | 2012-04-17 | Thomson Licensing | Method and apparatus for transmitting multiple video streams over a video channel |
| JP2007221596A (ja) * | 2006-02-17 | 2007-08-30 | Matsushita Electric Ind Co Ltd | 高速フーリエ変換装置、ｏｆｄｍ通信装置、及びｏｆｄｍ通信のサブキャリア割当方法 |
| JP2008131601A (ja) * | 2006-11-24 | 2008-06-05 | Matsushita Electric Ind Co Ltd | 通信端末装置、通信システム、通信方法及びプログラム |
| JP2008172541A (ja) * | 2007-01-11 | 2008-07-24 | Matsushita Electric Ind Co Ltd | 基地局装置、通信端末装置、通信システム及び通信方法 |
-
2007
- 2007-06-25 JP JP2007166990A patent/JP4934524B2/ja not_active Expired - Fee Related
-
2008
- 2008-06-24 US US12/144,753 patent/US20080320170A1/en not_active Abandoned
- 2008-06-25 CN CNA2008101306127A patent/CN101335886A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102469562A (zh) * | 2010-11-18 | 2012-05-23 | 中国移动通信有限公司 | 移动终端的功率消耗控制方法与装置 |
| CN102209237A (zh) * | 2011-05-26 | 2011-10-05 | 杭州华三通信技术有限公司 | 降低点播实况媒体流时i帧重叠的方法及视频管理服务器 |
| CN102209237B (zh) * | 2011-05-26 | 2013-05-29 | 浙江宇视科技有限公司 | 降低点播实况媒体流时i帧重叠的方法及视频管理服务器 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4934524B2 (ja) | 2012-05-16 |
| US20080320170A1 (en) | 2008-12-25 |
| JP2009005315A (ja) | 2009-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101335886A (zh) | 数据通信装置及数据通信方法 | |
| Alvi et al. | Internet of multimedia things: Vision and challenges | |
| Zhu et al. | Congestion–distortion optimized video transmission over ad hoc networks | |
| US20190261243A1 (en) | Video-based channel selection in a wireless network-connected camera system | |
| CN106851281B (zh) | 实时视频传输的初始带宽估计 | |
| CN100508606C (zh) | 用于经由无线网络进行通信的服务器系统及其操作方法 | |
| Pudlewski et al. | Video transmission over lossy wireless networks: A cross-layer perspective | |
| CN106973294B (zh) | 实时视频传输的初始带宽估计 | |
| CN104735470A (zh) | 一种流媒体数据传输方法及装置 | |
| KR101667970B1 (ko) | 서버 장치, 단말, 씬 클라이언트 시스템, 화면 송신 방법 및 프로그램 | |
| CN104270649A (zh) | 影像编码装置及影像编码方法 | |
| CN103780907A (zh) | 一种视频数据流量整形的方法和装置 | |
| Pudlewski et al. | A distortion-minimizing rate controller for wireless multimedia sensor networks | |
| CN102209237A (zh) | 降低点播实况媒体流时i帧重叠的方法及视频管理服务器 | |
| JP3787633B2 (ja) | 実時間コンテンツ編集システム | |
| KR20050009061A (ko) | 모바일 애드 혹 네트워크 환경에서 효율적인 데이터송수신을 위한 네트워크 장치 및 데이터 전송 방법 | |
| CN107438187B (zh) | 实时视频传输的带宽调整 | |
| Adlakha et al. | Joint capacity, flow and rate allocation for multiuser video streaming over wireless ad-hoc networks | |
| Liu et al. | Adaptive EDCA algorithm using video prediction for multimedia IEEE 802.11 e WLAN | |
| JP2005130428A (ja) | 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム | |
| Kandris et al. | A hybrid scheme for video transmission over wireless multimedia sensor networks | |
| CN1996813B (zh) | 用于区域/广域网络环境中连续媒体流的自适应媒体传输管理 | |
| Shilpa et al. | Suitability analysis of IEEE 802.15. 4 networks for video surveillance | |
| JP5675164B2 (ja) | 送信装置、送信方法、並びにプログラム | |
| CN107018423A (zh) | 视频编码方法与视频编码装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20081231 |