【０００１】
【発明の属する技術分野】
本発明は、ネットワーク接続されたカメラとその入力画像に処理を施す装置から成る画像送受信システムと方法に関するものである。
【０００２】
【従来の技術】
ネットワークに接続されたカメラは、光学撮像部で捉えた全画角を送信していた。
【０００３】
【発明が解決しようとする課題】
近年、高解像度の撮像素子が安価で入手できるようになったにも拘らず、主な接続手段となる電話回線等の帯域幅の制限から、上記従来の技術に記載したカメラにおいては、光学撮像部で捉えた全画角を送信するために、カメラの仕様を低解像度に抑えざるを得なかった。
【０００４】
この発明は上記事情に鑑みてなされたもので、その目的とする処は、帯域幅の制限がある場合でも、通信負荷を高めることなく画像を扱えるような処理を施すことによって高解像度カメラの入力画像を扱うことができる画像送信装置、画像受信装置及び画像送受信システムを提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明は、ネットワークに接続された撮像手段と、前記撮像手段により撮像して得られた画像を電気信号に変換する変換手段と、送信帯域幅を検知する検知手段と、前記検知手段により検知した結果に基づいて可変な画像領域を切り出す切り出し手段と、全体の画像を複数に分割するといった処理を行う分割手段と、前記分割手段により分割処理された画像を送信する画像送信手段とで画像送信装置を構成したことを特徴とする。
【０００６】
又、本発明は、送信された画像情報を受信する画像受信手段と、分割されて送信された画像情報を元の１枚の画像に復元する手段と、前記画像受信手段により受信した画像情報を表示する画像表示手段と、画像を送信する装置を制御する手段と、前記画像受信手段が受信する画像情報に関する制御信号を送信する制御信号送信手段とで画像受信装置を構成したことを特徴とする。
【０００７】
【発明の実施の形態】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【０００８】
図１に示すように、システムは、撮像部１と画像処理部２と記憶部３と通信部４とから成るカメラ装置１０１と、表示部５と処理部４と操作部６と復元部８から成るビューワー装置１０２で構成されている。更に、上記カメラ装置１０１の撮像部１は、撮影画像を電気信号に変換する変換部９を備え、通信部３は送信帯域幅を検知する通信帯域幅検知部７と、画像を送信する画像送信部１２と、制御信号を受信する制御信号受信部１３とを備え、又、画像処理部２は画像領域を切り出す切り出し部１０と、画像を分割する分割部１１を備える。一方、上記ビューワ装置１１０２の処理部４は、制御信号送信部１４と、画像受信部１５を備える。
【０００９】
又、上記カメラ装置１０１とビューワ装置１０２は電話回線等のネットワーク１６を介して接続されるものとする。
【００１０】
以下、各構成の役割を説明する。
【００１１】
先ず、カメラ装置１０１では、撮像部１で対象となる被写体の光学像を結像し、その結果を変換部９により電気的に変換し、変換された信号を画像処理部２へ送る。画像処理部２では、後述するビューワ装置１０２でなされた設定に基づいて送信すべき画角を計算し、その計算結果によって得られた画角の画像データを切り出し部１０によって切り出し、切り出した画像データを通信部３へ送る。
【００１２】
通信部３では、通信帯域幅検知部７により通信が行われている帯域幅を検知し、その結果を画像処理部２へ送る。又、通信部３は、電話回線等の通信手段を利用してビューワ装置１０２若しくはインターネット上のサーバー等の通信相手から送信された画像処理のための制御情報を制御信号受信部１３で受信し、画像処理部２へ送る。更に、通信部３の画像送信部１２は、画像処理部２で処理の施された画像データを電話回線等の通信手段を利用してビューワ装置１０２若しくはインターネット上のサーバー等の通信相手に送る。
【００１３】
記憶部４では、撮像部１で撮像した未処理の画像データや、必要に応じて画像処理部２で処理された画像データをハードディスクやメモリーカードといった記憶媒体に記憶する。
【００１４】
一方、ビューワ装置１０２では、処理部４は、ＰＣ（パソコン）のような通信手段を有するデータ処理装置であり、カメラ装置１０１から送信された画像データを画像受信部１５で受信し、復元部８へ送る。復元部８では処理部４から送られた画像データを元の画像に復元し、表示部５へ送る。表示部５では復元部８と処理部４から送られた画像データの表示を行う。ユーザーは表示部５に表示された結果に基づき、操作部６によって所望の画像領域を選択する。
【００１５】
図２に、帯域幅によってカメラ装置１０１が自動的に送信に適切な画像のサイズを計算して、画像のリサイズを行う際のカメラ装置１０１の動作の流れを示す。処理が開始されると（Ｓ２０１）撮像部１で撮影された画像データを変換部９により電気信号に変換する（Ｓ２０２）。未処理の画像データに対して、予め記憶された設定に基づいて記憶するか否かを判断する（Ｓ２０３）。記憶する場合もしない場合も、次に通信状態にあるか否かを通信部３により判断し（Ｓ２０３）、通信状態であれば通信帯域幅検知部７により通信帯域幅を検知する（Ｓ２０４）。
【００１６】
画像信号をＳ２０４の結果に基づき、通信の帯域幅が全画面をスムーズに送り出すことに適するレベルか否かを通信部３により判断する（Ｓ２０５）。全画面を送信するための十分な帯域幅がないと判断した場合には、ユーザーによって予め設定された内容に基づいて帯域幅に見合ったリサイズ処理を画像処理部２の切り出し部１０により施す（Ｓ２０６）。リサイズ処理を施した結果も、リサイズ処理を行なわなかった場合の全画面データ同様に通信部３の画像送信部１２により送信する（Ｓ２０７）。
【００１７】
図３にビューワ装置１０２の動作の流れを示す。
【００１８】
処理が開始されると（Ｓ３０１）、インターネット上のサーバー等を経由するか若しくは経由しないで処理部４の画像受信部１５により、カメラ装置１０１から画像データを受信しているかどうかを判断する（Ｓ３０２）。画像データを受信していれば、表示部５に表示する（Ｓ３０３）。ユーザーが表示されたデータを参照しながら操作部６を使用してカメラ装置を制御する操作をしたかどうかを判断し（Ｓ３０４）、操作がされれば制御信号を生成し（Ｓ３０５）、処理部４の制御信号送信部１４により送信する（Ｓ３０６）。
【００１９】
次に、Ｓ２０６でリサイズ処理を行うための設定について述べる。
【００２０】
先ず、ユーザーが見たい画像の位置を予め設定しておく必要がある。設定はユーザーがビューワー装置１０２の操作部６等から行い、設定情報は上述の制御信号としてビューワ装置１０２の処理部４の制御信号送信部１４によりカメラ装置１０１へ送られる（Ｓ３０５）。
【００２１】
本発明では、リサイズ処理を行うための設定は以下の７通りである。
【００２２】
図４は全画面の中心点を基点に四方に全画面と同比率で均等に画角を決定する場合である。
【００２３】
図５は全画面の左上部の隅を基点に全画面と同比率で均等に画角を決定する場合である。
【００２４】
図６は全画面の左下部の隅を基点に全画面と同比率で均等に画角を決定する場合である。
【００２５】
図７は全画面の右上部の隅を基点に全画面と同比率で均等に画角を決定する場合である。
【００２６】
図８は全画面の右下部の隅を基点に全画面と同比率で均等に画角を決定する場合である。
【００２７】
図９は全画面の中で最も動きの多いエリアの中心点を基点に四方に全画面と同比率で均等に画角を決定する場合である。図１０でその流れを説明する。
【００２８】
カメラ装置１０１が捉えている全画面の中で直前の画像と比較して動きがあるかを画像処理部２により判断し（Ｓ１００２）、動きがある場合、直前の画像と最も差が大きいエリアの中心点を決定し（Ｓ１００３）、その点を基点に全画面と同比率で均等に画角を決定する（Ｓ１００４）場合である。基点が理由で４辺の何れかが全体画角の中に収まり切れない場合は、全画面の四辺の何れかに接した時点で残りの距離を向かい合う辺に向かって取る（図１１）。
【００２９】
図１２は全画面をカメラ装置１０１の分割部１１で複数に分割し、ビューワー装置１０２側の復元部８によりで再度全画面に復元する場合である。この設定では全画面を、縦横比を固定して整数分割できる４ｎ 枚数に分割する。最小単位は４であり、以降１６，６４，…となる。但し、連続的に全部のコマを送信するのでは通信負荷を軽減したことにはならないので、前の時点に比べて動きのあったコマのみを送信するものである。初めの画像１２０１では、コマ２９３１、コマ３０３２、コマ３１３３、コマ３２３４を随時送信する。次の画像１２０２では、コマ３４３６のみに動きが認められるので、コマ３４３６のみが送信される。ビューワー側では、３４３６が３０３２を上書きするのみで最新画像の表示とする。
【００３０】
本実施の形態においては、カメラ装置１０１とビューワ装置１０２を電話回線等のネットワーク１６を介してダイレクトに接続する形態を説明したが、ネットワーク１６上の例えばインターネットのサーバー１７を経由して接続する場合も本発明の範疇である。その際、カメラ装置１０１の画像送信部１２から送信される画像データは一旦上記サーバー１７に蓄積され、サーバー１７に蓄積された画像データがビューワ装置１０２へ送信され、ビューワ装置１０２の画像受信部により受信されることとなる。
【００３１】
【発明の効果】
本発明によれば、帯域幅を検知することによって、通信状態に適したサイズの画角の画像を予め定められた位置に基づいて切り出すことにより、通信の負荷を軽減することが可能になる。
【００３２】
又、本発明によれば、帯域幅を検知することによって、通信状態に適したサイズのコマに画像を分割して送信し、受信側で元のサイズの画像を復元する。その際、前画面と比較したときに動きのあるコマのみを送信することで、通信の負荷を軽減することが可能になる。これによって、カメラ装置及びビューワ装置をネットワークを介して接続した際、カメラ装置が捉えた画像データをビューワ装置で素早く確認することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態のシステム構成ブロック図である。
【図２】本発明の実施の形態のカメラ装置に対する画像切り出しの際の動作フローチャートである。
【図３】本発明の実施の形態のビューワ装置に対する動作フローチャートである。
【図４】本発明の全画面の中心点を基点に画角を決定する場合の概念図である。
【図５】全画面の左上部の隅を基点に画角を決定する場合の概念図である。
【図６】全画面の左下部の隅を基点に画角を決定する場合の概念図である。
【図７】全画面の右上部の隅を基点に画角を決定する場合の概念図である。
【図８】全画面の右下部の隅を基点に画角を決定する場合の概念図である。
【図９】全画面の動きの多いエリアの中心点を基点に画角を決定する場合の概念図である。
【図１０】動きの多いエリアの中心点を基点に画角を決定する際のフローチャートである。
【図１１】画角を全画面の中に収める場合の概念図である。
【図１２】分割した画面の動きのあるコマだけを送受信する場合の概念図である。
【符号の説明】
１０１ カメラ装置
１０２ ビューワ装置
１１０１ 全画面
１２０１ 全画面の４分割
１２０２ １２０１の後に撮影された画像
１１ 撮像部、
２ 画像処理部
３ 通信部
４ 画像受信部
５ 表示部
６ 操作部
７ 通信帯域幅検知部
８ 復元部
９ 変換部
１０ 切出部
１１ 分割部
１２ 画像送信部
１３ 制御信号受信部
１４ 制御信号送信部
１５ 画像受信部
１６ ネットワーク
１７ サーバー[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image transmitting / receiving system and method comprising a network-connected camera and a device for processing an input image of the camera.
[0002]
[Prior art]
The camera connected to the network transmitted the full angle of view captured by the optical imaging unit.
[0003]
[Problems to be solved by the invention]
In recent years, in spite of the fact that high-resolution imaging devices have become available at low cost, the camera described in the above-mentioned conventional technology has been limited to optical imaging due to the limitation of the bandwidth of a telephone line or the like serving as a main connection means. In order to transmit the full angle of view captured by the section, the camera specifications had to be kept low.
[0004]
The present invention has been made in view of the above circumstances, and a purpose thereof is to perform processing that can handle an image without increasing a communication load, even when a bandwidth is limited, so that an input of a high-resolution camera can be performed. An object of the present invention is to provide an image transmitting device, an image receiving device, and an image transmitting / receiving system that can handle images.
[0005]
[Means for Solving the Problems]
To achieve the above object, the present invention provides imaging means connected to a network, conversion means for converting an image obtained by imaging by the imaging means into an electric signal, and detection means for detecting a transmission bandwidth. A cutout unit that cuts out a variable image area based on a result detected by the detection unit, a division unit that divides an entire image into a plurality of images, and an image that transmits an image that has been divided by the division unit. An image transmitting apparatus is constituted by the transmitting means.
[0006]
Further, the present invention provides an image receiving means for receiving transmitted image information, a means for restoring the divided and transmitted image information to one original image, and a method for receiving the image information received by the image receiving means. An image receiving apparatus is constituted by an image display unit for displaying, a unit for controlling a device for transmitting an image, and a control signal transmitting unit for transmitting a control signal relating to image information received by the image receiving unit. .
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
[0008]
As shown in FIG. 1, the system includes a camera device 101 including an imaging unit 1, an image processing unit 2, a storage unit 3, and a communication unit 4, a display unit 5, a processing unit 4, an operation unit 6, and a restoration unit 8. And a viewer device 102. Further, the imaging unit 1 of the camera device 101 includes a conversion unit 9 that converts a captured image into an electric signal, a communication unit 3 includes a communication bandwidth detection unit 7 that detects a transmission bandwidth, and an image transmission unit that transmits an image. The image processing unit 2 includes a unit 12 and a control signal receiving unit 13 that receives a control signal. The image processing unit 2 includes a cutout unit 10 that cuts out an image area and a division unit 11 that divides an image. On the other hand, the processing unit 4 of the viewer device 1102 includes a control signal transmitting unit 14 and an image receiving unit 15.
[0009]
The camera device 101 and the viewer device 102 are connected via a network 16 such as a telephone line.
[0010]
Hereinafter, the role of each component will be described.
[0011]
First, in the camera device 101, an optical image of a target subject is formed by the imaging unit 1, the result is electrically converted by the conversion unit 9, and the converted signal is sent to the image processing unit 2. The image processing unit 2 calculates an angle of view to be transmitted based on the setting made by the viewer device 102 described later, and cuts out image data of the angle of view obtained by the calculation result by the cutout unit 10, and outputs the cut image data To the communication unit 3.
[0012]
In the communication unit 3, the communication bandwidth is detected by the communication bandwidth detection unit 7, and the result is sent to the image processing unit 2. The communication unit 3 receives control information for image processing transmitted from the viewer device 102 or a communication partner such as a server on the Internet using a communication unit such as a telephone line by the control signal receiving unit 13, Send to the image processing unit 2. Further, the image transmission unit 12 of the communication unit 3 transmits the image data processed by the image processing unit 2 to the viewer device 102 or a communication partner such as a server on the Internet using communication means such as a telephone line.
[0013]
The storage unit 4 stores unprocessed image data captured by the imaging unit 1 and image data processed by the image processing unit 2 as necessary in a storage medium such as a hard disk or a memory card.
[0014]
On the other hand, in the viewer device 102, the processing unit 4 is a data processing device having a communication unit such as a PC (personal computer), and the image receiving unit 15 receives the image data transmitted from the camera device 101, Send to The restoration unit 8 restores the image data sent from the processing unit 4 to the original image and sends it to the display unit 5. The display unit 5 displays the image data sent from the restoration unit 8 and the processing unit 4. The user selects a desired image area using the operation unit 6 based on the result displayed on the display unit 5.
[0015]
FIG. 2 shows an operation flow of the camera device 101 when the camera device 101 automatically calculates an appropriate image size for transmission based on the bandwidth and resizes the image. When the process is started (S201), the image data captured by the imaging unit 1 is converted into an electric signal by the conversion unit 9 (S202). It is determined whether to store the unprocessed image data based on the settings stored in advance (S203). Regardless of whether the information is stored or not, the communication unit 3 determines whether or not the communication state is established (S203). If the communication state is established, the communication bandwidth detection unit 7 detects the communication bandwidth (S204).
[0016]
Based on the result of S204, the communication unit 3 determines whether or not the communication bandwidth is at a level suitable for transmitting the entire screen smoothly (S205). If it is determined that there is not enough bandwidth to transmit the entire screen, the resizing process corresponding to the bandwidth is performed by the clipping unit 10 of the image processing unit 2 based on the content set in advance by the user (S206). ). The result of the resizing process is transmitted by the image transmitting unit 12 of the communication unit 3 in the same manner as the entire screen data when the resizing process is not performed (S207).
[0017]
FIG. 3 shows a flow of the operation of the viewer apparatus 102.
[0018]
When the process is started (S301), it is determined whether or not image data is received from the camera device 101 by the image receiving unit 15 of the processing unit 4 with or without a server or the like on the Internet (S302). ). If the image data has been received, it is displayed on the display unit 5 (S303). It is determined whether the user has performed an operation for controlling the camera device using the operation unit 6 with reference to the displayed data (S304), and if the operation is performed, a control signal is generated (S305), and the processing unit is processed. 4 is transmitted by the control signal transmission unit 14 (S306).
[0019]
Next, the setting for performing the resize processing in S206 will be described.
[0020]
First, it is necessary to set the position of the image that the user wants to see in advance. The setting is performed by the user from the operation unit 6 or the like of the viewer device 102, and the setting information is transmitted to the camera device 101 as the above-described control signal by the control signal transmission unit 14 of the processing unit 4 of the viewer device 102 (S305).
[0021]
In the present invention, the following seven settings for performing the resizing process are provided.
[0022]
FIG. 4 shows a case where the angle of view is uniformly determined at the same ratio as the whole screen in four directions based on the center point of the whole screen.
[0023]
FIG. 5 shows a case where the angle of view is determined evenly at the same ratio as that of the entire screen, starting from the upper left corner of the entire screen.
[0024]
FIG. 6 shows a case where the angle of view is determined evenly at the same ratio as that of the entire screen, starting from the lower left corner of the entire screen.
[0025]
FIG. 7 shows a case where the angle of view is determined evenly at the same ratio as that of the entire screen, starting from the upper right corner of the entire screen.
[0026]
FIG. 8 shows a case where the angle of view is determined evenly at the same ratio as that of the entire screen, starting from the lower right corner of the entire screen.
[0027]
FIG. 9 shows a case where the angle of view is uniformly determined at the same ratio as the whole screen in four directions based on the center point of the area with the most movement in the whole screen. The flow will be described with reference to FIG.
[0028]
The image processing unit 2 determines whether or not there is a motion in the entire screen captured by the camera device 101 as compared with the immediately preceding image (S1002). This is a case where the center point is determined (S1003), and the angle of view is uniformly determined at the same ratio as the entire screen based on the center point (S1004). If any of the four sides does not fit within the entire angle of view due to the origin, the remaining distance is taken toward the opposite side when it touches any of the four sides of the entire screen (FIG. 11).
[0029]
FIG. 12 shows a case where the entire screen is divided into a plurality of parts by the dividing unit 11 of the camera device 101 and restored to the full screen again by the restoring unit 8 of the viewer device 102. In this setting, the entire screen is divided into 4n images that can be divided into integers with a fixed aspect ratio. The minimum unit is 4, and thereafter becomes 16, 64,. However, transmitting all frames continuously does not reduce the communication load, so that only frames that have moved compared to the previous time point are transmitted. In the first image 1201, frames 2931, 3032, 3133, and 3234 are transmitted as needed. In the next image 1202, only the frame 3436 moves, so only the frame 3436 is transmitted. On the viewer side, 3436 only overwrites 3032 to display the latest image.
[0030]
In the present embodiment, the case where the camera device 101 and the viewer device 102 are directly connected via the network 16 such as a telephone line has been described. Are also within the scope of the present invention. At this time, the image data transmitted from the image transmission unit 12 of the camera device 101 is temporarily stored in the server 17, and the image data stored in the server 17 is transmitted to the viewer device 102, and the image data is transmitted by the image reception unit of the viewer device 102. Will be received.
[0031]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to reduce the communication load by cutting out the image of the angle of view suitable for a communication state based on a predetermined position by detecting a bandwidth.
[0032]
Further, according to the present invention, by detecting the bandwidth, the image is divided into frames having a size suitable for the communication state and transmitted, and the original image is restored on the receiving side. At this time, it is possible to reduce the communication load by transmitting only the frame that moves when compared with the previous screen. Thus, when the camera device and the viewer device are connected via a network, the image data captured by the camera device can be quickly checked by the viewer device.
[Brief description of the drawings]
FIG. 1 is a block diagram of a system configuration according to an embodiment of the present invention.
FIG. 2 is an operation flowchart when an image is cut out with respect to the camera device according to the embodiment of the present invention.
FIG. 3 is an operation flowchart for the viewer device according to the embodiment of the present invention.
FIG. 4 is a conceptual diagram in a case where an angle of view is determined based on a center point of an entire screen according to the present invention.
FIG. 5 is a conceptual diagram when an angle of view is determined based on an upper left corner of the entire screen.
FIG. 6 is a conceptual diagram in the case where the angle of view is determined based on the lower left corner of the entire screen.
FIG. 7 is a conceptual diagram in a case where the angle of view is determined based on the upper right corner of the entire screen as a base point.
FIG. 8 is a conceptual diagram in a case where an angle of view is determined based on a lower right corner of the entire screen.
FIG. 9 is a conceptual diagram in a case where an angle of view is determined based on a center point of an area with a lot of motion on the entire screen.
FIG. 10 is a flowchart for determining an angle of view based on a center point of an area with a lot of movement.
FIG. 11 is a conceptual diagram in a case where the angle of view is contained in the entire screen.
FIG. 12 is a conceptual diagram in the case of transmitting and receiving only frames having a divided screen with motion.
[Explanation of symbols]
101 camera device 102 viewer device 1101 full screen 1201 image 11 taken after quadrant 1202 1201 of full screen
2 image processing unit 3 communication unit 4 image reception unit 5 display unit 6 operation unit 7 communication bandwidth detection unit 8 restoration unit 9 conversion unit 10 cutout unit 11 division unit 12 image transmission unit 13 control signal reception unit 14 control signal transmission unit 15 Image receiving unit 16 Network 17 Server
