JP2013168739A - Image processing system and image processing method - Google Patents
Image processing system and image processing method Download PDFInfo
- Publication number
- JP2013168739A JP2013168739A JP2012029830A JP2012029830A JP2013168739A JP 2013168739 A JP2013168739 A JP 2013168739A JP 2012029830 A JP2012029830 A JP 2012029830A JP 2012029830 A JP2012029830 A JP 2012029830A JP 2013168739 A JP2013168739 A JP 2013168739A
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- image
- image processing
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像処理システムに関し、特に、画像信号の符号化技術を用いる画像処理装置に関する。 The present invention relates to an image processing system, and more particularly to an image processing apparatus using an image signal encoding technique.
ＩＴＵ−Ｔ Ｈ．２６４に代表される動画像符号化技術は、テレビ電話、遠隔会議、又は、ネットワーク監視カメラ等の動画像を伝送するアプリケーションにおいて欠かせない技術である。 ITU-TH. The moving image coding technology represented by H.264 is a technology indispensable for applications that transmit moving images, such as videophones, remote conferences, and network surveillance cameras.
このような動画像を伝送するアプリケーションは、必ずしも良好な通信環境によって提供されるとは限らず、通信環境が悪い、又は、伝送帯域の変動が激しい通信環境によって提供される場合が多い。そして、伝送帯域の狭い通信経路によって、伝送帯域の限界を上回る情報量の画像データが伝送された場合、動画像を伝送するアプリケーションには、通信エラー及びデータ遅延が生じ、受信画像の劣化及びフリーズ等が発生する。 Such an application for transmitting a moving image is not necessarily provided in a good communication environment, and is often provided in a communication environment in which the communication environment is bad or the transmission band is fluctuating. When image data with an information amount exceeding the limit of the transmission band is transmitted through a communication path with a narrow transmission band, communication errors and data delays occur in applications that transmit moving images, and the received image deteriorates and freezes. Etc. occur.
従って、動画像を伝送するアプリケーションをユーザに提供する場合、アプリケーションを提供するシステムは、伝送帯域に従って画像を圧縮し、画像の情報量を削減しなければならない。しかし、一般的に画像の情報量と画質とは相反する関係にあり、情報量を減らすほど画質は劣化する。従って、情報量を落としてもユーザにとって所望の画質を維持することが動画像符号化技術では重要である。 Accordingly, when providing an application for transmitting a moving image to a user, the system that provides the application must compress the image according to the transmission band to reduce the amount of image information. However, the amount of information of an image and the image quality are generally in a contradictory relationship, and the image quality deteriorates as the amount of information decreases. Therefore, it is important in the moving picture coding technique to maintain a desired image quality for the user even if the amount of information is reduced.
このためのアプローチの一つとして、画像情報を、ユーザにとって重要な領域（重要領域）と重要でない領域（非重要領域）とに分割し、非重要領域の画質を劣化させることによって情報量を削減し、重要領域の情報量を増やすことによって画質を高める処理を行う方法がある。この方法によって、限られた伝送帯域を用いた場合も、アプリケーションを提供するシステムは、ユーザにとって所望の画質を提供することができる。 One approach to this is to reduce the amount of information by dividing image information into areas that are important to the user (important areas) and areas that are not important (non-important areas) and degrading the image quality of the non-important areas. In addition, there is a method of performing processing for improving the image quality by increasing the amount of information in the important area. With this method, even when a limited transmission band is used, the system that provides the application can provide a desired image quality for the user.
例えば、ＩＴＵ−Ｔ Ｈ．２６４等の動画像符号化方式では、画面全体を１６画素×１６画素のマクロブロックと呼ばれる符号化単位に分割して符号化を行う。Ｈ．２６４を用いた方法は、符号化対象のマクロブロック内の画素値の予測値を、周辺の画素及び前後のピクチャを用いて決定する。そして、符号化対象の画素と予測値との予測誤差を量子化してエントロピー符号化する。 For example, ITU-T H.I. In a moving image encoding method such as H.264, encoding is performed by dividing the entire screen into encoding units called macroblocks of 16 pixels × 16 pixels. H. In the method using H.264, the predicted value of the pixel value in the macroblock to be encoded is determined using the surrounding pixels and the preceding and following pictures. Then, the prediction error between the encoding target pixel and the prediction value is quantized and entropy encoded.
Ｈ．２６４の方法は、前述のマクロブロック内の予測誤差の量子化の際に、量子化パラメータ（以降、ＱＰ）をマクロブロック毎に制御することによって、マクロブロック内の画質と情報量を調整することができる。このため、重要領域の位置を含むマクロブロックの量子化ステップ幅を小さくすることによって画質を高め、代わりに重要領域以外の位置のマクロブロックの量子化ステップ幅を大きくすることによって情報量を削減することができる。 H. The H.264 method adjusts the image quality and the amount of information in a macroblock by controlling the quantization parameter (hereinafter, QP) for each macroblock when the above-described prediction error in the macroblock is quantized. Can do. Therefore, the image quality is improved by reducing the quantization step width of the macroblock including the position of the important region, and the amount of information is reduced by increasing the quantization step width of the macroblock at a position other than the important region instead. be able to.
また、Ｈ．２６４の方法は、符号化前の入力画像の非重要領域に、ローパスフィルタ、モザイク処理、又は、ダイナミックレンジ縮小などの前処理を行うことによって、符号化前の入力画像の情報量を削減する。これによって、符号化後の非重要領域の情報量を削減することが可能である。 H. The H.264 method reduces the amount of information of an input image before encoding by performing preprocessing such as low-pass filter, mosaic processing, or dynamic range reduction on a non-important region of the input image before encoding. As a result, it is possible to reduce the amount of information in the non-important area after encoding.
画像を重要領域と非重要領域とに分割する技術は、コンピュータビジョンの分野における領域分割として様々な技術が知られている。一般的に知られている領域分割の技術は、領域分割の対象として、例えば、人物、顔、又は、車両など、抽出する対象が限定されている場合、良好な精度で重要領域を抽出することができる。しかし、対象物又は背景に対して制約がない場合、重要領域と非重要領域とを精度よく、完全に、かつ、自動で、画像を分割することは容易ではない。 Various techniques for dividing an image into an important area and an unimportant area are known as area division in the field of computer vision. A generally known area dividing technique is to extract an important area with good accuracy when the object to be extracted is limited, for example, a person, a face, or a vehicle. Can do. However, when there is no restriction on the object or the background, it is not easy to divide the image between the important area and the non-important area with accuracy, completely and automatically.
従って、実際の運用上、画像を分割する技術を備えるシステムは、重要領域の抽出を自動的に行うのみならず、ユーザが重要と判断する領域をユーザによって指定される機能を備えることが有用である。 Therefore, in actual operation, it is useful that a system including a technique for dividing an image not only automatically extracts an important area, but also has a function that allows a user to specify an area that the user determines to be important. is there.
従来の画像認識技術には、人物が写っていると判定される画像中の領域を自動的に検出し、さらに、表示端末を介して指定された重要領域に相当する範囲を、より高画質に伝送する技術が開示される（例えば、特許文献１参照）。 The conventional image recognition technology automatically detects an area in an image that is determined to include a person, and further increases the image quality in a range corresponding to an important area designated via a display terminal. A transmission technique is disclosed (for example, see Patent Document 1).
しかし特許文献１に記載された重要領域の指定方法は、重要領域に含まれる物体が固定されている場合のみしか、画像を分割する技術を備えるシステムに適用できない。すなわち、重要領域に含まれる物体が移動している場合、又は、カメラそのものが移動している場合、重要領域に含まれる物体の映像内の移動に追従して重要領域を指定し直すことはできない。
However, the method for specifying an important area described in
本発明の目的は、このような状況に鑑みてなされたものであり、映像内で物体が移動しているような場合でも、映像を受信する側でユーザが重要領域を指定し、さらに、重要領域の画質を高めた画像伝送を実現する技術を提供するものである。 The object of the present invention is made in view of such a situation, and even when an object is moving in the video, the user designates an important area on the video receiving side, and further, The present invention provides a technique for realizing image transmission with improved image quality in a region.
本発明の代表的な一形態によると、被写体が撮像された複数のフレーム画像を受信する画像処理装置と、画像処理装置から送信されたフレーム画像を表示する表示装置とを備える画像処理システムであって、前記画像処理装置は、プロセッサ、メモリ、及び、ネットワークインタフェースを備え、前記表示装置に表示された第１のフレーム画像においてユーザが指定した第１の領域の位置情報を含む領域情報を、前記ネットワークインタフェースを介して取得した場合、前記領域情報に含まれる位置情報に基づいて、前記ユーザが指定する前記被写体が撮像された領域を、前記指定領域として前記第１の領域から抽出し、受信した第２の前記フレーム画像から、前記被写体が撮像された第２の領域を抽出し、前記指定領域が前記第２の領域に対応付けられるか否かを判定し、前記判定の結果、前記指定領域が第２の領域に対応付けられる場合、前記領域情報に従って、前記第２の領域に重要度を付与し、前記付与された重要度に従って、前記第２の領域の画質、又は、前記第２の領域以外の前記第２のフレーム画像の領域の画質を変更し、前記画質を変更された第２のフレーム画像を前記表示装置に送信する。 According to a typical embodiment of the present invention, there is provided an image processing system including an image processing device that receives a plurality of frame images obtained by imaging a subject, and a display device that displays the frame images transmitted from the image processing device. The image processing device includes a processor, a memory, and a network interface, and includes region information including position information of a first region designated by a user in the first frame image displayed on the display device. When acquired via the network interface, based on the position information included in the area information, the area where the subject specified by the user is imaged is extracted from the first area as the specified area and received A second area where the subject is imaged is extracted from the second frame image, and the designated area becomes the second area. It is determined whether or not it is attached, and when the specified area is associated with the second area as a result of the determination, the second area is given importance according to the area information, and the assigned area According to the importance, the image quality of the second area or the image quality of the area of the second frame image other than the second area is changed, and the second frame image with the changed image quality is displayed on the display device. Send to.
本発明の一実施形態によると、ユーザが重要であると判断する領域の画質を維持しつつ、画像全体を必要に従って圧縮できる。 According to an embodiment of the present invention, the entire image can be compressed as necessary while maintaining the image quality of the area that the user deems important.
本発明は、映像内で物体が移動しているような場合でも、映像を受信する側でユーザが映像内の領域を指定し、システムが、指定された領域に対応する画像部分の画質を変更することによって、システムから映像を送信するための情報量を低減できる技術を提供するものである。 In the present invention, even when an object is moving in the video, the user designates an area in the video on the video receiving side, and the system changes the image quality of the image portion corresponding to the designated area. By doing so, a technique that can reduce the amount of information for transmitting video from the system is provided.
以下、添付図面を参照して実施形態について説明する。ただし、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではない。また、各図において共通の構成については同一の参照番号が付される。 Hereinafter, embodiments will be described with reference to the accompanying drawings. However, this embodiment is only an example for realizing the present invention, and does not limit the technical scope of the present invention. Also, the same reference numerals are assigned to common components in the drawings.
図１は、本発明の第１の実施形態の画像符号化システムを示すブロック図である。 FIG. 1 is a block diagram showing an image coding system according to the first embodiment of the present invention.
実施形態の画像符号化システムは、画像符号化装置１００１、撮像装置１００２、及び、画像表示装置１００３を含む。
The image encoding system of the embodiment includes an
撮像装置１００２は、例えば、ビデオカメラなどであり、被写体を撮像して映像データを生成する装置である。
The
画像符号化装置１００１は、撮像装置１００２によって生成された映像データを取得し、取得された映像データを符号化する。これによって生成された符号化ストリームを、画像表示装置１００３に送信する。
The
画像表示装置１００３は、画像符号化装置１００１から受信した符号化ストリームを復号し、これによって映像データを生成する。そして、生成された映像データをユーザに表示する。
The
撮像装置１００２は、画像符号化装置１００１に、有線又は無線によってデータを送信することができる。また、画像符号化装置１００１及び画像表示装置１００３は、ＬＡＮ、ＷＡＮ、又は、インターネットなどのネットワークを介して接続される。
The
画像符号化装置１００１は、制御部１００４、及び、蓄積装置１０１を備える。また、制御部１００４は、重要領域判定部１００５、前処理部１００６、符号化処理部１００７、受信部１００８、及び、送信部１００９を、有する。
The
制御部１００４、重要領域判定部１００５、前処理部１００６、符号化処理部１００７、受信部１００８、及び、送信部１００９は、各々プロセッサ及びメモリを備えてもよい。
The
制御部１００４は、制御部１００４は、画像符号化装置１００１において実装される処理全体を制御するための機能を有する。制御部１００４は、蓄積装置１０１に格納されたデータを各処理部に入力し、各処理部から出力されたデータを蓄積装置１０１に格納する。
The
蓄積装置１０１は、撮像装置１００２から送信された映像データ、及び、画像符号化装置１００１における処理によって生成された符号化ストリーム等のデータを格納するための記憶装置である。図１に示す蓄積装置１０１は、画像符号化装置１００１に備わるが、画像符号化装置１００１の各処理部が蓄積装置１０１からデータを取得できれば、いかなる場所に配置されてもよい。
The
受信部１００８は、撮像装置１００２から送信された映像データを受信するための機能を有する。受信部１００８は、撮像装置１００２及び画像表示装置１００３と通信するためのネットワークインタフェースを有する。
The receiving
重要領域判定部１００５は、受信した映像データのフレーム画像毎に領域を抽出し、抽出された領域に重要度を割り当てる機能を有する。前処理部１００６は、重要ではないと判定された領域に、後述する前処理を行う機能を有する。
The important
なお、本実施形態において、フレーム画像とは、映像データに含まれる画像である。映像データには、所定の時間の間に撮像された複数のフレーム画像が含まれる。 In the present embodiment, the frame image is an image included in the video data. The video data includes a plurality of frame images captured during a predetermined time.
符号化処理部１００７は、前処理部１００６から出力された前処理後のフレーム画像を符号化することによって、符号化ストリームを生成する機能を有する。
The
送信部１００９は、生成された符号化ストリームを画像表示装置１００３に送信する機能を有する。送信部１００９は、画像表示装置１００３と通信するためのネットワークインタフェースを備える。
The
画像符号化装置１００１が有する各処理部は、プロセッサ及びメモリを各々備える物理的な装置として実装されてもよい。また、画像符号化装置１００１が有するプロセッサが、各処理部に相当するプログラムを実行することによって、各処理部が有する機能が画像符号化装置１００１に実装されてもよい。
Each processing unit included in the
また、画像符号化装置１００１が有する各処理部は、全ての処理部を一つの装置として実装されてもよく、各処理部が行う処理毎に分割されてもよい。各処理部の機能がプログラムによって実装された場合も、一つのプログラムによって全ての処理部の機能が実装されてもよく、また、複数のプログラムによって一つの処理部の機能が実装されてもよい。
In addition, each processing unit included in the
画像表示装置１００３は、プロセッサ、メモリ、表示部１０２、及び、入力部１０３を備える。画像表示装置１００３は、プロセッサ及びメモリによって、送信された映像データを表示する。
The
表示部１０２は、例えば、コンピュータに備わるディスプレイであり、ユーザに映像データを表示するための出力装置である。入力部１０３は、ユーザからの指示を受けるための、ユーザインタフェースである。入力部１０３は、例えば、マウス又はタッチパネル等である。
The
図２は、本発明の実施形態の画像符号化装置１００１におけるフレーム毎の画像処理を示すフローチャートである。
FIG. 2 is a flowchart showing image processing for each frame in the
図２に示す処理は、画像符号化装置１００１がフレーム画像を受信する毎に、実行される。図２に示すＳ２００１〜Ｓ２００７の処理は、フレーム画像毎に行われる。
The process shown in FIG. 2 is executed every time the
受信部１００８から映像データを受信した場合、重要領域判定部１００５は、フレーム画像から領域を抽出する（Ｓ２００１）。重要領域判定部１００５は、Ｓ２００１において、重要であるとあらかじめ指定されている被写体が撮像された領域を抽出してもよい。また、一つの被写体が撮像されていると認識される領域を抽出してもよい。
When the video data is received from the receiving
領域の抽出方法として、撮像された被写体又は背景の特性、カメラの動き、若しくは、撮像条件の変動等によって様々な方法が、従来提案されている。Ｓ２００１において、重要領域判定部１００５は、これらの既知の技術を用いる。
Various methods have been proposed as a method for extracting an area depending on characteristics of an imaged subject or background, camera movement, imaging condition variation, and the like. In S2001, the important
例えば、被写体が人物又は顔であることを画像符号化装置１００１にあらかじめ指定されている場合、重要領域判定部１００５は、既知の人物検出アルゴリズム、又は、既知の顔検出アルゴリズムを用いて、フレーム画像から、人物又は顔が表示される領域を検出する。そして、重要領域判定部１００５は、検出された人物又は顔が表示される領域を抽出する。
For example, when the
このように被写体の種類が画像符号化装置１００１にあらかじめ指定されている場合、重要領域判定部１００５は、被写体に関する特徴又は形状などのあらかじめ蓄積された知識と、既知のアルゴリズムとを用いて、被写体を含む領域を抽出する。
In this way, when the type of the subject is designated in advance in the
一方、被写体の種類が画像符号化装置１００１に入力されてない場合、重要領域判定部１００５は、画像中に含まれる被写体に関する蓄積された知識を持たない。このため、重要領域判定部１００５は、エッジ又は色などの物理的な情報のみを用いて画像中に含まれる被写体の領域を、抽出すべきか否かを判定する。ここで、重要領域判定部１００５は、人間によってより重要であると推定される被写体を含む領域を抽出すると判定する。
On the other hand, when the type of the subject is not input to the
このような、被写体を限定せずに、人間にとって何が重要であるか否かを推定する既知のアルゴリズムとして、例えば、非特許文献１（Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ，Ｅ．Ｎｉｅｂｕｒ：“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌ．＆ Ｍａｃｈ．Ｉｎｔｅｌｌ．，ｖｏｌ．２０，ｐｐ．１２５４−１２５９，１９９８．）のような技術が提案されている。 For example, Non-Patent Document 1 (L. Itti, C. Koch, E. Niebur: “A” is known algorithm for estimating what is important for human beings without limiting the subject. (Model of Salary-Based Visual Attention for Rapid Scene Analysis, "Technicals such as IEEE Trans. Pattern Anal. & Mach. Intel., Vol. 20, pp. 1254-1259, 1998.).
非特許文献１は、人間の視覚的注意に基づいて顕著性の情報を取得し、顕著性が高い領域が重要であると推定する技術である。
以下に、Ｓ２００１における重要領域判定部１００５の処理の例を示す。以下の例において、重要領域判定部１００５には、船の形状を示す被写体を含む領域を抽出するものとして、あらかじめ入力されてもよい。
Hereinafter, an example of processing of the important
図３Ａは、本発明の実施形態のフレーム画像を示す説明図である。 FIG. 3A is an explanatory diagram illustrating a frame image according to the embodiment of this invention.
図３Ａに示すフレーム画像は、二隻の船の形状を示す被写体Ａ及び被写体Ｂを含む。重要領域判定部１００５は、図３Ａに示すフレーム画像から領域を抽出する。
The frame image shown in FIG. 3A includes a subject A and a subject B showing the shapes of two ships. The important
図３Ｂは、本発明の実施形態の重要領域判定部１００５によって抽出される領域を示す説明図である。
FIG. 3B is an explanatory diagram illustrating regions extracted by the important
重要領域判定部１００５は、Ｓ２００１において、図３Ａに示すフレーム画像から被写体を含む領域を抽出するため、既知のセグメンテーション技術を用いる。具体的には、重要領域判定部１００５は、図３Ａに示すフレーム画像に含まれる被写体のエッジを抽出することによって、船の形状を特定し、被写体Ａを含む領域Ａと被写体Ｂを含む領域Ｂとを抽出する。
In S2001, the important
なお、重要領域判定部１００５は、Ｓ２００１において、フレーム画像に含まれ、かつ、領域を抽出できる全ての被写体に関して、領域を抽出してもよい。これは、後述する処理によってユーザが新たに領域を指定した場合、指定された領域に関する過去の情報を取得できるようにするためである。
In S2001, the important
Ｓ２００１の後、重要領域判定部１００５は、Ｓ２００１において抽出された領域と、過去に撮像されたフレーム画像から抽出された領域とを対応付ける（Ｓ２００２）。重要領域判定部１００５は、Ｓ２００２において、図２に示す処理を実行しているフレーム画像（符号化対象フレーム）より、一つ前に撮像されたフレーム画像を蓄積装置１０１から取得する。
After S2001, the important
なお、蓄積装置１０１には、フレーム画像が撮像された順番を示す情報と、過去に実行された図２に示す処理によって抽出された領域を示す情報と、各領域に付与された重要度を示す情報とが、格納される。
The
図４Ａ及び図４Ｂに、Ｓ２００２におけるフレーム画像の対応付けを示す。 4A and 4B show the association of frame images in S2002.
図４Ａは、本発明の実施形態の過去のフレーム画像を示す説明図である。 FIG. 4A is an explanatory diagram illustrating a past frame image according to the embodiment of this invention.
図４Ａに示すフレーム画像は、（Ｎ−１）番目に撮像されたフレーム画像である。以下において、図４Ａに示すフレーム画像をフレーム画像（Ｎ−１）と記載する。 The frame image shown in FIG. 4A is the (N−1) th captured frame image. Hereinafter, the frame image shown in FIG. 4A is referred to as a frame image (N-1).
図４Ｂは、本発明の実施形態の符号化対象フレームを示す説明図である。 FIG. 4B is an explanatory diagram illustrating an encoding target frame according to the embodiment of this invention.
図４Ｂに示す符号化対象フレームは、Ｎ番目に撮像されたフレーム画像である。以下において、図４Ｂに示すフレーム画像をフレーム画像Ｎと記載する。 The encoding target frame illustrated in FIG. 4B is a frame image captured at the Nth position. In the following, the frame image shown in FIG. 4B is referred to as a frame image N.
フレーム画像（Ｎ−１）は、過去に実行されたＳ２００１において抽出された領域Ａ’及び領域Ｂ’を含む。フレーム画像Ｎは、Ｓ２００１において抽出された領域Ａ及び領域Ｂを含む。 The frame image (N−1) includes the region A ′ and the region B ′ extracted in S2001 executed in the past. The frame image N includes the area A and the area B extracted in S2001.
Ｓ２００２において、重要領域判定部１００５は、フレーム画像（Ｎ−１）に含まれる領域と、フレーム画像Ｎに含まれる領域とが同じ被写体を含む領域であるか否かを判定する。この判定の結果、領域Ａと領域Ａ’とが同じ被写体を含む領域であると判定された場合、重要領域判定部１００５は、領域Ａと領域Ａ’とを同一とみなし、領域Ａと領域Ａ’とに同一の識別子を付与する。
In step S2002, the important
一方、前述の判定によって、領域Ａ’と領域Ａとが異なる被写体を含む領域であると判定された場合、領域Ａ’と領域Ａとに異なる識別子を付与する。このような対応付けを、フレーム画像Ｎに含まれる全ての領域に行う。 On the other hand, if it is determined by the above-described determination that the region A ′ and the region A are regions including different subjects, different identifiers are assigned to the region A ′ and the region A. Such association is performed on all areas included in the frame image N.
Ｓ２００２において、重要領域判定部１００５は、重要領域判定部１００５が領域Ａと領域Ａ’とが同一の被写体を含むか否かを判定する方法として、既知の様々な物体追跡技術を用いてよい。
In S2002, the important
例えば特許文献２（特開２０１０−１０２５８６号公報）のように、重要領域判定部１００５が、個々の領域の特徴量を保持し、フレーム画像Ｎに含まれる領域の特徴量と、フレーム画像（Ｎ−１）に含まれる領域の特徴量とを、マッチングしてもよい。そしてマッチングの結果、フレーム画像Ｎに含まれる領域の特徴量と、フレーム画像（Ｎ−１）に含まれる領域の特徴量との差が、所定の範囲内である場合、重要領域判定部１００５は、フレーム画像Ｎに含まれる領域の特徴量と、フレーム画像（Ｎ−１）に含まれる領域の特徴量とが同一であると判定してもよい。
For example, as in Patent Document 2 (Japanese Patent Laid-Open No. 2010-102586), the important
なお、前述の例において、符号化対象フレームであるフレーム画像Ｎと、フレーム画像（Ｎ−１）とを対応付けたが、重要領域判定部１００５は、Ｓ２００２において、被写体のオクルージョンを考慮し、複数のフレーム画像を用いてもよい。
In the above-described example, the frame image N that is the encoding target frame is associated with the frame image (N−1). However, in S2002, the important
すなわち、重要領域判定部１００５は、フレーム画像（Ｎ−１）から抽出された領域に、フレーム画像Ｎの領域と対応付けられる領域がない場合、フレーム画像（Ｎ−１）よりもさらに過去に撮像されたフレーム画像の領域とフレーム画像Ｎの領域とを対応付けてもよい。例えば、フレーム画像（Ｎ−３）から抽出された領域に、フレーム画像Ｎの領域と対応付けられる領域がある場合、フレーム画像（Ｎ−３）の領域の識別子を、フレーム画像Ｎの領域に付与してもよい。
That is, when the region extracted from the frame image (N-1) has no region associated with the region of the frame image N, the important
Ｓ２００２において、符号化対象フレームの領域に付与された識別子は、重要領域判定部１００５が有するメモリに格納されてもよいし、蓄積装置１０１に格納されてもよい。重要領域判定部１００５が、符号化対象フレームの領域に付与された識別子を取得できれば、識別子はいずれに格納されてもよい。
In S2002, the identifier given to the area of the encoding target frame may be stored in the memory included in the important
Ｓ２００２によって領域を対応付けることによって、フレーム画像が含まれる映像データにおいて被写体が移動する場合も、重要領域判定部１００５は、符号化対象フレームより過去に撮像されたフレーム画像において指定された被写体を、符号化対象フレームにおいて特定することができる。
Even when the subject moves in the video data including the frame image by associating the regions in S2002, the important
Ｓ２００２の後、重要領域判定部１００５は、ユーザから領域を新たに指定されたか否かを判定する（Ｓ２００３）。重要領域判定部１００５は、後述する指定領域情報を受信部１００８が受信したか否かを判定することによって、ユーザから領域を新たに指定されたか否かを判定する。
After S2002, the important
Ｓ２００３において、符号化対象フレームより一つ前に撮像されたフレーム画像に、図２に示す処理を実行した後、ユーザから領域を新たに指定されたと判定された場合、重要領域判定部１００５は、符号化対象フレームより過去に撮像されたフレーム画像における各領域の重要度を再度判定し直す（Ｓ２００４）。Ｓ２００４における処理は、後述する。
In S2003, when it is determined that a region has been newly designated by the user after executing the processing illustrated in FIG. 2 on the frame image captured immediately before the encoding target frame, the important
なお、Ｓ２００３の処理は、図２に示す処理の開始後、Ｓ２００５の前に実行されれば、いずれのタイミングにおいて実行されてもよい。これは、Ｓ２００３の処理が、符号化対象フレームよりも過去に撮像されたフレーム画像の重要度を変更する処理であり、これによって、Ｓ２００３の処理が、Ｓ２００３の後の処理において、符号化対象フレームの重要度にユーザの指示による重要度を付与させるための処理であるからである。 Note that the process of S2003 may be executed at any timing as long as it is executed before the start of S2005 after the start of the process shown in FIG. This is a process in which the process of S2003 changes the importance of a frame image captured in the past of the encoding target frame, whereby the process of S2003 is performed in the process after S2003. This is because the importance is given to the importance according to the instruction from the user.
Ｓ２００３において、ユーザから領域を新たに指定されていないと判定された場合、又は、Ｓ２００４の後、重要領域判定部１００５は、各領域に関して重要度を判定する（Ｓ２００５）。そして、重要領域判定部１００５は、Ｓ２００１において抽出された各領域に重要度を付与する。
If it is determined in S2003 that no new area is designated by the user, or after S2004, the important
Ｓ２００５において重要領域判定部１００５は、Ｓ２００２において対応付けられた過去のフレーム画像における領域に付与された重要度と同じ重要度を、符号化対象フレームの領域に付与する。Ｓ２００５において重要領域判定部１００５は、Ｓ２００２において保持した領域の識別子に基づいて、蓄積装置１０１に格納された過去のフレーム画像の重要度を取得する。
In step S2005, the important
また、Ｓ２００２において過去のフレーム画像に、符号化対象フレームの領域と対応付けられた領域がないと判定された場合、ユーザによって指定された任意の値を、重要度として符号化対象フレームの領域に付与してもよい。 If it is determined in S2002 that there is no area associated with the area of the encoding target frame in the past frame image, an arbitrary value designated by the user is set as the importance in the area of the encoding target frame. It may be given.
例えば、ユーザが、２値（重要であれば１、非重要であれば０）の重要度を画像符号化装置１００１に指定し、過去のフレーム画像に符号化対象フレームの領域と対応付けられた領域がない場合、重要領域判定部１００５は、図５に示すように、各領域に”１”又は”０”を付与してもよい。本実施形態において、重要度として”１”が付与された領域は、重要領域である。また、重要度として”０”が付与された領域は、非重要領域である。
For example, the user designates the importance of binary (1 if important, 0 if not important) to the
また、重要領域判定部１００５はＳ２００５において、２値以上の重要度を各領域に付与してもよい。
In addition, in S2005, the important
図５は、本発明の実施形態の領域に付与された重要度を示す説明図である。 FIG. 5 is an explanatory diagram showing the importance assigned to the area according to the embodiment of the present invention.
Ｓ２００５において、例えば、重要領域判定部１００５は、領域Ａに重要度として”１”を付与し、領域Ｂに重要度として０を付与する。
In S2005, for example, the important
重要領域判定部１００５は、過去のフレーム画像に符号化対象フレームの領域と対応付けられた領域がない場合、例えば、あらかじめ指定された領域の大きさ、又は、エッジ強度などに従って、重要度を付与してもよい。すなわち、領域の大きさが所定の閾値よりも大きい場合、重要度として最も高い値（例えば、３）を付与し、領域の大きさが所定の閾値よりも小さい場合、重要度として最も低い値（例えば、０）を付与してもよい。
If there is no region associated with the region of the encoding target frame in the past frame image, the important
また、過去のフレーム画像に符号化対象フレームの領域と対応付けられた領域がなく、Ｓ２００１における処理の際に、被写体の種類が識別できる場合、重要領域判定部１００５は、識別された被写体の種類に従って重要度を付与してもよい。例えば、被写体が人又は顔である場合、重要領域判定部１００５は、被写体が含まれる領域に最高の重要度を付与し、それ以外の領域には低い重要度を付与してもよい。
If there is no region associated with the region of the encoding target frame in the past frame image and the subject type can be identified during the processing in S2001, the important
また、重要領域判定部１００５は、フレーム画像から抽出された領域以外の領域（背景領域）に、最低の重要度を付与してもよい。すなわち、Ｓ２００２において対応する過去のフレーム画像の領域が検出されない場合、重要領域判定部１００５は、いかなる方法によって重要度を領域に付与してもよい。
In addition, the important
なお、以下において、各領域のフレーム画像における位置情報と各領域に付与された重要度と各領域に付与された識別子とを含む情報を、重要領域マップと記載する。重要領域マップは、各フレーム画像に対応して蓄積装置１０１に格納される。重要領域マップは、フレーム画像が撮像された順番を示す値を含んでもよい。
Hereinafter, information including position information in the frame image of each region, importance assigned to each region, and an identifier assigned to each region is referred to as an important region map. The important area map is stored in the
Ｓ２００５において、符号化対象フレームの領域に、対応付けられた過去のフレームの領域の重要度と同じ重要度を付与することによって、重要領域判定部１００５は、同じ被写体が撮像される領域を、映像データにおいて同じ画質によってユーザに提供することができる。
In S2005, by assigning the same importance level to the area of the past frame associated with the area of the encoding target frame, the important
Ｓ２００５の後、前処理部１００６は、符号化対象フレームに前処理を行う（Ｓ２００６）。Ｓ２００６における前処理は、重要領域マップに基づいて、Ｓ２００５において重要度が高いと判定された領域（重要領域）以外の領域（非重要領域）に行われる。
After S2005, the
ここで、前処理部１００６は、所定の閾値よりも高い重要度を付与された領域を、重要領域と判定してよく、所定の閾値以下の重要度を付与された領域を、非重要領域と判定してよい。
Here, the
符号化対象フレームの重要領域マップが図５に示す情報を保持する場合、非重要領域は、重要度が０であると判定された領域Ｂと、背景領域（すなわち、領域Ａ及び領域Ｂ以外の領域）とを含む。重要度が多値によって判定されている場合、本実施形態の非重要領域には、所定の値以下の重要度であると判定された領域が含まれてもよい。 When the important area map of the encoding target frame holds the information shown in FIG. 5, the non-important area includes the area B determined to have an importance of 0 and the background area (that is, other than the areas A and B). Area). When the importance level is determined by multiple values, the non-important area of the present embodiment may include an area determined to have an importance level equal to or lower than a predetermined value.
前処理部１００６は、Ｓ２００６において、非重要領域の情報量を削減する。すなわち、非重要領域の画質を低下させる。前処理部１００６による処理によって、非重要領域における符号化後の情報量が大幅に削減される。
In step S2006, the
前処理部１００６は、Ｓ２００６において、例えば、ローパスフィルタ、モザイク処理、ダイナミックレンジ縮小、又は、輝度若しくは色情報の固定値への置換などの画像処理を行う。これらの処理によって、非重要領域の画質は、受信した際の映像データに比べて大きく劣化するが、非重要領域の情報量は削減される。
In step S2006, the
Ｓ２００６の後、符号化処理部１００７は、前処理後のフレーム画像に符号化処理を行う（Ｓ２００７）。符号化処理部１００７は、Ｓ２００７における符号化処理において、ＩＴＵ−Ｔ Ｈ．２６４等の既知の動画像符号化技術を用いてもよい。
After S2006, the
図６は、本発明の実施形態のマクロブロックによって分割されたフレーム画像を示す説明図である。 FIG. 6 is an explanatory diagram illustrating a frame image divided by macroblocks according to the embodiment of this invention.
Ｈ．２６４に代表される既知の動画像符号化技術を用いた場合、符号化処理部１００７は、符号化対象フレーム全体を１６画素×１６画素のマクロブロックと呼ばれる単位に分割して、単位毎に符号化する。Ｈ．２６４を用いた場合、符号化処理部１００７は、符号化処理の対象のマクロブロックに対して、周辺の画素又は前後に撮像されたフレーム画像を用いて対象マクロブロック内の画素値の予測値を決定する。符号化対象のマクロブロックの画素と、決定された予測値との予測誤差を量子化することによって、符号化対象のマクロブロックをエントロピー符号化する。
H. When a known moving image encoding technique typified by H.264 is used, the
ここで、符号化処理部１００７は、マクロブロック内の予測誤差を量子化する際に、量子化パラメータ（ＱＰ）をマクロブロック毎に制御することによって、マクロブロック内の予測誤差の量子化ステップ幅を制御し、マクロブロック内の画質と情報量とを調整することができる。
Here, the
図６は、図５に示す重要領域マップに基づいた、重要領域を含むマクロブロックと、非重要領域を含むマクロブロックとを示す。符号化処理部１００７は、重要領域内のマクロブロックの量子化ステップ幅を小さくすることによって、重要度が高いと判定された重要領域の画質を高めることができる。
FIG. 6 shows a macroblock including an important area and a macroblock including an unimportant area based on the important area map shown in FIG. The
また、符号化処理部１００７は、領域内のマクロブロックの量子化ステップ幅を大きくすることによって、重要度が低いと判定された非重要領域の符号量を削減することができる。
Also, the
なお、符号化処理部１００７は、重要度が高いと判定された重要領域の量子化ステップ幅の下げ幅と、非重要領域の量子化ステップ幅の上げ幅とを、符号化ストリームが目標ビットレートに収まるように、重要領域と非重要領域との画像中における割合と、重要領域及び非重要領域に付与された各々の重要度に従って制御してもよい。ここで目標ビットレートとは、画像符号化装置１００１と画像表示装置１００３との間のネットワークにおいて定められたビットレートである。
Note that the
前述の処理によると、重要領域判定部１００５が符号化対象フレームを重要領域と非重要領域とに分割し、前処理部１００６が非重要領域に前処理を行うことによって非重要領域における情報量を削減し、符号化処理部１００７がさらに非重要領域の量子化ステップ幅を大きく、かつ、重要領域の量子化ステップ幅を小さくする。これによって、画像符号化装置１００１は、画像表示装置１００３に送信する映像データの情報量を削減しながら、重要領域の画質を自動的に高める、又は、維持することができる。
According to the above-described processing, the important
しかし、画像符号化装置１００１がフレーム画像の中から人間にとってどの部分が重要であるかを完全に判定することは、一般的に容易ではない。被写体が人物、顔、又は車両など限定される場合、重要領域判定部１００５は、比較的良好に領域を抽出できる。しかし、被写体が限定されない場合、重要領域判定部１００５が領域を正確に抽出することは困難である。
However, it is generally not easy for the
例えば同じ映像であっても、ユーザによってどの領域を重要であると判断するかは異なり得る。また同じユーザであっても、その時々の目的又は状況によって、どの領域を重要と判断するかは異なり得る。 For example, even in the same video, which area is determined to be important may differ depending on the user. Further, even for the same user, which area is determined to be important may differ depending on the purpose or situation at that time.
そこで、前述の図２に示す処理に、ユーザが重要領域を指定できる機能を加える。 Therefore, a function that allows the user to specify an important area is added to the processing shown in FIG.
図７は、本発明の実施形態のユーザが重要領域であると判断する領域が指定される処理を示す説明図である。 FIG. 7 is an explanatory diagram illustrating processing for designating an area that the user determines to be an important area according to the embodiment of this invention.
図７に示す画像は、画像表示装置１００３の表示部１０２によって表示される映像のうち、ユーザが領域を指定した際に表示されていたフレーム画像である。ユーザは、マウス又はタッチパネルなどのポインティング機能を備える入力部１０３を用いて、表示部１０２に表示されたフレーム画像から、ユーザが重要であると判断する被写体を含む領域７０１を指定する。
The image shown in FIG. 7 is a frame image that was displayed when the user specified an area in the video displayed by the
入力部１０３は、表示したフレーム画像において、領域７０１をユーザによって指定された場合、フレーム画像における指定された領域７０１の位置を示す位置情報を取得する。入力部１０３は、ユーザが領域７０１を指定する方法に従って、位置情報を取得する方法をあらかじめ有する。
When the
例えば、入力部１０３は、重要であると判断する被写体をユーザが点によって指定した場合、指定された点を含む被写体を抽出し、抽出された被写体の領域を含む矩形を、領域７０１として取得してもよい。そして、フレーム画像における取得された領域７０１の位置情報を取得してもよい。
For example, when the user designates a subject to be determined to be important by a point, the
また、入力部１０３は、ユーザが重要であると判断する被写体を円形の範囲によって指定した場合、円形の範囲を領域７０１として取得してもよい。
Further, the
ユーザによって指定された領域７０１の位置情報を含む指定領域情報８００は、画像表示装置１００３から、画像符号化装置１００１に送信される。
The designated
なお、ユーザは、領域７０１を指定する際、領域７０１に含まれる被写体がどの程度重要であるかを示す重要度を指定してもよい。入力部１０３は、ユーザが指定した重要度を取得し、領域７０１と対応させて指定領域情報８００に取得された重要度を格納してもよい。
When the user designates the
図８は、本発明の実施形態の画像符号化装置１００１に送信される指定領域情報８００を示す説明図である。
FIG. 8 is an explanatory diagram illustrating the designated
図８に示す指定領域情報８００は、画像表示装置１００３から画像符号化装置１００１に送信されるパケットに含まれる。指定領域情報８００は、指定時刻８００１、領域数８００２、及び、位置情報８００３（８００３−１〜８００３−ｎ）を含む。
The designated
指定時刻８００１は、ユーザが領域７０１の指定を完了した時点における、画像表示装置１００３に表示されるフレーム画像の時刻である。
The designated
通常、画像符号化装置１００１から画像表示装置１００３に送信される符号化ストリームには、撮像された順番に各フレーム画像が再生されるように、フレーム画像毎に再生すべき順番を示すフレーム時刻が画像符号化装置１００１によって付与される。すなわち、フレーム時刻は、フレーム画像が撮像された順番を示す。
Normally, the encoded stream transmitted from the
画像表示装置１００３は、ユーザが領域７０１を指定した際に表示されていたフレーム画像のフレーム時刻を、指定時刻８００１に格納する。
The
領域数８００２は、ユーザが指定した領域７０１の個数を示す。領域数８００２に格納される値は、位置情報８００３の数に対応する。
The number of
位置情報８００３は、ユーザによって指定された領域７０１のフレーム画像における位置情報を示す。位置情報８００３は、指定領域情報８００にいくつ含まれてもよい。
図８に示す位置情報８００３は、領域７０１が矩形として指定された場合の、領域７０１の位置を示す情報である。具体的には、図８に示す位置情報８００３は、”左上の位置座標”、”指定範囲の幅”、及び、”指定範囲の高さ”によって領域７０１を示す。
The
ただし、領域７０１の位置を特定できる情報が位置情報８００３に格納されていれば、いかなる情報が位置情報８００３に格納されてもよい。すなわち、位置情報８００３は、領域７０１が円形又は多角形などによって指定されている場合、円形又は多角形を示す情報を格納してもよい。
However, any information may be stored in the
また、ユーザが領域７０１の重要度を指定した場合、各位置情報８００３には、各領域７０１の重要度が格納される。
Further, when the user designates the importance level of the
次に、画像符号化装置１００１が指定領域情報８００を受信した場合の処理、すなわち、図２に示すＳ２００４の処理を説明する。
Next, a process when the
図９は、本発明の実施形態の重要度再判定処理を示すフローチャートである。 FIG. 9 is a flowchart illustrating importance redetermination processing according to the embodiment of this invention.
重要領域判定部１００５は、図２に示すＳ２００３において、指定領域情報８００を受信部１００８が受信し、ユーザから領域を新たに指定されたと判定した場合、図９に示す処理を開始する。図９に示す処理は、Ｓ２００４の処理に対応する。
The important
図９に示す処理において、重要領域判定部１００５は、符号化対象フレームの各領域と対応付けられる過去のフレーム画像の領域を特定し、特定された領域に付与された重要度を再判定する。
In the process shown in FIG. 9, the important
重要領域判定部１００５は、まず、ユーザが重要であると判断した領域７０１に対応する指定領域を特定する（Ｓ９００１）。重要領域判定部１００５は、受信した指定領域情報８００の指定時刻８００１が示すフレーム時刻に対応する過去のフレーム画像を、蓄積装置１０１から特定し、特定された過去のフレーム画像から指定領域を特定する。
The important
ここで特定される過去のフレーム画像は、領域７０１が指定された際に画像表示装置１００３に表示されていたフレーム画像の、前処理部１００６及び符号化処理部１００７による処理前のフレーム画像である。
The past frame image specified here is a frame image before the processing by the
重要領域判定部１００５は、Ｓ９００１において、指定時刻８００１が示すフレーム時刻に対応する過去のフレーム画像を、蓄積装置１０１から特定し、さらに、特定された過去のフレーム画像の重要領域マップを特定する。
In S9001, the important
以下において、指定時刻８００１が示す時刻が付与された過去のフレーム画像をフレーム画像ｐと記載する。
Hereinafter, the past frame image to which the time indicated by the designated
Ｓ９００１における指定領域の特定処理の詳細を、図１０及び図１１に示す。 Details of the specified area specifying process in S9001 are shown in FIGS.
図１０は、本発明の実施形態の指定領域を特定する処理を示すフローチャートである。 FIG. 10 is a flowchart showing processing for specifying a designated area according to the embodiment of the present invention.
図１０に示す処理は、Ｓ９００１に示す処理に相当する。 The process illustrated in FIG. 10 corresponds to the process illustrated in S9001.
重要領域判定部１００５は、指定領域情報８００の位置情報８００３と、フレーム画像ｐの重要領域マップとに基づいて、フレーム画像ｐの重要領域マップにおける領域７０１を特定する。そして、特定された領域７０１に、過去に行われたＳ２００１において抽出された領域が既に含まれるか否かを判定する（Ｓ１０００１）。Ｓ１０００１における判定の具体例を、図１１Ａ〜図１１Ｃを用いて説明する。
The important
図１１Ａは、本発明の実施形態のユーザによって指定された領域７０１に、重要度が高い領域が含まれる場合の重要領域マップを示す説明図である。
FIG. 11A is an explanatory diagram illustrating an important area map in a case where an
図１１Ａに示す重要領域マップは、ユーザによって指定された領域７０１内に、Ｓ２００１において抽出された領域Ａ”が含まれることを示す。
The important area map shown in FIG. 11A indicates that the area A ″ extracted in S2001 is included in the
図１１Ｂは、本発明の実施形態のユーザによって指定された領域７０１に、重要度が低い領域が含まれる場合の重要領域マップを示す説明図である。
FIG. 11B is an explanatory diagram illustrating an important area map in a case where an
図１１Ｂに示す重要領域マップは、ユーザによって指定された領域７０１内に、Ｓ２００１において抽出された領域Ｂ”が含まれることを示す。
The important area map shown in FIG. 11B indicates that the area B ″ extracted in S2001 is included in the
図１１Ｃは、本発明の実施形態のユーザによって指定された領域７０１に、抽出された領域が含まれない場合の重要領域マップを示す説明図である。
FIG. 11C is an explanatory diagram illustrating an important region map when the extracted region is not included in the
図１１Ｃに示す重要領域マップは、ユーザによって指定された領域７０１内に、過去に行われたＳ２００１において抽出された領域が含まれないことを示す。
The important area map shown in FIG. 11C indicates that the area extracted in S2001 performed in the past is not included in the
重要領域判定部１００５は、Ｓ１０００１において、特定された重要領域マップにおける領域７０１と、Ｓ２００１において既に抽出された領域との位置が、図１１Ａに示すような位置であるか、図１１Ｂに示すような位置であるか、又は、図１１Ｃに示すような位置であるかを判定する。
The important
そして、Ｓ１０００１において、特定された重要領域マップにおける領域７０１と、Ｓ２００１において既に抽出された領域との位置が、図１１Ａが示すような位置又は図１１Ｂが示すような位置である場合、重要領域判定部１００５は、特定された重要領域マップにおける領域７０１に、既に抽出された領域が含まれると判定する。
If the position of the
そして、重要領域判定部１００５は、重要領域マップにおける領域７０１に含まれる領域を指定領域として特定し、指定領域があることを示す値を、後続する処理（すなわち、Ｓ９００２）に出力する（Ｓ１０００３）。
Then, the important
一方、Ｓ１０００１において、特定された重要領域マップにおける領域７０１と、Ｓ２００１において既に抽出された領域との位置が、図１１Ｃが示すような位置である場合、重要領域判定部１００５は、領域７０１内に抽出された領域が存在しないため、領域７０１の近くに、抽出された領域が存在するか否かを判定する（Ｓ１０００２）。
On the other hand, if the position of the
重要領域判定部１００５は、Ｓ１０００２において、既に抽出された領域のエッジのフレーム画像ｐにおける位置と、重要領域マップにおける領域７０１のエッジとの距離を算出し、算出された距離が所定の値より小さい場合、領域７０１の近くに、既に抽出された領域が存在すると判定する。
In S10002, the important
Ｓ１０００２において、領域７０１の近くに、既に抽出された領域が存在すると判定された場合、重要領域判定部１００５は、領域７０１の近くに存在する、既に抽出された領域を指定領域として特定し、指定領域があることを示す値を、後続する処理（すなわち、Ｓ９００２）に出力する（Ｓ１０００３）。
If it is determined in S10002 that an already extracted area exists near the
Ｓ１０００２において、領域７０１の近くに抽出された領域が存在しないと判定された場合、重要領域判定部１００５は、指定領域はないことを示す値を、後続する処理（すなわち、Ｓ９００２）に出力する（Ｓ１０００４）。
If it is determined in S10002 that the extracted region does not exist near the
Ｓ１０００３又はＳ１０００４の後、重要領域判定部１００５は、図１０に示すＳ９００１の処理を終了する。
After S10003 or S10004, the important
図１０に示す処理によって、重要領域判定部１００５は、ユーザが重要であると判定した被写体が撮像された領域の、フレーム画像における位置を特定できる。また、Ｓ１０００２及びＳ１０００３において、ユーザによって指定された領域の近くの領域を指定領域として特定することよって、重要領域判定部１００５は、ユーザが誤って指定すべき箇所の近傍の領域を指定した場合も、正確に指定領域を特定できる。
By the processing shown in FIG. 10, the important
Ｓ９００１の後、重要領域判定部１００５は、Ｓ９００１の処理によって出力された値が、指定領域があることを示すか否かを判定する（Ｓ９００２）。
After S9001, the important
Ｓ９００２において、Ｓ９００１の処理によって出力された値が、指定領域がないことを示す場合、重要領域判定部１００５は、ユーザが誤って領域を指定したと判定し、図９に示すＳ２００４の処理を終了する。この場合、重要領域判定部１００５は、図２に示すＳ２００５を実行する。
In S9002, when the value output by the process of S9001 indicates that there is no designated area, the important
Ｓ９００２において、Ｓ９００１の処理によって出力された値が、指定領域があることを示す場合、重要領域判定部１００５は、Ｓ９００１において特定されたフレーム画像ｐにおける指定領域の重要度を変更する（Ｓ９００３）。
In S9002, when the value output by the process of S9001 indicates that there is a designated area, the important
ここで、ユーザが画像表示装置１００３において、重要であると判断する領域７０１のみを指定でき、かつ、重要度が”０”又は”１”のみである場合、重要領域判定部１００５は、フレーム画像ｐにおける指定領域の重要度を”１”に変更する。
Here, when the user can specify only the
例えば、Ｓ９００３において重要領域判定部１００５は、Ｓ９００１において図１１Ａのように領域７０１が領域Ａ”を含むと判定された場合、領域Ａ”には最高の重要度である”１”が付されているため、領域Ａ”の重要度を変更しない。
For example, in S9003, if the important
しかし、Ｓ９００１において図１１Ｂのように領域７０１が領域Ｂ”を含むと判定された場合、Ｓ９００３において重要領域判定部１００５は、領域Ｂ”の重要度を”０”から”１”に変更する。また、図１１Ｃのように領域７０１が領域Ｂ”に近いと判定された場合、Ｓ９００３において重要領域判定部１００５は、領域Ｂ”の重要度を高い重要度に変更する。
However, if it is determined in S9001 that the
なお、ユーザが画像表示装置１００３において、重要ではないと判断する領域７０１のみを指定でき、かつ、重要度が”０”又は”１”のみである場合、重要領域判定部１００５は、フレーム画像ｐにおける指定領域の重要度を”０”に変更する。
If the user can specify only the
また、図１１Ａ〜図１１Ｃに示す重要領域マップは、重要度が”０”又は”１”の２値である場合の重要度を示すが、重要度が多値である場合、重要領域判定部１００５は、指定領域の重要度が上がるように（又は、下がるように）値を変更してもよい。変更によって上がる重要度（又は、下がる重要度の値）の値は、ユーザによって重要領域判定部１００５にあらかじめ格納されてもよい。
11A to 11C show the importance when the importance is binary of “0” or “1”. When the importance is multivalued, the important area determination unit The
また、指定領域情報８００の位置情報８００３が、ユーザによって指定された重要度を含む場合、重要領域判定部１００５は、位置情報８００３に従って、フレーム画像ｐにおける指定領域の重要度を変更してもよい。
In addition, when the
Ｓ９００３の後、重要領域判定部１００５は、フレーム画像ｐより一つ後に撮像された過去のフレーム画像から、符号化対象フレームより一つ前に撮像された過去のフレーム画像の重要度を変更する（Ｓ９００４〜Ｓ９００８）。
After S9003, the important
図１２は、本発明の実施形態の符号化対象フレームより過去に撮像された複数のフレーム画像を示す説明図である。 FIG. 12 is an explanatory diagram illustrating a plurality of frame images captured in the past from the encoding target frame according to the embodiment of this invention.
画像表示装置１００３と画像符号化装置１００１とは、本実施形態において異なる筐体に配置されており、画像表示装置１００３と画像符号化装置１００１との間には、データを送信するための遅延時間が発生する。
The
このため、ユーザが画像表示装置１００３において領域７０１を指定した際に画像表示装置１００３に表示されるフレーム画像は、符号化対象フレームよりも過去に撮像されたフレーム画像ｐに対応する。
For this reason, the frame image displayed on the
なお、本実施形態においてフレーム画像ｐは、フレーム時刻がｐであり、すなわち、ｐ番目に撮像されたフレーム画像である。また、符号化対象フレームは、フレーム時刻がＮであり、Ｎ番目に撮像されたフレーム画像である。 In the present embodiment, the frame image p is a frame image having a frame time p, that is, the p-th image. The encoding target frame has a frame time N, and is a frame image captured Nth.
すなわち、図１２に示すフレーム画像ｐと、符号化対象フレームとの間には、複数のフレーム画像（ｐ＋１）〜フレーム画像（Ｎ−１）が撮像されている。 That is, a plurality of frame images (p + 1) to frame images (N−1) are captured between the frame image p shown in FIG. 12 and the encoding target frame.
このため、符号化対象フレームに含まれる領域に、ユーザの指定に従って重要度を付加する場合、重要領域判定部１００５は、領域７０１を指定した際のフレーム画像ｐから、符号化対象フレームまでの過去のフレーム画像（ｐ＋１）〜フレーム画像（Ｎ−１）に含まれる領域の重要度を変更する必要がある。
For this reason, when the importance is added to the area included in the encoding target frame in accordance with the user's specification, the important
しかし、フレーム画像ｐから、符号化対象フレームまでの過去のフレーム画像において、指定領域と同じ識別子を付与された領域の位置が、フレーム画像において移動している場合がある。また、指定領域と同じ識別子を付与された領域が、フレーム画像から消えている場合がある。 However, in the past frame images from the frame image p to the encoding target frame, the position of the region assigned with the same identifier as the designated region may move in the frame image. In addition, an area assigned with the same identifier as the designated area may disappear from the frame image.
このため、本実施形態の重要領域判定部１００５は、以下の処理によって、フレーム画像ｐから、符号化対象フレームまでの過去のフレーム画像に、指定領域に対応する領域があるか否かを判定する。
For this reason, the important
Ｓ９００３の後、重要領域判定部１００５は、過去のフレーム画像を取得するためのパラメータｔに、初期値として”ｐ＋１”を代入する（Ｓ９００４）。
After S9003, the important
また、Ｓ９００４の後、重要領域判定部１００５は、フレーム画像ｔが、符号化対象フレームであるか否かを判定する。
Also, after S9004, the important
フレーム画像ｔが符号化対象フレームであると、Ｓ９００５において判定された場合、重要領域判定部１００５は、図９に示すＳ２００４の処理を終了する。これは、重要領域判定部１００５は、Ｓ２００５において符号化対象フレームに含まれる領域の重要度を判定するために用いられる、過去のフレーム画像の領域の重要度を、全て変更し終わったためである。
If it is determined in S9005 that the frame image t is the encoding target frame, the important
なお、フレーム画像ｐと符号化対象フレームとの間に撮像されたフレーム画像がない場合、Ｓ９００５においてフレーム画像ｔ（フレーム画像（ｐ＋１））が符号化対象フレームであると判定される。 If there is no frame image captured between the frame image p and the encoding target frame, it is determined in S9005 that the frame image t (frame image (p + 1)) is the encoding target frame.
フレーム画像ｔが符号化対象フレームではないと、Ｓ９００５において判定された場合、重要領域判定部１００５は、Ｓ９００３において重要度を変更された指定領域と対応付けられた領域が、フレーム画像ｐの次に撮像されたフレーム画像（ｐ＋１）、すなわち、フレーム画像ｔに存在するか否かを判定する（Ｓ９００６）。
If it is determined in S9005 that the frame image t is not an encoding target frame, the important
具体的には、重要領域判定部１００５は、フレーム画像ｐに対応する重要領域マップと、フレーム画像ｔに対応する重要領域マップとを参照し、指定領域と同じ識別子を付加された領域があるか否かを判定する。これによって、重要領域判定部１００５は、Ｓ９００６において、指定領域がフレーム画像ｔに存在するか否かを判定する。
Specifically, the important
この判定処理を、図１３Ａ〜図１３Ｅを参照して説明する。 This determination process will be described with reference to FIGS. 13A to 13E.
図１３Ａは、本発明の実施形態の指定領域を含む重要領域マップを示す説明図である。 FIG. 13A is an explanatory diagram illustrating an important area map including a designated area according to the embodiment of this invention.
図１３Ａは、フレーム画像ｐに対応する重要領域マップを示す。図１３Ａに示す領域Ｂが、Ｓ９００３において重要度を変更された。 FIG. 13A shows an important area map corresponding to the frame image p. The importance of the area B shown in FIG. 13A was changed in S9003.
図１３Ｂ〜図１３Ｅに示す重要領域マップは、フレーム画像ｐの次に撮像されたフレーム画像（ｐ＋１）に対応する重要領域マップの複数の例である。 The important area maps shown in FIGS. 13B to 13E are a plurality of examples of important area maps corresponding to the frame image (p + 1) captured next to the frame image p.
図１３Ｂは、本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの一つ目の例を示す説明図である。 FIG. 13B is an explanatory diagram illustrating a first example of an important area map corresponding to the frame image (p + 1) according to the embodiment of this invention.
図１３Ｃは、本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの二つ目の例を示す説明図である。 FIG. 13C is an explanatory diagram illustrating a second example of the important area map corresponding to the frame image (p + 1) according to the embodiment of this invention.
図１３Ｄは、本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの三つ目の例を示す説明図である。 FIG. 13D is an explanatory diagram illustrating a third example of the important area map corresponding to the frame image (p + 1) according to the embodiment of this invention.
図１３Ｅは、本発明の実施形態のフレーム画像（ｐ＋１）に対応する重要領域マップの四つ目の例を示す説明図である。 FIG. 13E is an explanatory diagram illustrating a fourth example of the important area map corresponding to the frame image (p + 1) according to the embodiment of this invention.
図１３Ｂから図１３Ｅに示す重要領域マップの各領域は、図２に示すＳ２００２の処理によって、各々の過去のフレーム画像、すなわちフレーム画像ｐの各領域と既に対応付けられている。 Each area of the important area map shown in FIGS. 13B to 13E is already associated with each past frame image, that is, each area of the frame image p by the process of S2002 shown in FIG.
図１３Ｂに示す領域Ｂ’は、図１３Ａに示す領域Ｂ”と対応付けられている。また、図１３Ｂに示す領域Ｂ’には、Ｓ９００６を行う前において、例えば、重要度として１（重要）が付与されている。 The area B ′ shown in FIG. 13B is associated with the area B ″ shown in FIG. 13A. Further, before performing S9006, the area B ′ shown in FIG. Is granted.
また、図１３Ｃに示す領域Ｂ’は、図１３Ａに示す領域Ｂ”と対応付けられている。図１３Ｃに示す領域Ｂ’には、Ｓ９００６を行う前において、例えば、重要度として０（非重要）が付与されている。 In addition, the area B ′ illustrated in FIG. 13C is associated with the area B ″ illustrated in FIG. 13A. Before performing S9006, the area B ′ illustrated in FIG. ).
また、図１３Ｄに示す重要領域マップには、図１３Ａに示す領域Ｂ”と対応付けられる領域がない。図１３Ｄに示す重要領域マップは、重要度として１を付与された領域Ｄ’を含む。 In addition, the important area map shown in FIG. 13D has no area associated with the area B ″ shown in FIG. 13A. The important area map shown in FIG. 13D includes an area D ′ to which 1 is assigned as the importance.
また、図１３Ｅに示す重要領域マップには、図１３Ａに示す領域Ｂ”と対応付けられる領域がない。図１３Ｅに示す重要領域マップは、重要度として１を付与された領域Ａ’のみを含む。 In addition, the important area map shown in FIG. 13E has no area associated with the area B ″ shown in FIG. 13A. The important area map shown in FIG. 13E includes only the area A ′ given 1 as the importance. .
Ｓ９００６において重要領域判定部１００５は、Ｓ９００３において重要度を変更された指定領域が、フレーム画像ｔにおける領域と、図１３Ｂ又は図１３Ｃのように対応付けられている場合、指定領域と対応付けられた領域がフレーム画像ｔに存在すると判定する。
In S9006, the important
また、Ｓ９００６において、重要領域判定部１００５は、Ｓ９００３において重要度を変更された指定領域が、フレーム画像ｔにおける領域と、図１３Ｄ又は図１３Ｅのように対応付けられていない場合、指定領域と対応付けられた領域がフレーム画像ｔに存在しないと判定する。
In S9006, the important
指定領域が対応付けられた領域がフレーム画像ｔに存在しないと、Ｓ９００６において判定された場合、重要領域判定部１００５は、Ｓ９００８の処理を実行する。
If it is determined in S9006 that the area associated with the designated area does not exist in the frame image t, the important
重要領域判定部１００５は、Ｓ９００５及びＳ９００８の処理によって、フレーム画像ｐから符号化対象フレームまでの過去のフレーム画像のすべてに、Ｓ９００６の処理を実行する。このため、一つのフレーム画像において、指定領域に対応付けられる領域がないと判定された場合も、他のフレーム画像において、指定領域に対応付けられる領域があるか否かを判定することができる。
The important
すなわち、重要領域判定部１００５は、図１３Ｄ又は図１３Ｅのように、指定領域である領域Ｂ”に対応付けられる領域がない場合も、他のフレーム画像において、領域Ｂ”に対応付けられる領域が再び撮像されていることを検出することができる。
That is, as shown in FIG. 13D or FIG. 13E, the important
Ｓ９００６において、指定領域が対応付けられた領域がフレーム画像ｔに存在すると判定された場合、重要領域判定部１００５は、重要度を変更された指定領域と対応付けられたフレーム画像ｔにおける領域の重要度を、指定領域の重要度と一致させるように、変更する（Ｓ９００７）。
If it is determined in S9006 that the area associated with the designated area exists in the frame image t, the important
例えば、図１３Ｂに示す領域Ｂ’が図１３Ａに示す領域Ｂ”と対応付けられている場合、領域Ｂ’の重要度と領域Ｂ”の重要度とは同じである。この場合、重要領域判定部１００５は、Ｓ９００７において、領域Ｂ’の重要度の値を変更しない。
For example, when the area B ′ shown in FIG. 13B is associated with the area B ″ shown in FIG. 13A, the importance of the area B ′ is the same as the importance of the area B ″. In this case, the important
また、例えば、図１３Ｃに示す領域Ｂ’が図１３Ａに示す領域Ｂ”と対応付けられている場合、領域Ｂ’の重要度と領域Ｂの重要度とは異なる。このため、重要領域判定部１００５は、Ｓ９００７において、領域Ｂ’の重要度の値を、領域Ｂ”の重要度の値と一致させる。 For example, when the area B ′ shown in FIG. 13C is associated with the area B ″ shown in FIG. 13A, the importance of the area B ′ is different from the importance of the area B. For this reason, the important area determination unit In step S9007, the importance value of the region B ′ is matched with the importance value of the region B ″ in S9007.
指定領域が対応付けられた領域がフレーム画像ｔに存在しないとＳ９００６において判定された場合、又は、Ｓ９００７の後、重要領域判定部１００５は、パラメータｔに１を加算し（Ｓ９００８）、Ｓ９００５に戻る。
If it is determined in S9006 that the area associated with the designated area does not exist in the frame image t, or after S9007, the important
Ｓ９００５からＳ９００８の処理を繰り返すことによって、重要領域判定部１００５は、フレーム画像ｐから符号化対象フレームまでの過去のフレーム画像における、指定領域に対応付けられる領域の重要度をすべて変更できる。
By repeating the processing from S9005 to S9008, the important
そしてこれによって、重要領域判定部１００５は、Ｓ２００５において、符号化対象フレームの領域に、ユーザの指定に従った重要度を付与することができる。
Accordingly, the important
なお、フレーム画像ｐから符号化対象フレームまでに撮像されたフレーム画像がない場合、重要領域判定部１００５は、Ｓ９００１〜Ｓ９００３のみの処理を行えばよい。
When there is no frame image captured from the frame image p to the encoding target frame, the important
なお、前述の処理は、ユーザによって重要であると指定された領域の重要度を上げるための処理である。しかし、同様の方法によって、ユーザが重要ではない領域を指定した場合、画像符号化装置１００１が、Ｓ９００３において、指定領域の重要度を下げるように変更してもよい。これによって、ユーザは、重要領域と非重要領域とを、より柔軟に設定することができる。
The process described above is a process for increasing the importance of an area designated as important by the user. However, when the user designates an unimportant area by the same method, the
この場合、指定領域情報８００の位置情報８００３には、重要度を上げるべき領域を示すフラグ、又は、重要度を下げるべき領域を示すフラグが含まれてもよい。
In this case, the
また、重要領域判定部１００５は、図９に示すＳ９００１において、フレーム画像ｐにおいてユーザが指定した指定領域を特定した際、特定された指定領域の特徴量を履歴として、蓄積装置１０１に保持してもよい。そして、重要領域判定部１００５は、以降に実行される図２に示すＳ２００１及びＳ２００５において、保持された指定領域の特徴量を用いてもよい。
Further, when the specified area specified by the user in the frame image p is specified in S9001 shown in FIG. 9, the important
具体的には、重要領域判定部１００５は、指定領域の色分布、又は、エッジ方向の分布等の特徴量を保持してもよい。そして、重要領域判定部１００５は、Ｓ２００１において、指定領域の特徴量を用いてフレーム画像から領域を抽出してもよい。また、重要領域判定部１００５は、Ｓ２００５において、指定領域の特徴量を用いて領域の重要度を判定してもよい。
Specifically, the important
すなわち、重要領域判定部１００５は、ユーザが指定した指定領域に関する特徴量を履歴として保持しておくことによって、将来画像符号化装置１００１が受信するフレーム画像において指定領域の特徴量と近い特徴量を有する領域が存在した場合、指定領域の特徴量と近い特徴量を有する領域を抽出し、抽出された領域にユーザの指定に従った重要度を付与することができる。
That is, the important
なお、重要領域判定部１００５は、前述の指定領域に関する特徴量の履歴を、ユーザが指示した際など、必要に応じて削除してもよい。
Note that the important
さらに、重要領域判定部１００５は、指定領域に対応付けられる領域を、指定領域に付与された識別子に基づいて、符号化対象フレームから抽出し、抽出された領域の位置情報を撮像装置１００２に送信してもよい。そして、領域の位置情報を送信された場合、撮像装置１００２は、送信された位置情報に従って、撮像している範囲を制御してもよい。
Further, the important
例えば、撮像装置１００２は、送信された位置情報が示す領域のみにズームする、又は、送信された位置情報が示す領域を画面の中心に表示されるように撮像装置１００２が向く方向を変更する、などを行ってもよい。これによって、画像符号化装置１００１は、符号化処理におけるビットレートを変えることなく、重要領域の情報量を増やすことができる。
For example, the
なお、本実施形態の画像符号化装置１００１が有する各処理部の機能をプログラムによって実装する場合、プログラムのプログラムコードを画像符号化装置１００１にインストールするための記憶媒体として、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、又はＲＯＭなどが用いられてもよい。
Note that when the functions of the processing units included in the
また、画像符号化装置１００１が有する各処理部の機能を実装するためのプログラムコードを、ネットワークを介して画像符号化装置１００１に配信することによって、画像符号化装置１００１が備えるハードディスク若しくはメモリ等の記憶装置、又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に、プログラムコードを格納してもよい。そして、画像符号化装置１００１のプロセッサが、前述の記憶装置又は記憶媒体に格納されたプログラムコードを読み出して実行してもよい。
Also, by distributing program codes for implementing the functions of the processing units included in the
本実施形態によれば、画像符号化装置１００１は、ユーザが指定した内容に従って、重要でないと判定された領域の画質を下げることができる。重要でないと判定された領域（非重要領域）の画質を下げることによって、画像符号化装置１００１から画像表示装置１００３へ送信される符号化ストリームの帯域を、必要に応じて低減することができる。
According to the present embodiment, the
また、非重要領域の画質を下げることによって下がった符号化ストリームの情報量を、符号化対象フレームにおける重要領域の画質を上げるために用いることができるため、表示装置１００３は、重要領域の画質を上げて映像をユーザに提供することができる。
Further, since the information amount of the encoded stream that has been lowered by lowering the image quality of the non-important region can be used to increase the image quality of the important region in the encoding target frame, the
また、ユーザが重要度を変更するよう指定した領域を、符号化対象フレームの領域と対応付けることによって、本実施形態の画像符号化装置１００１は、符号化対象フレームにおける非重要領域を、ユーザの指定に従って圧縮できる。さらに、符号化対象フレームにおける重要領域の画質を、ユーザの指定に従って上げることができる。
In addition, by associating the region designated by the user to change the importance with the region of the encoding target frame, the
このため、本実施形態の画像符号化装置１００１は、ユーザが真に見たいと欲する被写体の映像を、画質を上げて、又は、画質を維持して、ユーザに提供することができる。
For this reason, the
また、重要領域判定部１００５は、符号化対象フレームの領域と、過去のフレーム画像の領域とを対応付け、対応付けられた領域の重要度を一致させる。これによって、画像符号化装置１００１は、映像内で被写体が移動する場合も、被写体が撮像された領域を、同じ画質によってユーザに提供できる。
Also, the important
また、符号化対象フレームの領域と、過去のフレーム画像の領域とを特徴量等によって対応付けることによって、被写体が映像内で移動する場合も、重要領域判定部１００５は、過去のフレーム画像においてユーザによって指定された被写体を、符号化対象フレームにおいても特定することができる。すなわち、被写体が映像内で移動する場合も、ユーザが指定した被写体の領域を、高い画質、又は、低い画質によってユーザに提供し続けることができる。
In addition, even when the subject moves in the video by associating the region of the encoding target frame with the region of the past frame image by the feature amount or the like, the important
１００１ 画像符号化装置
１００２ 撮像装置
１００３ 画像表示装置
１００４ 制御部
１００５ 重要領域判定部
１００６ 前処理部
１００７ 符号化処理部
DESCRIPTION OF
Claims (14)
前記画像処理装置は、
プロセッサ、メモリ、及び、ネットワークインタフェースを備え、
前記表示装置に表示された第１の前記フレーム画像においてユーザが指定した第１の領域の位置情報を含む領域情報を、前記ネットワークインタフェースを介して取得した場合、前記領域情報に含まれる位置情報に基づいて、前記ユーザが指定する前記被写体が撮像された領域を、指定領域として前記第１の領域から抽出し、
受信した第２の前記フレーム画像から、前記被写体が撮像された第２の領域を抽出し、
前記指定領域が前記第２の領域に対応付けられるか否かを判定し、
前記判定の結果、前記指定領域が第２の領域に対応付けられる場合、前記領域情報に従って、前記第２の領域に重要度を付与し、
前記付与された重要度に従って、前記第２の領域の画質、又は、前記第２の領域以外の前記第２のフレーム画像の領域の画質を変更し、
前記画質を変更された第２のフレーム画像を前記表示装置に送信することを特徴とする画像処理システム。 An image processing system comprising: an image processing device that receives a plurality of frame images in which a subject is imaged; and a display device that displays a frame image transmitted from the image processing device,
The image processing apparatus includes:
A processor, a memory, and a network interface;
When area information including position information of the first area designated by the user in the first frame image displayed on the display device is acquired via the network interface, the position information included in the area information is included in the position information included in the area information. Based on this, the area where the subject designated by the user is imaged is extracted from the first area as the designated area,
From the received second frame image, a second region where the subject is imaged is extracted;
Determining whether the designated area is associated with the second area;
As a result of the determination, when the designated area is associated with the second area, the second area is given importance according to the area information,
According to the assigned importance, the image quality of the second region or the image quality of the region of the second frame image other than the second region is changed,
An image processing system, wherein the second frame image whose image quality has been changed is transmitted to the display device.
前記画像処理装置は、
前記フレーム画像が撮像された順番を示すフレーム時刻と、前記フレーム画像から抽出された領域と、前記抽出された領域に付与された重要度と、を示す重要度情報を、前記メモリに保持し、
前記第１のフレーム時刻から、前記第２のフレーム画像が撮像された順番を示す第２のフレーム時刻までの間に撮像された第３のフレーム画像と、前記第３のフレーム画像から抽出された第３の領域とを、前記重要度情報に基づいて特定し、
前記指定領域が、前記第３のフレーム画像から抽出された第３の領域と対応付けられるか否かを判定し、
前記判定の結果、前記指定領域が前記第３の領域と対応付けられる場合、前記重要度情報に示される前記第３の領域に付与された重要度を、前記第１の領域の重要度に関する情報に従って変更し、
前記第３の領域と前記第２の領域とが対応付けられるか否かを判定し、
前記判定の結果、前記第３の領域と前記第２の領域とが対応付けられる場合、前記第３の領域に付与された重要度を、前記第２の領域に付与することを特徴とする請求項１に記載の画像処理システム。 The region information includes a first frame time indicating an order in which the first frame image is captured, and information on the importance of the first region,
The image processing apparatus includes:
Importance information indicating the frame time indicating the order in which the frame images are captured, the area extracted from the frame image, and the importance assigned to the extracted area is held in the memory,
Extracted from the third frame image and the third frame image captured from the first frame time to the second frame time indicating the order in which the second frame images were captured. A third region is identified based on the importance level information;
Determining whether the designated area is associated with a third area extracted from the third frame image;
As a result of the determination, when the designated area is associated with the third area, the importance given to the third area indicated in the importance information is obtained as information on the importance of the first area. Change according to
Determining whether the third region and the second region are associated with each other;
As a result of the determination, when the third area and the second area are associated with each other, the importance assigned to the third area is assigned to the second area. Item 8. The image processing system according to Item 1.
前記第２の領域の第２の特徴量と、前記第３の領域の第３の特徴量とを算出し、
前記第２の特徴量と前記第３の特徴量との差が、所定の値以下である場合、前記第３の領域と前記第２の領域とが対応付けられると判定することを特徴とする請求項２に記載の画像処理システム。 The image processing apparatus includes:
Calculating a second feature amount of the second region and a third feature amount of the third region;
When the difference between the second feature amount and the third feature amount is equal to or less than a predetermined value, it is determined that the third region and the second region are associated with each other. The image processing system according to claim 2.
前記領域情報に含まれる位置情報に基づいて、前記第１のフレーム画像における前記第１の領域に前記被写体が撮像された領域が含まれるか否かを判定し、
前記判定の結果、前記第１の領域に前記被写体が撮像された領域が含まれない場合、前記第１のフレーム画像において、前記第１の領域から所定の範囲内に前記被写体が撮像された領域が含まれるか否かを判定し、
前記判定の結果、前記第１の領域から所定の範囲内に被写体が撮像された領域が含まれる場合、前記第１の領域から所定の範囲内の前記被写体が撮像された領域を、前記指定領域として抽出することを特徴とする請求項１に記載の画像処理システム。 The image processing apparatus includes:
Based on the position information included in the region information, it is determined whether or not the region in which the subject is imaged is included in the first region in the first frame image,
As a result of the determination, if the area where the subject is captured is not included in the first area, the area where the subject is captured within a predetermined range from the first area in the first frame image Is included, and
As a result of the determination, when a region where the subject is imaged is included in a predetermined range from the first region, an area where the subject is imaged within the predetermined range from the first region is defined as the specified region. The image processing system according to claim 1, wherein the image processing system is extracted as:
前記指定領域の第１の特徴量を算出し、
前記算出された特徴量に基づいて、前記第２のフレーム画像から前記第２の領域を抽出することを特徴とする請求項１に記載の画像処理システム。 The image processing apparatus includes:
Calculating a first feature amount of the designated area;
The image processing system according to claim 1, wherein the second region is extracted from the second frame image based on the calculated feature amount.
プロセッサ、及び、メモリを備え、
前記ユーザに前記第１のフレーム画像を提示し、
前記提示された第１のフレーム画像における前記第１の領域のユーザによる指定を、受け付けることを特徴とする請求項１に記載の画像処理システム。 The display device
A processor and a memory;
Presenting the first frame image to the user;
The image processing system according to claim 1, wherein a designation by the user of the first region in the presented first frame image is accepted.
前記画像処理装置は、前記第２のフレーム画像における前記第２の領域の位置情報を、前記撮像装置に送信し、
前記撮像装置は、前記送信された第２の領域の位置情報に従って、前記第２の領域に撮像される前記被写体を撮像する方法を変更することを特徴とする請求項１に記載の画像処理システム。 The image processing system further includes an imaging device for imaging the subject,
The image processing device transmits position information of the second region in the second frame image to the imaging device;
The image processing system according to claim 1, wherein the imaging apparatus changes a method of imaging the subject imaged in the second area according to the transmitted position information of the second area. .
前記方法は、
前記画像処理装置は、プロセッサ、メモリ、及び、ネットワークインタフェースを備え、
前記画像処理装置が、前記表示装置に表示された第１の前記フレーム画像においてユーザが指定した第１の領域の位置情報を含む領域情報を、前記ネットワークインタフェースを介して取得した場合、前記領域情報に含まれる位置情報に基づいて、前記ユーザが指定する前記被写体が撮像された領域を、指定領域として前記第１の領域から抽出し、
前記画像処理装置が、受信した第２の前記フレーム画像から、前記被写体が撮像された第２の領域を抽出し、
前記画像処理装置が、前記指定領域が前記第２の領域に対応付けられるか否かを判定し、
前記判定の結果、前記指定領域が第２の領域に対応付けられる場合、前記画像処理装置が、前記領域情報に従って、前記第２の領域に重要度を付与し、
前記画像処理装置が、前記付与された重要度に従って、前記第２の領域の画質、又は、前記第２の領域以外の前記第２のフレーム画像の領域の画質を変更し、
前記画像処理装置が、前記画質を変更された第２のフレーム画像を前記表示装置に送信することを特徴とする画像処理方法。 An image processing method by an image processing system comprising: an image processing device that receives a plurality of frame images obtained by imaging a subject; and a display device that displays a frame image transmitted from the image processing device,
The method
The image processing apparatus includes a processor, a memory, and a network interface,
When the image processing apparatus acquires area information including position information of the first area designated by the user in the first frame image displayed on the display apparatus via the network interface, the area information Based on the position information included in the area, the area where the subject designated by the user is imaged is extracted from the first area as the designated area,
The image processing device extracts a second region where the subject is imaged from the received second frame image,
The image processing apparatus determines whether the designated area is associated with the second area;
As a result of the determination, when the designated area is associated with the second area, the image processing apparatus gives importance to the second area according to the area information,
The image processing apparatus changes the image quality of the second area or the area of the second frame image other than the second area according to the assigned importance,
The image processing method, wherein the image processing device transmits the second frame image whose image quality has been changed to the display device.
前記画像処理装置は、前記フレーム画像が撮像された順番を示すフレーム時刻と、前記フレーム画像から抽出された領域と、前記抽出された領域に付与された重要度と、を示す重要度情報を、前記メモリに保持し、
前記方法は、
前記画像処理装置が、前記第１のフレーム時刻から、前記第２のフレーム画像が撮像された順番を示す第２のフレーム時刻までの間に撮像された第３のフレーム画像と、前記第３のフレーム画像から抽出された第３の領域とを、前記重要度情報に基づいて特定し、
前記画像処理装置が、前記指定領域が、前記第３のフレーム画像から抽出された第３の領域と対応付けられるか否かを判定し、
前記判定の結果、前記指定領域が前記第３の領域と対応付けられる場合、前記画像処理装置が、前記重要度情報に示される前記第３の領域に付与された重要度を、前記第１の領域の重要度に関する情報に従って変更し、
前記画像処理装置が、前記第３の領域と前記第２の領域とが対応付けられるか否かを判定し、
前記判定の結果、前記第３の領域と前記第２の領域とが対応付けられる場合、前記画像処理装置が、前記第３の領域に付与された重要度を、前記第２の領域に付与することを特徴とする請求項８に記載の画像処理方法。 The region information includes a first frame time indicating an order in which the first frame image is captured, and information on the importance of the first region,
The image processing apparatus includes importance level information indicating a frame time indicating an order in which the frame images are captured, an area extracted from the frame image, and an importance assigned to the extracted area. Held in the memory,
The method
A third frame image captured between the first frame time and a second frame time indicating a sequence in which the second frame image is captured; and A third region extracted from the frame image is identified based on the importance information;
The image processing apparatus determines whether the designated area is associated with a third area extracted from the third frame image;
As a result of the determination, when the designated area is associated with the third area, the image processing apparatus determines the importance assigned to the third area indicated in the importance information by the first area. Change according to the information about the importance of the area,
The image processing apparatus determines whether or not the third area and the second area are associated with each other;
As a result of the determination, when the third region and the second region are associated with each other, the image processing apparatus assigns the importance assigned to the third region to the second region. The image processing method according to claim 8.
前記画像処理装置が、前記第２の領域の第２の特徴量と、前記第３の領域の第３の特徴量とを算出し、
前記画像処理装置が、前記第２の特徴量と前記第３の特徴量との差が、所定の値以下である場合、前記第３の領域と前記第２の領域とが対応付けられると判定することを特徴とする請求項９に記載の画像処理方法。 The method
The image processing device calculates a second feature amount of the second region and a third feature amount of the third region;
The image processing apparatus determines that the third area and the second area are associated with each other when a difference between the second feature quantity and the third feature quantity is equal to or less than a predetermined value. The image processing method according to claim 9.
前記画像処理装置が、前記領域情報に含まれる位置情報に基づいて、前記第１のフレーム画像における前記第１の領域に前記被写体が撮像された領域が含まれるか否かを判定し、
前記判定の結果、前記第１の領域に前記被写体が撮像された領域が含まれない場合、前記画像処理装置が、前記第１のフレーム画像において、前記第１の領域から所定の範囲内に前記被写体が撮像された領域が含まれるか否かを判定し、
前記判定の結果、前記第１の領域から所定の範囲内に被写体が撮像された領域が含まれる場合、前記画像処理装置が、前記第１の領域から所定の範囲内の前記被写体が撮像された領域を、前記指定領域として抽出することを特徴とする請求項８に記載の画像処理方法。 The method
The image processing device determines whether or not an area where the subject is captured is included in the first area in the first frame image based on position information included in the area information;
As a result of the determination, if the first area does not include an area where the subject is imaged, the image processing device may include the first frame image within the predetermined range from the first area. Determine whether the area where the subject was imaged is included,
As a result of the determination, when an area in which a subject is imaged is included in a predetermined range from the first area, the image processing apparatus has imaged the object in a predetermined range from the first area. The image processing method according to claim 8, wherein an area is extracted as the designated area.
前記画像処理装置が、前記指定領域の第１の特徴量を算出し、
前記画像処理装置が、前記算出された特徴量に基づいて、前記第２のフレーム画像から前記第２の領域を抽出することを特徴とする請求項８に記載の画像処理方法。 The method
The image processing device calculates a first feature amount of the designated area;
The image processing method according to claim 8, wherein the image processing apparatus extracts the second region from the second frame image based on the calculated feature amount.
前記方法は、
前記表示装置が、前記ユーザに前記第１のフレーム画像を提示し、
前記表示装置が、前記提示された第１のフレーム画像における前記第１の領域のユーザによる指定を、受け付けることを特徴とする請求項８に記載の画像処理方法。 The display device includes a processor and a memory,
The method
The display device presents the first frame image to the user;
The image processing method according to claim 8, wherein the display device accepts designation by the user of the first region in the presented first frame image.
前記撮像装置は、プロセッサ及びメモリを備え、
前記方法は、
前記画像処理装置が、前記第２のフレーム画像における前記第２の領域の位置情報を、前記撮像装置に送信し、
前記撮像装置が、前記送信された第２の領域の位置情報に従って、前記第２の領域に撮像される前記被写体を撮像する方法を変更することを特徴とする請求項８に記載の画像処理方法。 The image processing system further includes an imaging device for imaging the subject,
The imaging device includes a processor and a memory,
The method
The image processing device transmits position information of the second region in the second frame image to the imaging device;
The image processing method according to claim 8, wherein the imaging device changes a method of imaging the subject imaged in the second area according to the transmitted position information of the second area. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012029830A JP5950605B2 (en) | 2012-02-14 | 2012-02-14 | Image processing system and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012029830A JP5950605B2 (en) | 2012-02-14 | 2012-02-14 | Image processing system and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013168739A true JP2013168739A (en) | 2013-08-29 |
| JP5950605B2 JP5950605B2 (en) | 2016-07-13 |
Family
ID=49178846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012029830A Active JP5950605B2 (en) | 2012-02-14 | 2012-02-14 | Image processing system and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5950605B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017169013A (en) * | 2016-03-16 | 2017-09-21 | アンリツネットワークス株式会社 | Video conversion device |
| JP2018032921A (en) * | 2016-08-23 | 2018-03-01 | 沖電気工業株式会社 | Image processing system and image decoder |
| JP2018093323A (en) * | 2016-12-01 | 2018-06-14 | 沖電気工業株式会社 | Image processing system |
| JP2018523331A (en) * | 2015-04-29 | 2018-08-16 | ノースロップ グラマン システムズ コーポレイションＮｏｒｔｈｒｏｐ Ｇｒｕｍｍａｎ Ｓｙｓｔｅｍｓ Ｃｏｒｐｏｒａｔｉｏｎ | Dynamically adjustable situational recognition interface for unmanned vehicle control |
| JP2020080479A (en) * | 2018-11-13 | 2020-05-28 | Ｎｅｃプラットフォームズ株式会社 | Moving image recording/reproducing device, moving image transmission system and method |
| WO2023199696A1 (en) * | 2022-04-11 | 2023-10-19 | 住友電気工業株式会社 | Video compression device, video compression method, and computer program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001313938A (en) * | 2000-05-01 | 2001-11-09 | Canon Inc | Image encoder, image decoding device, controlling method thereof and image communication system |
| JP2002344925A (en) * | 2001-05-15 | 2002-11-29 | Sony Corp | Moving picture distributor, moving picture distribution method, moving picture distribution program, moving picture distribution program storage medium, picture designation device, picture designation method, picture designation program, picture designation program storage medium, and moving picture providing system |
| JP2003179930A (en) * | 2001-12-10 | 2003-06-27 | Nippon Hoso Kyokai <Nhk> | Method and apparatus for extracting dynamic object |
| JP2004357239A (en) * | 2003-05-30 | 2004-12-16 | Canon Inc | Method for displaying image of image system and image processing device |
| JP2008252331A (en) * | 2007-03-29 | 2008-10-16 | Victor Co Of Japan Ltd | Digital monitoring system |
| JP2011039457A (en) * | 2009-08-18 | 2011-02-24 | Canon Inc | Image capturing apparatus and method of controlling the same |
| JP2011087214A (en) * | 2009-10-19 | 2011-04-28 | Nec Corp | Photographing system, method and program |
-
2012
- 2012-02-14 JP JP2012029830A patent/JP5950605B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001313938A (en) * | 2000-05-01 | 2001-11-09 | Canon Inc | Image encoder, image decoding device, controlling method thereof and image communication system |
| JP2002344925A (en) * | 2001-05-15 | 2002-11-29 | Sony Corp | Moving picture distributor, moving picture distribution method, moving picture distribution program, moving picture distribution program storage medium, picture designation device, picture designation method, picture designation program, picture designation program storage medium, and moving picture providing system |
| JP2003179930A (en) * | 2001-12-10 | 2003-06-27 | Nippon Hoso Kyokai <Nhk> | Method and apparatus for extracting dynamic object |
| JP2004357239A (en) * | 2003-05-30 | 2004-12-16 | Canon Inc | Method for displaying image of image system and image processing device |
| JP2008252331A (en) * | 2007-03-29 | 2008-10-16 | Victor Co Of Japan Ltd | Digital monitoring system |
| JP2011039457A (en) * | 2009-08-18 | 2011-02-24 | Canon Inc | Image capturing apparatus and method of controlling the same |
| JP2011087214A (en) * | 2009-10-19 | 2011-04-28 | Nec Corp | Photographing system, method and program |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018523331A (en) * | 2015-04-29 | 2018-08-16 | ノースロップ グラマン システムズ コーポレイションＮｏｒｔｈｒｏｐ Ｇｒｕｍｍａｎ Ｓｙｓｔｅｍｓ Ｃｏｒｐｏｒａｔｉｏｎ | Dynamically adjustable situational recognition interface for unmanned vehicle control |
| JP2017169013A (en) * | 2016-03-16 | 2017-09-21 | アンリツネットワークス株式会社 | Video conversion device |
| JP2018032921A (en) * | 2016-08-23 | 2018-03-01 | 沖電気工業株式会社 | Image processing system and image decoder |
| JP2018093323A (en) * | 2016-12-01 | 2018-06-14 | 沖電気工業株式会社 | Image processing system |
| JP2020080479A (en) * | 2018-11-13 | 2020-05-28 | Ｎｅｃプラットフォームズ株式会社 | Moving image recording/reproducing device, moving image transmission system and method |
| WO2023199696A1 (en) * | 2022-04-11 | 2023-10-19 | 住友電気工業株式会社 | Video compression device, video compression method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5950605B2 (en) | 2016-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110572579B (en) | Image processing method and device and electronic equipment | |
| EP3389276B1 (en) | Hash-based encoder decisions for video coding | |
| JP5950605B2 (en) | Image processing system and image processing method | |
| CN107852500B (en) | Motion vector field encoding method and decoding method, encoding and decoding device | |
| CN102656886A (en) | Object-aware video encoding strategies | |
| US20150117540A1 (en) | Coding apparatus, decoding apparatus, coding data, coding method, decoding method, and program | |
| KR20220145405A (en) | An image encoding/decoding method and apparatus for performing feature quantization/inverse quantization, and a recording medium for storing a bitstream | |
| CN107801093B (en) | Video rendering method and device, computer equipment and readable storage medium | |
| JP2008193530A (en) | Image recorder, image recording method and program | |
| CA2861967A1 (en) | Distinct encoding and decoding of stable information and transient/stochastic information | |
| CA3057924A1 (en) | System and method to optimize the size of a video recording or video transmission by identifying and recording a region of interest in a higher definition than the rest of the image that is saved or transmitted in a lower definition format | |
| CN106664404A (en) | Block segmentation mode processing method in video coding and relevant apparatus | |
| US8520742B2 (en) | Moving image compression-coding device, method of compression-coding moving image, and H.264 moving image compression-coding device | |
| CN114157870A (en) | Encoding method, medium, and electronic device | |
| US10630991B2 (en) | Image difference detection device, method for detecting image difference, and computer program | |
| US10096116B2 (en) | Method and apparatus for segmentation of 3D image data | |
| JP5801614B2 (en) | Image processing apparatus and image processing method | |
| US10783670B2 (en) | Method for compression of 360 degree content and electronic device thereof | |
| JP6090430B2 (en) | Encoding apparatus, method, program, computer system, recording medium | |
| US11582464B2 (en) | Using morphological operations to process frame masks in video content | |
| US11272209B2 (en) | Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content | |
| CN113542864B (en) | Video splash screen area detection method, device and equipment and readable storage medium | |
| JP6132700B2 (en) | Image processing system and image processing method | |
| US11265553B2 (en) | Obtaining a target representation of a time sample of a signal | |
| CN113810692A (en) | Method for framing changes and movements, image processing apparatus and program product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160607 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5950605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |