JP2022098714A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2022098714A JP2022098714A JP2020212278A JP2020212278A JP2022098714A JP 2022098714 A JP2022098714 A JP 2022098714A JP 2020212278 A JP2020212278 A JP 2020212278A JP 2020212278 A JP2020212278 A JP 2020212278A JP 2022098714 A JP2022098714 A JP 2022098714A
- Authority
- JP
- Japan
- Prior art keywords
- display magnification
- image information
- information
- processed
- magnification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 71
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 description 21
- 238000012544 monitoring process Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.
近年、フルハイビジョンに対応した撮像装置や表示装置が広く普及している。フルハイビジョンで扱う画像情報は、従来のNTSC方式で用いられていた画像情報よりも解像度が高く、また画像情報の短辺に対する長辺の長さが長い。 In recent years, image pickup devices and display devices compatible with full high-definition television have become widespread. The image information handled by full high-definition has a higher resolution than the image information used in the conventional NTSC method, and the length of the long side with respect to the short side of the image information is long.
これを利用して、フルハイビジョン仕様のカメラ装置で縦方向を長辺として奥行きのある廊下等を撮影し、撮影した撮像情報をフルハイビジョン仕様の表示装置に表示させて監視を行う監視システムが増えている。 Utilizing this, an increasing number of monitoring systems use full high-definition camera devices to shoot deep corridors with the long side in the vertical direction and display the captured image information on the full high-definition display device for monitoring. ing.
しかし、上述したような高解像度のカメラ装置および表示装置を用いても、撮影位置から遠方にある被写体、例えば長い廊下を撮影した撮像情報における廊下の奥側にいる人物等はやはり視認性が低くなってしまう。 However, even if the high-resolution camera device and display device as described above are used, the visibility of a subject far from the shooting position, for example, a person behind the corridor in the imaging information obtained by shooting a long corridor, is still low. turn into.
撮影位置から遠方の被写体の視認性を上げる方法として、(1) カメラ装置の光学ズーム機能や電子ズーム機能を用いて所望の被写体部分を中心に拡大して撮影する方法、(2) 撮像情報を大型の表示装置に表示させる方法、(3) 撮影情報内の所望の被写体部分をトリミングして拡大表示させる方法がある。 As a method to improve the visibility of a subject far from the shooting position, (1) a method of magnifying the desired subject part by using the optical zoom function and the electronic zoom function of the camera device, and (2) imaging information. There is a method of displaying on a large display device, and (3) a method of trimming a desired subject part in the shooting information and enlarging the display.
しかし、(1) の方法を用いる場合には、被写体の位置や大きさに応じて都度画角を調整する必要があり、操作が煩雑になる。また、(2) の方法を用いようとしても、物理的に大型の表示装置の設置が不可能な場合があり、特に屋外では固定強度や安全上の観点から大型の表示装置の設置に対する制限が多くある。また、(3) の方法を用いると、撮像情報内の拡大した部分とその周囲の部分とで表示倍率が異なるため、視認したときに違和感が大きくなる。また、拡大した部分の撮像情報によりその周囲の撮像情報が隠されて、非表示となる部分が生じてしまう。 However, when the method (1) is used, it is necessary to adjust the angle of view each time according to the position and size of the subject, which complicates the operation. In addition, even if the method (2) is tried, it may not be possible to physically install a large display device, and there are restrictions on the installation of a large display device, especially outdoors, from the viewpoint of fixed strength and safety. There are many. In addition, when the method (3) is used, the display magnification differs between the enlarged part in the image pickup information and the surrounding part, so that the feeling of discomfort becomes large when visually recognizing. In addition, the image pickup information of the enlarged portion hides the image pickup information around it, resulting in a hidden portion.
本発明は、画像情報内の所望の部分を拡大させて該当部分の視認性を向上させつつ、当該部分を拡大させることで非表示となる部分が生じないようにすることが可能な画像処理装置および画像処理方法を提供することを目的とする。 INDUSTRIAL APPLICABILITY The present invention is an image processing apparatus capable of enlarging a desired portion of image information to improve the visibility of the relevant portion and enlarging the portion so that a hidden portion does not occur. And to provide an image processing method.
上記目的を達成するための本発明の画像処理装置は、処理対象の画像情報を複数領域に分割するための情報を記憶する分割情報記憶部と、予め設定された、前記領域ごとの表示倍率を記憶する倍率情報記憶部と、処理対象の画像情報の中から、注目部分を検出する検出部と、前記分割情報記憶部に記憶された情報に基づいて、前記処理対象の画像情報を複数の領域に分割する分割処理部と、前記倍率情報記憶部に記憶された情報に基づいて、前記処理対象の画像情報から分割された各領域の部分画像情報を対応する表示倍率で表示させ、前記検出部で検出された注目部分に該当するすべての領域に対応する部分画像情報を、該当する領域のいずれかに対応する同一の表示倍率で表示させ、前記注目部分の周囲の領域に対応する部分画像情報の表示倍率を、前記注目部分に近い程、前記注目部分の表示倍率に近くなるように、前記処理対象の画像情報内の表示倍率を変更する表示倍率変更部とを備えることを特徴とする。 The image processing apparatus of the present invention for achieving the above object has a divided information storage unit for storing information for dividing the image information to be processed into a plurality of areas, and a preset display magnification for each area. A plurality of regions of the image information of the processing target based on the information stored in the magnification information storage unit to be stored, the detection unit for detecting the attention portion from the image information of the processing target, and the information stored in the divided information storage unit. Based on the information stored in the division processing unit and the magnification information storage unit, the partial image information of each region divided from the image information to be processed is displayed at the corresponding display magnification, and the detection unit is used. The partial image information corresponding to all the areas corresponding to the attention portion detected in 1 is displayed at the same display magnification corresponding to any of the corresponding regions, and the partial image information corresponding to the area around the attention portion is displayed. It is characterized by including a display magnification changing unit that changes the display magnification in the image information to be processed so that the display magnification of the above-mentioned portion is closer to the display magnification of the attention portion.
また、本発明の画像処理方法は、処理対象の画像情報の中から、注目部分を検出する検出ステップと、前記処理対象の画像情報を複数の領域に分割する分割処理ステップと、前記処理対象の画像情報から分割された各領域の部分画像情報に対応する表示倍率の情報を取得してそれぞれの部分画像情報を該当する表示倍率で表示させ、前記検出ステップで検出された注目部分に該当するすべての領域に対応する部分画像情報を、該当する領域のいずれかに対応する同一の表示倍率で表示させ、前記注目部分の周囲の領域に対応する部分画像情報の表示倍率を、前記注目部分に近い程、前記注目部分の表示倍率に近くなるように、前記処理対象の画像情報内の表示倍率を変更する表示倍率変更ステップとを有することを特徴とする。 Further, the image processing method of the present invention includes a detection step of detecting a portion of interest from the image information of the processing target, a division processing step of dividing the image information of the processing target into a plurality of regions, and the processing target. Information on the display magnification corresponding to the partial image information of each region divided from the image information is acquired, each partial image information is displayed at the corresponding display magnification, and all corresponding to the attention portion detected in the detection step. The partial image information corresponding to the area of interest is displayed at the same display magnification corresponding to any of the corresponding areas, and the display magnification of the partial image information corresponding to the area around the area of interest is close to the area of interest. It is characterized by having a display magnification changing step for changing the display magnification in the image information to be processed so as to be closer to the display magnification of the attention portion.
本発明の画像処理装置および画像処理方法によれば、画像情報内の所望の部分を拡大させて該当部分の視認性を向上させつつ、当該部分を拡大させることで非表示となる部分が生じないようにすることができる。 According to the image processing apparatus and the image processing method of the present invention, a desired portion in the image information is enlarged to improve the visibility of the corresponding portion, and the enlarged portion does not generate a hidden portion. Can be done.
本発明の画像処理装置の実施形態として、当該画像処理装置の機能を監視システムの監視カメラ装置に搭載した場合ついて、以下に図面を用いて説明する。 As an embodiment of the image processing apparatus of the present invention, the case where the function of the image processing apparatus is mounted on the surveillance camera apparatus of the surveillance system will be described below with reference to the drawings.
《第1実施形態》
〈第1実施形態による監視システムの構成〉
本実施形態による監視システム1Aの構成について、図1を参照して説明する。監視システム1Aは、監視カメラ装置10と表示装置20とを備える。監視カメラ装置10は、イメージセンサ11と、映像メモリ12と、記憶部13と、CPU14と、通信部15とを備える。
<< First Embodiment >>
<Configuration of monitoring system according to the first embodiment>
The configuration of the
イメージセンサ11は、例えばCMOS(Complementary Metal Oxide Semiconductor)センサまたはCCD(Charge Coupled Device)センサで構成される撮像素子であり、撮影した被写体の光を電気信号に変換する。映像メモリ12は、例えばVRAM(Video RAM)で構成され、処理対象の映像情報を記憶する。
The
記憶部13は、分割情報記憶部131と、倍率情報記憶部132とを有する。分割情報記憶部131は、処理対象の画像情報を所定の複数のブロック領域に分割するために予め設定された、当該画像情報内における各ブロック領域の位置を示す座標情報を記憶する。倍率情報記憶部132は、予め設定された、上述したブロック領域ごとの表示倍率の情報を記憶する。
The
CPU14は、撮像情報処理部141と、表示情報変更部142と、伝送処理部143とを有する。撮像情報処理部141は、撮像情報記憶制御部141aと、動体検出部141bとを有する。撮像情報記憶制御部141aは、イメージセンサ11から取り込んだ撮像情報を処理対象の映像情報として映像メモリ12に順次記憶させる。動体検出部141bは、映像メモリ12に記憶された映像情報から注目部分として、例えば人間などの動体部分を検出する。
The
表示情報変更部142は、分割処理部142aと、表示倍率変更部142bとを有する。分割処理部142aは、分割情報記憶部131に記憶された情報に基づいて、映像メモリ12内の処理対象の画像情報を、所定の複数ブロック領域に分割する。表示倍率変更部142bは、処理対象の画像情報から分割された各ブロック領域の部分画像情報の表示倍率を、倍率情報記憶部132に記憶された情報に基づいて変更する。また表示倍率変更部142bは、1つの動体部分に該当するすべてのブロック領域の部分画像情報を、該当するブロック領域のいずれかの表示倍率に統一して表示させるように、表示倍率を変更する。
The display
伝送処理部143は、符号化処理部143aと、伝送制御部143bとを有する。符号化処理部143aは、表示情報変更部142により変更された映像メモリ12内の映像情報を伝送処理のために符号化する。伝送制御部143bは、符号化処理部143aにより符号化された映像情報を、通信部15から表示装置20に送信する。表示装置20は、監視カメラ装置10から送信された映像情報を表示する。
The
〈第1実施形態による監視システムの動作〉
次に、本実施形態による監視システム1Aの動作について、図2~図8を参照して説明する。本実施形態において監視カメラ装置10は、奥行きが長い(例えば数十メートルある)空間を手前から撮影するように設置されている。これにより監視カメラ装置10は、撮影位置に近い位置にある被写体と遠い位置にある被写体とを、同一画面内に収めて撮影する。
<Operation of monitoring system according to the first embodiment>
Next, the operation of the
また、本実施形態において監視カメラ装置10の分割情報記憶部131には、処理対象の画像情報を図2に示すように縦32×横18(A~R)=576個のブロック領域に分割するために予め設定された、当該画像情報内における各ブロック領域(A1、A2、A3・・・P32、Q32、R32)の位置を示す座標情報が記憶されている。
Further, in the divided
また、倍率情報記憶部132には、これらの各ブロック領域に関して予め設定された表示倍率の情報が記憶されている。本実施形態においては倍率情報記憶部132には、図3に示すように縦方向の行ごとに設定された表示倍率の情報が記憶されている。この表示倍率は、各行に対応する横方向の列すべてのブロック領域に対して有効に設定されている。図3の表示倍率の情報は、画像情報内で、被写体の位置が撮影位置から遠いブロック領域程、表示倍率が高くなるように設定されている。
Further, the magnification
監視システム1Aの稼動が開始すると、監視カメラ装置10で撮影が開始される。撮影が開始された後、監視カメラ装置10で実行される処理を、図4のフローチャートに示す。撮影が開始されると、イメージセンサ11が被写体の光を所定時間間隔で電気信号に変換し、撮像情報処理部141の撮像情報記憶制御部141aが、変換された信号を所定時間間隔で順次取り込んでそれぞれ映像情報として映像メモリ12に記憶させる(S1)。
When the operation of the
次に、分割処理部142aが、映像メモリ12に記憶された最初の画像情報D1を処理対象として取得し、分割情報記憶部131に記憶された情報に基づいて当該画像情報D1を、上述した図2のように576個のブロック領域に分割する(S2)。
Next, the
次に、動体検出部141bが、当該画像情報D1から動体を検出する。画像情報D1から動体を検出する方法は既存の技術を用いることができる。ここでは、動体検出部141bにより、図5に示すように人物Xおよび人物Yの2つの動体が検出されたものとする。
Next, the moving
動体検出部141bは、分割情報記憶部131に記憶された情報に基づいて、検出した人物Xの位置に該当するブロック領域として、B1~F15の矩形領域Xaを特定する。また動体検出部141bは、人物Yの位置に該当するブロック領域として、O25~Q31の矩形領域Yaを特定する。
The moving
そして動体検出部141bは、動体の検出処理結果として、特定した矩形領域Xaのブロック領域の識別情報B1~F15および矩形領域Yaのブロック領域の識別情報O25~Q31を表示情報変更部142の表示倍率変更部142bに送出する(S3)。ここで、動体検出部141bは、画像情報D1内に動体を検出しなかったときには、動体の検出処理結果として、動体がない旨を通知する情報を表示倍率変更部142bに送出する(S3)。
Then, the moving
次に、表示倍率変更部142bが、分割された画像情報D1の各ブロック領域に該当する部分画像情報の表示倍率を、図3に示す表示倍率情報に基づいてそれぞれ対応する値に変更する(S4)。この表示倍率変更を行うことにより、被写体の位置が撮影位置から遠く、見えにくい撮像情報部分を拡大して視認性を高めることができる。
Next, the display
このように画像情報D1の表示倍率を変更すると、人物Xおよび人物Yの足元と頭部とで表示倍率が異なって形状が歪み、適切な監視処理を行うことができない場合がある。そのため、動体検出部141bにより動体が検出されているときには(S5の「YES」)、表示倍率変更部142bは、さらに動体部分の表示倍率の変更処理を行う。具体的には、表示倍率変更部142bは、まず動体部分のうち人物X部分を処理対象として特定し(S6)、人物X部分に該当するブロック領域B1~F15の表示倍率のうち、最小の値(ここでは、1行目のブロック領域に設定されている値1.000)を取得する(S7)。そして、表示倍率変更部142bは、人物X部分に該当するブロック領域B1~F15すべての表示倍率を1.000に変更する(S8)。このように表示倍率を変更することで、人物Xおよび人物Yが歪みにより不自然に見える状態になることを避けることができる。
When the display magnification of the image information D1 is changed in this way, the display magnification differs between the feet and the head of the person X and the person Y, the shape is distorted, and appropriate monitoring processing may not be performed. Therefore, when the moving object is detected by the moving
また表示倍率変更部142bは、人物Xの周囲のブロック領域の表示倍率を、人物X部分に近い程、人物X部分の表示倍率1.000に近くなるように変更する(S9)。例えば、画像情報D1内の7行目のブロック領域A7~R7のうち、人物Xの位置に該当するB7~F7は表示倍率が1.000であり、A7およびG7~R7は1.156である。このまま表示させると、F7とG7との間で表示倍率が急激に変化するため、視認したときに違和感が大きくなる。そこで、図6に示すように、人物Xの周囲のブロック領域G7~R7の表示倍率を、人物X部分に近い程、人物X部分の表示倍率1.000に、連続性を維持しながらなめらかな変化で近づくように変更する。または、ブロック領域G7~R7の表示倍率を、人物X部分の表示倍率1.000に、連続性を維持しながら二次曲線的な変化で近づくように変更してもよい。または、ブロック領域G7~R7の表示倍率を、人物X部分に近い程高い変化率で変化させ、遠ざかる程低い変化率で変化させて、人物X部分の表示倍率1.000に近づくように変更してもよい。このように表示倍率をなめらかな変化で変更することで、画像情報D1を視認したときの違和感を低減させることができる。また、人物Xの位置に該当するブロックの表示倍率を、周囲のブロック領域の表示倍率よりも大きく設定し、人物Xが拡大した場合においても、上述したように表示倍率を、連続性を維持しながら変更することで、拡大した部分の画像情報によりその周辺の画像情報が非表示となることを避けることができる。人物Xの周囲の縦方向に隣接するブロック領域の表示倍率に関しても同様に、人物X部分に近い程、人物X部分の表示倍率1.000に近くなるように変更してもよい。
Further, the display
人物X部分に関する表示倍率の変更処理が終了すると、表示倍率変更部142bは、未処理の人物Y部分を次の処理対象として特定し(S10の「YES」→S6)、人物Yの位置に該当するブロック領域O25~Q31の表示倍率の中の最小値1.624を取得する(S7)。そして、表示倍率変更部142bは、ブロック領域O25~Q31すべての表示倍率を1.624に変更する(S8)。これにより、人物Yは、表示倍率変更前の状態よりも拡大されつつも、人物全体が歪みのない形状で表示される。また表示倍率変更部142bは、人物Yの周囲のブロック領域の表示倍率を、人物Xのときと同様に、人物Y部分に近い程、人物Y部分の表示倍率1.624に、連続性を維持しながらなめらかな変化で近づくように変更する(S9)。
When the process of changing the display magnification for the person X part is completed, the display
例えば、図7に示すように、28列目の人物Yの周囲のブロック領域A28~N28の表示倍率を、人物Yに近い程、人物Yの表示倍率1.624に、連続性を維持しながらなめらかな変化で近づくように設定する。 For example, as shown in FIG. 7, the display magnification of the block areas A28 to N28 around the person Y in the 28th column is set to 1.624 as the display magnification of the person Y is closer to the person Y, and the display magnification is smooth while maintaining continuity. Set to approach by change.
上述した処理によりすべての動体部分に関する表示倍率変更処理が終了すると(S10の「NO」)当該画像情報D1に関する画像処理が終了する。監視カメラ装置10は、上述したステップS2~S10の処理を、該当する映像情報内のすべての画像情報に対して実行する(S11の「NO」)。
When the display magnification change processing for all the moving body portions is completed by the above-mentioned processing (“NO” in S10), the image processing for the image information D1 is completed. The
当該映像情報内のすべての画像情報に対する処理が終了すると(S11の「YES」)、伝送処理部143の符号化処理部143aが、表示情報変更部142により変更された映像メモリ12内の映像情報を伝送処理のために符号化する。そして、伝送制御部143bが、符号化処理部143aにより符号化された映像情報を、通信部15から表示装置20に送信する(S12)。表示装置20は、監視カメラ装置10から送信された画像情報を表示する。
When the processing for all the image information in the video information is completed (“YES” in S11), the
表示された画像情報の例を、図8に示す。図8の画像情報では、表示倍率変更前の図5の画像情報よりも、撮影位置から遠い場所が拡大され、これに伴って人物Yも拡大されて表示されている。 An example of the displayed image information is shown in FIG. In the image information of FIG. 8, a place farther from the shooting position is enlarged than the image information of FIG. 5 before the display magnification is changed, and the person Y is also enlarged and displayed accordingly.
以上の第1実施形態によれば、画像情報全体について、被写体の位置が撮影位置から遠い部分を拡大させることで、奥側の見えづらい部分を見やすくすることができる。また、画像情報内の所望の部分、例えば撮影位置から遠い位置にある動体部分を拡大させて視認性を向上させつつ、当該部分を拡大させることで非表示となる部分が生じないようにすることができる。またその際に、画像情報内の動体に関しては、動体全体が歪みにより不自然に見える状態になることを避けることができる。 According to the first embodiment described above, it is possible to make it easier to see the hard-to-see part on the back side by enlarging the part where the position of the subject is far from the shooting position in the entire image information. Further, the desired part in the image information, for example, the moving object part located far from the shooting position is enlarged to improve the visibility, and the part is enlarged so that the hidden part does not occur. Can be done. At that time, with respect to the moving object in the image information, it is possible to prevent the entire moving object from appearing unnatural due to distortion.
本実施形態では、動体部分に該当するすべてのブロック領域の部分画像情報を、該当するブロック領域の表示倍率の最小値で表示させるように表示倍率を変更したが、これには限定されず、例えば最大値1.780で表示させることで、人物Yを大きく表示させてもよい。
また、動体部分に該当するブロック領域を、動体部分に該当ブロック領域以外の倍率で一律に変更してもよい。例えば、人物Yの位置に該当するブロック領域O25~Q31の倍率を、Q32の倍率1.806とすることで、人物Yを大きく表示させてもよい。
In the present embodiment, the display magnification is changed so that the partial image information of all the block areas corresponding to the moving object portion is displayed at the minimum value of the display magnification of the corresponding block area, but the display magnification is not limited to this, for example. By displaying the maximum value 1.780, the person Y may be displayed larger.
Further, the block area corresponding to the moving body portion may be uniformly changed to the moving body portion at a magnification other than the corresponding block area. For example, the person Y may be displayed larger by setting the magnification of the block areas O25 to Q31 corresponding to the position of the person Y to the magnification of Q32 1.806.
《第2実施形態》
上述した第1実施形態では、処理対象の画像情報を、被写体の位置が撮影位置から遠いブロック領域程、高い表示倍率で拡大して表示させる場合について説明した。しかし、このように画像情報内の表示倍率を変更すると、変更前の画像情報(撮影した画像情報)の端部が表示領域外となり、表示されない部分が生じる。これにより、撮影した画像情報の画角と表示情報の画角とが異なるものとなり、表示されない部分の画像情報を監視することができないという問題がある。そこで、以下に説明する第2実施形態では、撮影時の画角は変えずに当該画角内の画像情報をすべて表示させつつ、画像情報内の所望の部分を拡大させて視認性を向上させる場合について説明する。
<< Second Embodiment >>
In the first embodiment described above, a case has been described in which the image information to be processed is enlarged and displayed at a higher display magnification as the position of the subject is farther from the shooting position in the block area. However, when the display magnification in the image information is changed in this way, the end portion of the image information (photographed image information) before the change is out of the display area, and a portion that is not displayed occurs. As a result, the angle of view of the captured image information and the angle of view of the display information are different, and there is a problem that the image information of the portion that is not displayed cannot be monitored. Therefore, in the second embodiment described below, the desired portion in the image information is enlarged to improve the visibility while displaying all the image information in the angle of view without changing the angle of view at the time of shooting. The case will be described.
〈第2実施形態による監視システムの構成〉
本実施形態による監視システム1Bの構成は、第1実施形態で説明した監視システム1Aの構成と同様であるため、同一機能を有する部分の詳細な説明は省略する。本実施形態において表示倍率変更部142bは、処理対象の撮像情報全体のブロック領域に対する表示倍率変更処理は行わず、検出された動体部分に該当するブロック領域、およびその周囲のブロック領域のみに対して表示倍率変更処理を行う。
<Configuration of monitoring system according to the second embodiment>
Since the configuration of the
〈第2実施形態による監視システムの動作〉
次に、本実施形態による監視システム1Bの動作について説明する。本実施形態においても、第1実施形態と同様の位置に監視カメラ装置10を設置する。また、分割情報記憶部131および倍率情報記憶部132に、第1実施形態と同様の情報が記憶されている。
<Operation of monitoring system according to the second embodiment>
Next, the operation of the
監視システム1Aの稼動が開始し、監視カメラ装置10で撮影が開始されると、図4のステップS1~S3と同様の処理が実行される。ステップS3の処理が行われた後、ステップS4の各ブロック領域の画像情報の表示倍率変更処理を行わずに、ステップS5に移行する。以降、ステップS5で動体が検出されていると判定されたとき(S5の「YES」に実行されるステップS6~S8の処理は、第1実施形態で説明した処理と同様であるため、詳細な説明は省略する。
When the operation of the
次に、ステップS9では、動体の表示倍率が1.000よりも大きい場合には、その周囲のブロック領域の表示倍率を1.000よりも小さい値にすることで、表示させる画像情報の画角を、動体部分の拡大前(変更前)の画像情報(撮像情報)の画角と同じ範囲にする。第1実施形態で説明した場合と同様に、画像情報D1内の人物Yに該当する部分の表示倍率をすべて1.624に変更した場合、人物Yの周囲のブロック領域の表示倍率を1.000よりも小さい値にする。 Next, in step S9, when the display magnification of the moving object is larger than 1.000, the display magnification of the block area around the moving object is set to a value smaller than 1.000, so that the angle of view of the image information to be displayed is changed to the moving object portion. The angle of view of the image information (imaging information) before enlargement (before change) of is set to the same range. Similar to the case described in the first embodiment, when the display magnification of the part corresponding to the person Y in the image information D1 is changed to 1.624, the display magnification of the block area around the person Y is smaller than 1.000. To.
人物Yの横方向の周囲のブロック領域(A25~N25、R25、A26~N26、R26・・・A31~N31、R31)のうち、例えばブロック領域A28~N28に関しては、図9(a)に示すように人物Yから遠いブロック領域A28~G28は表示倍率を1.000のままとし、人物Yに近い部分(H28~N28)の表示倍率を、ブロック領域A28~G28の表示倍率(1.000)とブロック領域O28~Q28の表示倍率(1.624)とに徐々に近づくように、連続性を維持しながらなめらかに変化させる。例えば図9(a)に示すように、人物Yに近い部分(H28~N28)の表示倍率は、表示倍率が1.000よりも低い極値を有し、同じ行の倍率の積分値が、1×分割数となるように変化させてもよい。または、ブロック領域H28~N28の表示倍率を、連続性を維持しながら二次曲線的に変化させてもよい。または、ブロック領域H28~G28の表示倍率を、極値を有する曲線で連続的に変化させてもよい。 Of the block areas (A25 to N25, R25, A26 to N26, R26 ... A31 to N31, R31) around the person Y in the horizontal direction, for example, the block areas A28 to N28 are shown in FIG. 9A. The display magnification of the block areas A28 to G28 far from the person Y remains 1.000, and the display magnification of the part close to the person Y (H28 to N28) is set to the display magnification (1.000) of the block areas A28 to G28 and the block area O28. Change smoothly while maintaining continuity so that it gradually approaches the display magnification (1.624) of Q28. For example, as shown in FIG. 9A, the display magnification of the portion close to the person Y (H28 to N28) has an extremum whose display magnification is lower than 1.000, and the integral value of the magnification of the same row is 1 ×. It may be changed so as to be the number of divisions. Alternatively, the display magnification of the block regions H28 to N28 may be changed in a quadratic curve while maintaining continuity. Alternatively, the display magnification of the block regions H28 to G28 may be continuously changed by a curve having an extreme value.
また、図9(b)に示すように、人物Yから遠いブロック領域(A28~H28)の表示倍率を1.000よりも低くしつつ、当該領域および人物Yに近いブロック領域I28~N28の表示倍率を、人物Yのブロック領域O28~Q28の表示倍率(1.624)に徐々に近づくように、連続性を維持しながらなめらかに変化させてもよい。この場合も、ブロック領域A28~N28の表示倍率を、連続性を維持しながら二次曲線的に変化させるか、極値を有する曲線で連続的に変化させるか、または、同じ行の倍率の積分値が、1×分割数となるように、連続的に変化させてもよい。 Further, as shown in FIG. 9B, the display magnification of the block area (A28 to H28) far from the person Y is set to be lower than 1.000, while the display magnification of the block areas I28 to N28 close to the person Y is set. , The person Y may be smoothly changed while maintaining continuity so as to gradually approach the display magnification (1.624) of the block areas O28 to Q28 of the person Y. In this case as well, the display magnification of the block areas A28 to N28 is changed in a quadratic curve while maintaining continuity, is continuously changed in a curve having an extremum, or the integral of the magnifications in the same row. The value may be continuously changed so as to be 1 × the number of divisions.
また、人物Yの横方向の周囲のブロック領域(A25~N25、A26~N26・・・A31~N31)の中のA28~N28以外のブロック領域に関しても同様に、一部の表示倍率を1.000よりも低くしつつ、連続性を維持しながらなめらかに変化させる。 Similarly, for the block areas other than A28 to N28 in the block areas (A25 to N25, A26 to N26 ... A31 to N31) around the horizontal direction of the person Y, a part of the display magnification is changed from 1.000. Change smoothly while maintaining continuity while lowering the value.
また、縦方向に関しても同様に、人物Yの縦方向の周囲のブロック領域(O1~O24、O32、P1~P24、P32、Q1~Q24、W32)のうち、例えばブロック領域P11~P28に関しては、図10に示すように、人物Yに近い部分(P18~P24)の表示倍率を1.000よりも低くしつつ、連続性を維持しながらなめらかに変化させる。このように処理を実行することで、遠方の動体の被写体を拡大させ、拡大した部分に隠れて非表示となる部分が生じないようにしつつ、撮影時の画角を変えずに表示させることができる。 Similarly, in the vertical direction, among the block areas (O1 to O24, O32, P1 to P24, P32, Q1 to Q24, W32) around the vertical direction of the person Y, for example, the block areas P11 to P28 are As shown in FIG. 10, the display magnification of the portion close to the person Y (P18 to P24) is made lower than 1.000, and is smoothly changed while maintaining continuity. By executing the processing in this way, it is possible to magnify the subject of a distant moving object and display it without changing the angle of view at the time of shooting while preventing the enlarged part from being hidden and hidden. can.
上述した第1および第2実施形態では、監視カメラ装置10の倍率情報記憶部132に記憶される表示倍率の情報が縦方向の行ごとに設定され、各行に設定された表示倍率は、対応するすべての列のブロック領域に対して有効な場合について説明した。しかし、これには限定されず、各行内でブロック領域ごとに異なる表示倍率を設定してもよい。
In the first and second embodiments described above, the display magnification information stored in the magnification
例えば、監視カメラ装置10を、図11に示すように長い廊下の一端から他端に向かって撮影するように設置した場合、奥側の壁Wに該当するブロック領域部分の表示倍率を最も高くし、他の領域の表示倍率を、この壁Wに近い程、壁W部分の表示倍率に近づくように設定してもよい。例えば、図12に示すように各ブロック領域の表示倍率を設定する際に、壁Wに該当するブロック領域(下線で示すH25~H27、I25~I27、およびJ25~J27)の表示倍率を最も高く設定する。このように設定することで、様々な形状の空間内で、撮影位置からの距離に応じた倍率で所望の被写体を拡大させて表示させることができる。
For example, when the
ここで、壁W部分が注目度が高い部分である場合に、この壁Wの周囲のブロック領域の表示倍率を1.000よりも低く設定することで、表示させる画像情報の画角を拡大前(変更前)の画像情報(撮像情報)の画角と同じ範囲にするようにしてもよい。そして、この撮像範囲に動体が入ってきたときにも、当該動体の位置に応じて上述したように動体部分のブロック領域の画像情報部分を適宜拡大させるとともに、その周囲のブロック領域の表示倍率を1.000より低く設定することで、表示させる画像情報の画角を拡大前の画像情報の画角と同じ範囲にするようにしてもよい。 Here, when the wall W portion is a portion with a high degree of attention, the angle of view of the image information to be displayed is expanded (changed) by setting the display magnification of the block area around the wall W to be lower than 1.000. The angle of view of the image information (imaging information) in the previous) may be set to the same range. Then, even when a moving object enters the imaging range, the image information portion of the block area of the moving object portion is appropriately enlarged as described above according to the position of the moving object, and the display magnification of the surrounding block area is increased. By setting it lower than 1.000, the angle of view of the image information to be displayed may be set to the same range as the angle of view of the image information before enlargement.
また、上述した第1および第2実施形態では、画像処理装置としての機能を監視システムの監視カメラ装置内に搭載した場合について説明したが、これには限定されず、監視システム内の監視カメラ装置外の装置に搭載してもよい。例えば、監視カメラにはイメージセンサと映像メモリと伝送処理部を搭載し、この監視カメラから伝送された撮像情報から動体を検出してその表示倍率を変更する機能を有する外部装置を設置するようにしてもよい。 Further, in the first and second embodiments described above, the case where the function as an image processing device is mounted in the surveillance camera device of the surveillance system has been described, but the present invention is not limited to this, and the surveillance camera device in the surveillance system is not limited to this. It may be mounted on an external device. For example, a surveillance camera is equipped with an image sensor, a video memory, and a transmission processing unit, and an external device having a function of detecting a moving object from the image pickup information transmitted from the surveillance camera and changing its display magnification is installed. You may.
また、上述した第1および第2実施形態においては、撮像情報の中の動体部分に該当する複数のブロック領域の表示倍率の最小値で、当該複数のブロック領域すべての表示倍率を変更する場合について説明した。しかしこれには限定されず、当該動体部分に該当する複数ブロック領域の表示倍率の平均値や最大値、または最大値よりも大きい任意の値で、当該複数のブロック領域すべての表示倍率を統一するように変更するようにしてもよい。 Further, in the first and second embodiments described above, the display magnification of all the plurality of block areas is changed by the minimum value of the display magnification of the plurality of block areas corresponding to the moving body portion in the imaging information. explained. However, the present invention is not limited to this, and the display magnification of all the plurality of block areas is unified by the average value or the maximum value of the display magnifications of the plurality of block areas corresponding to the moving object portion, or any value larger than the maximum value. You may change it as follows.
また、上述した第1および第2実施形態において、記憶部13の倍率情報記憶部132に、各ブロック領域の表示倍率情報として、関数で算出された値を、ブロック領域の分割数に応じてサンプリングした離散値のテーブル情報を記憶し、動体の検出やその変化に応じて該当する表示倍率の情報を呼び出して用いてもよい。また、CPU14の表示倍率変更部142bにおいて、動体の検出やその変化に応じて関数で表示倍率の情報を算出してもよい。
Further, in the first and second embodiments described above, a value calculated by a function is sampled in the magnification
また、上述した第1および第2実施形態では、画像情報内の拡大させる注目部分の検出処理として動体検出処理を用いる場合について説明したが、これには限定されず、AIによる所望の物体検出処理を用いてもよいし、予め指定したエリアを注目部分として用いてもよい。 Further, in the first and second embodiments described above, the case where the moving object detection process is used as the detection process of the portion of interest to be enlarged in the image information has been described, but the present invention is not limited to this, and the desired object detection process by AI is described. May be used, or a predetermined area may be used as the attention portion.
1A、1B 監視システム
10 監視カメラ装置
11 イメージセンサ
12 映像メモリ
13 記憶部
14 CPU
15 通信部
20 表示装置
131 分割情報記憶部
132 倍率情報記憶部
141 撮像情報処理部
141a 撮像情報記憶制御部
141b 動体検出部
142 表示情報変更部
142a 分割処理部
142b 表示倍率変更部
143 伝送処理部
143a 符号化処理部
143b 伝送制御部
1A,
15
Claims (5)
予め設定された、前記領域ごとの表示倍率を記憶する倍率情報記憶部と、
処理対象の画像情報の中から、注目部分を検出する検出部と、
前記分割情報記憶部に記憶された情報に基づいて、前記処理対象の画像情報を複数の領域に分割する分割処理部と、
前記倍率情報記憶部に記憶された情報に基づいて、前記処理対象の画像情報から分割された各領域の部分画像情報を対応する表示倍率で表示させ、前記検出部で検出された注目部分に該当するすべての領域に対応する部分画像情報を、該当する領域のいずれかに対応する同一の表示倍率で表示させ、前記注目部分の周囲の領域に対応する部分画像情報の表示倍率を、前記注目部分に近い程、前記注目部分の表示倍率に近くなるように、前記処理対象の画像情報内の表示倍率を変更する表示倍率変更部と
を備えることを特徴とする画像処理装置。 A division information storage unit that stores information for dividing the image information to be processed into a plurality of areas, and a division information storage unit.
A magnification information storage unit that stores a preset display magnification for each area, and
A detection unit that detects the part of interest from the image information to be processed,
A division processing unit that divides the image information to be processed into a plurality of areas based on the information stored in the division information storage unit, and a division processing unit.
Based on the information stored in the magnification information storage unit, the partial image information of each region divided from the image information to be processed is displayed at the corresponding display magnification, and corresponds to the attention portion detected by the detection unit. The partial image information corresponding to all the regions to be displayed is displayed at the same display magnification corresponding to any of the corresponding regions, and the display magnification of the partial image information corresponding to the region around the region of interest is set to the attention portion. An image processing apparatus comprising: a display magnification changing unit for changing the display magnification in the image information to be processed so that the closer to the image, the closer to the display magnification of the attention portion.
予め設定された、前記領域ごとの表示倍率を記憶する倍率情報記憶部と、
処理対象の画像情報の中から、注目部分を検出する検出部と、
前記分割情報記憶部に記憶された情報に基づいて、前記処理対象の画像情報を複数の領域に分割する分割処理部と、
前記倍率情報記憶部に記憶された情報に基づいて、前記検出部で検出された注目部分に該当するすべての領域に対応する部分画像情報の表示倍率を、該当する領域のいずれかに対応する同一の表示倍率に変更するとともに、当該画像情報の画角が表示倍率の変更前と同じ範囲になるように、前記注目部分の周囲の領域に対応する部分画像情報の表示倍率を変更する表示倍率変更部と
を備えることを特徴とする画像処理装置。 A division information storage unit that stores information for dividing the image information to be processed into a plurality of areas, and a division information storage unit.
A magnification information storage unit that stores a preset display magnification for each area, and
A detection unit that detects the part of interest from the image information to be processed,
A division processing unit that divides the image information to be processed into a plurality of areas based on the information stored in the division information storage unit, and a division processing unit.
Based on the information stored in the magnification information storage unit, the display magnification of the partial image information corresponding to all the regions corresponding to the attention portion detected by the detection unit is the same corresponding to any of the corresponding regions. Change the display magnification to change the display magnification of the partial image information corresponding to the area around the area of interest so that the image angle of the image information is in the same range as before the change of the display magnification. An image processing device characterized by including a unit.
ことを特徴とする請求項1または2に記載の画像処理装置。 Based on the information stored in the magnification information storage unit, the display magnification changing unit sets the display magnification of the partial image information corresponding to all the areas corresponding to the attention portion detected by the detection unit to the corresponding area. The image processing apparatus according to claim 1 or 2, wherein the image processing apparatus is changed to a minimum value, an average value, or a maximum value in the display magnification of.
前記処理対象の画像情報を複数の領域に分割する分割処理ステップと、
前記処理対象の画像情報から分割された各領域の部分画像情報に対応する表示倍率の情報を取得してそれぞれの部分画像情報を該当する表示倍率で表示させ、前記検出ステップで検出された注目部分に該当するすべての領域に対応する部分画像情報を、該当する領域のいずれかに対応する同一の表示倍率で表示させ、前記注目部分の周囲の領域に対応する部分画像情報の表示倍率を、前記注目部分に近い程、前記注目部分の表示倍率に近くなるように、前記処理対象の画像情報内の表示倍率を変更する表示倍率変更ステップと
を有することを特徴とする画像処理方法。 A detection step that detects a region of interest from the image information to be processed,
A division processing step for dividing the image information to be processed into a plurality of areas, and
Information on the display magnification corresponding to the partial image information of each region divided from the image information to be processed is acquired, each partial image information is displayed at the corresponding display magnification, and the attention portion detected in the detection step. The partial image information corresponding to all the areas corresponding to is displayed at the same display magnification corresponding to any of the corresponding areas, and the display magnification of the partial image information corresponding to the area around the region of interest is set to the above. An image processing method comprising: a display magnification changing step for changing the display magnification in the image information to be processed so that the closer to the attention portion is, the closer to the display magnification of the attention portion.
前記処理対象の画像情報を複数の領域に分割する分割処理ステップと、
前記検出ステップで検出された注目部分に該当するすべての領域に対応する部分画像情報の表示倍率を、該当する領域のいずれかに対応する同一の表示倍率に変更するとともに、当該画像情報の画角が表示倍率の変更前と同じ範囲になるように、前記注目部分の周囲の領域に対応する部分画像情報の表示倍率を変更する表示倍率変更ステップと
を有することを特徴とする画像処理方法。 A detection step that detects a region of interest from the image information to be processed,
A division processing step for dividing the image information to be processed into a plurality of areas, and
The display magnification of the partial image information corresponding to all the areas corresponding to the attention portion detected in the detection step is changed to the same display magnification corresponding to any of the corresponding areas, and the angle of view of the image information is changed. An image processing method comprising: a display magnification change step of changing the display magnification of the partial image information corresponding to the area around the attention portion so that is in the same range as before the change of the display magnification.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020212278A JP2022098714A (en) | 2020-12-22 | 2020-12-22 | Image processing device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020212278A JP2022098714A (en) | 2020-12-22 | 2020-12-22 | Image processing device and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022098714A true JP2022098714A (en) | 2022-07-04 |
Family
ID=82261704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020212278A Pending JP2022098714A (en) | 2020-12-22 | 2020-12-22 | Image processing device and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022098714A (en) |
-
2020
- 2020-12-22 JP JP2020212278A patent/JP2022098714A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI535285B (en) | Conference system, surveillance system, image processing device, image processing method and image processing program, etc. | |
JP7140580B2 (en) | stereo imager | |
CN110473159B (en) | Image processing method and device, electronic equipment and computer readable storage medium | |
US8704881B2 (en) | Stereoscopic image display apparatus | |
WO2012060269A1 (en) | Image processing method, image processing device, and imaging device | |
WO2011083547A1 (en) | Camera platform system | |
CN105721767A (en) | Method For Processing A Video Stream | |
KR100948872B1 (en) | Camera image correction method and apparatus | |
JP2018042105A (en) | Monitoring image processing device and monitoring image processing method | |
US8462222B2 (en) | Image processing method and device, and imaging apparatus using the image processing device | |
CN110602475B (en) | Method and device for improving image quality, VR display equipment and control method | |
JP2012133408A (en) | Image processing device and program | |
US10764503B2 (en) | Information processing apparatus, control method, and program for outputting a guide for correcting a field of view of a camera | |
JP2022098714A (en) | Image processing device and image processing method | |
JP2012147083A (en) | Image processor, image processing method, and program | |
US20190253618A1 (en) | Information processing apparatus, control method, and program | |
US10950002B2 (en) | Information processing apparatus, control method, and program | |
CN111179180A (en) | Image correction method and device | |
CN113066011A (en) | Image processing method, device, system, medium and electronic equipment | |
JP2013186254A (en) | Image presentation apparatus and image presentation program | |
CN115174878A (en) | Projection picture correction method, apparatus and storage medium | |
JP2016032125A (en) | Image processing system, image processing program, electronic apparatus, and image processing method | |
EP0497428A2 (en) | Interphone with television | |
JP4508043B2 (en) | Video surveillance device and video surveillance program | |
JP2013232738A (en) | Image processing device, image processing method, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240722 |