JP2018045510A - Information processor and method - Google Patents

Information processor and method Download PDF

Info

Publication number
JP2018045510A
JP2018045510A JP2016180621A JP2016180621A JP2018045510A JP 2018045510 A JP2018045510 A JP 2018045510A JP 2016180621 A JP2016180621 A JP 2016180621A JP 2016180621 A JP2016180621 A JP 2016180621A JP 2018045510 A JP2018045510 A JP 2018045510A
Authority
JP
Japan
Prior art keywords
image
area
predetermined
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016180621A
Other languages
Japanese (ja)
Other versions
JP6789741B2 (en
Inventor
智行 柴田
Satoyuki Shibata
智行 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2016180621A priority Critical patent/JP6789741B2/en
Publication of JP2018045510A publication Critical patent/JP2018045510A/en
Application granted granted Critical
Publication of JP6789741B2 publication Critical patent/JP6789741B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information processor capable of carrying out processing on an object area such as mask processing by identifying an advertisement image included in an image picked up by an imaging apparatus with a simple operation.SOLUTION: An information processor in an embodiment includes: a user input part for allowing a user to specify a predetermined area as an area in a predetermined image; an area search part that searches other predetermined areas including a predetermined image identical to a predetermined image included in the specified predetermined area from an image; and an area update part that carries out object area processing on the specified predetermined area and the predetermined area searched by the area search part.SELECTED DRAWING: Figure 4

Description

本発明の実施形態は、情報処理装置及び方法に関する。   Embodiments described herein relate generally to an information processing apparatus and method.

従来、プライバシ保護等の観点からストリーミング配信する映像中の顔領域を顔検出処理や追跡処理により検出し、顔領域にマスク処理を施してから配信する技術が提案されている。   Conventionally, from the viewpoint of privacy protection and the like, a technique has been proposed in which a face area in a video to be streamed is detected by face detection processing or tracking processing, and the face area is masked before distribution.

ところで、首都圏の鉄道駅においては、列車の運行の遅れなどが発生した場合に、駅構内で混雑が発生し、利用者が駅に到着したとしてもスムーズに利用できない場合等も生じ得る。このような状況を避け、利用者の利便性向上に向けて、利用者に駅構内の混雑を把握させるために、インターネット等を介して駅構内の状況を配信することが提案されている。   By the way, at a railway station in the Tokyo metropolitan area, when a train operation delay or the like occurs, congestion may occur in the station premises, and even if the user arrives at the station, it may not be used smoothly. In order to avoid such a situation and improve the convenience for the user, in order to make the user grasp the congestion in the station, it has been proposed to distribute the situation in the station via the Internet or the like.

駅構内の状況を配信する場合に、駅構内に配置されたポスターやデジタルサイネージなどの広告についての画像も同時に配信されることとなる。しかしながら、駅構内を撮影するための撮像装置(カメラ)は、全ての場所を均等に撮影するように配置されているわけではないので、配信される画像に含まれる広告は偏ったものとなり、広告主によっては不公平感をぬぐえないものとなる。   When distributing the situation in the station, an image of an advertisement such as a poster or digital signage placed in the station is also distributed at the same time. However, since the imaging device (camera) for photographing the station premises is not arranged so as to evenly photograph all places, the advertisement included in the distributed image is biased and the advertisement Depending on the Lord, the feeling of injustice cannot be wiped out.

したがって、駅構内の状況を配信する画像から広告を除くことが好ましいが、広告のデザインには、様々な態様が存在し、人の顔のように共通の特徴で記述できるものでは無いため、自動的に抽出して、マスク処理を行うのは容易でない。   Therefore, it is preferable to remove the advertisement from the image that distributes the situation in the station premises, but there are various aspects in the design of the advertisement, and it cannot be described with common features like a human face. It is not easy to extract and perform mask processing.

一方、マニュアル作業により人手で広告位置を特定し、マスク処理を行うことも考えられるが、広告は日々更新されるのが一般的であるため、その作業量は膨大なものとなる。   On the other hand, it is conceivable that the advertisement position is manually specified by manual work and mask processing is performed. However, since the advertisement is generally updated every day, the amount of work is enormous.

国際公開第2016/088583号International Publication No. 2016/088583

そこで、本発明が解決しようとする課題は、より簡易な作業で、撮像装置により撮像した画像に含まれる広告画像を特定し、マスク処理等の対象領域処理を施すことが可能な情報処理装置及び方法を提供することにある。   Therefore, the problem to be solved by the present invention is an information processing apparatus capable of specifying an advertisement image included in an image captured by an image capturing apparatus and performing target area processing such as mask processing with a simpler work, and It is to provide a method.

実施形態の情報処理装置は、所定画像の領域である所定領域を指定させるユーザ入力部と、指定された所定領域に含まれる所定画像と同一の所定画像が含まれる他の所定領域を、画像から検索する領域検索部と、指定された所定領域及び領域検索部により検索された所定領域に対象領域処理を施す領域更新部と、を備える。   An information processing apparatus according to an embodiment includes, from an image, a user input unit that designates a predetermined area that is an area of a predetermined image and another predetermined area that includes the same predetermined image as the predetermined image included in the specified predetermined area. An area search unit for searching, and an area update unit for performing target area processing on the specified predetermined area and the predetermined area searched by the area search unit.

図1は、実施形態の情報処理装置を備えた駅混雑状況配信システムの概要構成ブロック図である。FIG. 1 is a schematic configuration block diagram of a station congestion situation distribution system including an information processing apparatus according to an embodiment. 図2は、情報処理装置の概要構成ブロック図である。FIG. 2 is a block diagram of a schematic configuration of the information processing apparatus. 図3は、情報処理装置本体の概要構成ブロック図である。FIG. 3 is a schematic configuration block diagram of the information processing apparatus main body. 図4は、実施形態の情報処理装置の機能ブロック図である。FIG. 4 is a functional block diagram of the information processing apparatus according to the embodiment. 図5は、実施形態の処理フローチャートである。FIG. 5 is a process flowchart of the embodiment. 図6は、画像データに対応する画像の一例の説明図である。FIG. 6 is an explanatory diagram of an example of an image corresponding to the image data. 図7は、処理対象指定画面の一例の説明図である。FIG. 7 is an explanatory diagram of an example of the processing target designation screen. 図8は、処理対象領域確認画面の説明図である。FIG. 8 is an explanatory diagram of a processing target area confirmation screen. 図9は、画像領域間の類似度の算出処理の処理フローチャートである。FIG. 9 is a process flowchart of a similarity degree calculation process between image areas. 図10は、類似領域登録画面の説明図である。FIG. 10 is an explanatory diagram of a similar region registration screen. 図11は、類似表示操作画面の説明図である。FIG. 11 is an explanatory diagram of a similar display operation screen. 図12は、撮影画像に歩行者の画像が広告画像内に位置している場合の処理の説明図である。FIG. 12 is an explanatory diagram of processing when a pedestrian image is located in an advertisement image in a captured image. 図13は、配信用画像(配信用画像データ)の一例を説明する図である。FIG. 13 is a diagram illustrating an example of a distribution image (distribution image data).

次に実施形態について図面を参照して説明する。
図1は、実施形態の情報処理装置を備えた駅混雑状況配信システムの概要構成ブロック図である。
駅混雑状況配信システム10は、駅構内の各部(改札、切符売り場、ホーム、駅内通路等)に配置され所定の監視対象領域の撮像を行い、撮像データを出力する複数のカメラ11と、複数のカメラ11が出力した撮像データを収集、管理し、所定の送信タイミング毎に送信するカメラサーバ12と、カメラサーバ12が送信した撮像データ及びデータベース(広告データベース)13に格納した広告データに基づいて配信対象の画像データである配信画像データを生成する情報処理装置14と、情報処理装置14とインターネット等の通信ネットワーク15を介して接続され、情報処理装置14から配信画像データがアップロードされるWEBサーバ16と、通信ネットワーク15に接続されて、WEBサーバ16から配信される配信画像データをスマートフォン等として構成された移動端末装置17に無線通信により配信する複数の無線基地局18と、を備えている。
Next, embodiments will be described with reference to the drawings.
FIG. 1 is a schematic configuration block diagram of a station congestion situation distribution system including an information processing apparatus according to an embodiment.
The station congestion situation distribution system 10 includes a plurality of cameras 11 that are arranged in each part of a station premises (ticket gates, ticket offices, platforms, passages in a station, etc.), take images of predetermined monitoring target areas, and output imaging data. The camera server 12 collects and manages the imaging data output by the camera 11 and transmits it at every predetermined transmission timing, the imaging data transmitted by the camera server 12, and the advertisement data stored in the database (advertisement database) 13. An information processing apparatus 14 that generates distribution image data that is image data to be distributed, and a WEB server that is connected to the information processing apparatus 14 via a communication network 15 such as the Internet and from which the distribution image data is uploaded. 16 and a distribution image data which is connected to the communication network 15 and distributed from the WEB server 16. A plurality of radio base stations 18 to distribute the radio communication to the mobile terminal device 17 that is configured to data as a smart phone or the like, and a.

図2は、情報処理装置の概要構成ブロック図である。
情報処理装置14は、いわゆるコンピュータとして構成され、大別すると、情報処理装置本体21と、情報処理装置本体21の制御下で各種情報を表示する表示装置22と、キーボード、マウス、タッチパネルなどのユーザインタフェースを備え、各種指示、各種データの入力を行うための入力装置23と、ハードディスクドライブ、SSD(Solid State Disk)等としてハードウェア的に構成され、各種データベース等を記憶する記憶装置24と、外部機器との通信インタフェース動作を行う通信インタフェース装置25と、を備えている。
FIG. 2 is a block diagram of a schematic configuration of the information processing apparatus.
The information processing apparatus 14 is configured as a so-called computer, and is roughly classified into an information processing apparatus main body 21, a display device 22 that displays various information under the control of the information processing apparatus main body 21, and a user such as a keyboard, a mouse, and a touch panel. An input device 23 having an interface for inputting various instructions and various data, a hardware device configured as a hard disk drive, SSD (Solid State Disk), etc., and storing various databases, etc. And a communication interface device 25 that performs a communication interface operation with a device.

図3は、情報処理装置本体の概要構成ブロック図である。
上記構成において、情報処理装置本体21は、情報処理装置本体21全体の制御を行うMPU31と、MPU31が実行する制御プログラム、各種データ等を不揮発的に記憶するROM(Read Only Memory)32と、MPU31のワーキングエリアとしても利用され、各種データを一時的に記憶するRAM33と、各種データを不揮発的に更新可能に記憶するEEPROM34と、各種インタフェース動作を行うインタフェース部35と、各部を通信可能に接続する通信バス36と、を備えている。
FIG. 3 is a schematic configuration block diagram of the information processing apparatus main body.
In the above configuration, the information processing apparatus main body 21 includes an MPU 31 that controls the entire information processing apparatus main body 21, a control program executed by the MPU 31, a ROM (Read Only Memory) 32 that stores various data in a nonvolatile manner, and the MPU 31. The RAM 33 that temporarily stores various types of data, the EEPROM 34 that stores various types of data in a non-volatile manner, the interface unit 35 that performs various interface operations, and the various units are communicably connected. And a communication bus 36.

図4は、実施形態の情報処理装置の機能ブロック図である。
情報処理装置14の機能としては、ユーザに配信処理(主としてマスク処理)対象の領域(広告領域)を特定させるための情報を提供し、特定を促すための各種処理を実現するユーザ入力部41と、撮像画像中の配信処理対象の領域を登録する領域登録部42と、領域登録部42において登録された配信処理対象の領域を含む撮像画像及び他の撮像画像中において、登録された配信処理対象の領域と同一の領域とみなせる他の配信処理対象の領域を検索する領域検索部43と、配信処理対象の領域を随時更新する領域更新部44と、更新された配信処理対象の領域に基づいて配信対象の配信画像を生成し出力する出力部45と、を備えている。
FIG. 4 is a functional block diagram of the information processing apparatus according to the embodiment.
As a function of the information processing device 14, a user input unit 41 that provides information for allowing a user to specify an area (advertisement area) targeted for distribution processing (mainly mask processing), and implements various processes for prompting the specification, An area registration unit 42 for registering a distribution processing target area in the captured image, and a distribution processing target registered in the captured image and other captured images including the distribution processing target area registered in the area registration unit 42 Based on the region search unit 43 that searches for another region to be distributed that can be regarded as the same region as the region, a region update unit 44 that updates the region to be distributed as needed, and the updated region to be processed And an output unit 45 that generates and outputs a distribution image to be distributed.

次に実施形態の動作を説明する。
図5は、実施形態の処理フローチャートである。
まず情報処理装置14は、ユーザ入力部41として機能し、カメラサーバ12から配信処理対象の画像データ(カメラ11が出力した撮像データ)を取得し、データベース(広告データベース)13に格納する(ステップS11)。
Next, the operation of the embodiment will be described.
FIG. 5 is a process flowchart of the embodiment.
First, the information processing apparatus 14 functions as the user input unit 41, acquires image data to be distributed (image data output by the camera 11) from the camera server 12, and stores it in the database (advertisement database) 13 (step S11). ).

次にユーザ入力部41として機能している情報処理装置14は、データベース13に格納されている画像データのうち、入力装置23を介して入力されるユーザの指示あるいは予め設定された選択条件に基づいて、処理対象データを選択する(ステップS12)。   Next, the information processing apparatus 14 functioning as the user input unit 41 is based on a user's instruction input via the input apparatus 23 or a preset selection condition among the image data stored in the database 13. Then, processing target data is selected (step S12).

さらにユーザ入力部14として機能している情報処理装置14は、選択した処理対象データを表示装置22に表示し、配信処理としてのマスク処理を施すべき広告領域を処理対象領域として指定するように促す(ステップS13)。   Further, the information processing device 14 functioning as the user input unit 14 displays the selected processing target data on the display device 22 and prompts the user to designate the advertising region to be subjected to the masking process as the distribution processing as the processing target region. (Step S13).

図6は、画像データに対応する画像の一例の説明図である。
図6は、駅構内50に配置されたいずれかのカメラ11により撮像された撮像データに対応する画像G1の一例であり、駅構内50には、壁51、壁52、柱53及び通路54が設けられているのがわかる。
FIG. 6 is an explanatory diagram of an example of an image corresponding to the image data.
FIG. 6 is an example of an image G1 corresponding to image data captured by any of the cameras 11 arranged in the station premises 50. The station premises 50 includes a wall 51, a wall 52, a pillar 53, and a passage 54. You can see that it is provided.

壁51には、広告Aの広告媒体(ポスター)61及び広告Bの広告媒体(ポスター)62が貼付されている。また壁52には、広告Aの広告媒体(ポスター)63が貼付されている。また柱53のある一面には、広告Cの広告媒体(ポスター)64が貼付され、他の一面には、広告Dの広告媒体(ポスター)65が貼付されている。
さらに通路54上を、複数の歩行者71A〜71Jが行き来している。
An advertisement medium (poster) 61 for advertisement A and an advertisement medium (poster) 62 for advertisement B are attached to the wall 51. An advertisement medium (poster) 63 for advertisement A is affixed to the wall 52. An advertisement medium (poster) 64 for the advertisement C is affixed to one side of the pillar 53, and an advertisement medium (poster) 65 for the advertisement D is affixed to the other side.
Further, a plurality of pedestrians 71 </ b> A to 71 </ b> J go back and forth on the passage 54.

図7は、処理対象指定画面の一例の説明図である。
処理対象指定画面G2は、処理対象の広告表示領域を含む画像領域の選択をオペレータに促すためのメッセージが表示されたメッセージ表示領域画面G21と、図6に示した画像G1が表示された作業領域画面G22と、を備えている。
FIG. 7 is an explanatory diagram of an example of the processing target designation screen.
The processing target designation screen G2 includes a message display region screen G21 on which a message for prompting the operator to select an image region including an advertisement display region to be processed and a work region on which the image G1 shown in FIG. 6 is displayed. Screen G22.

これにより、オペレータは、処理対象指定画面G2上のメッセージ表示領域画面G21に表示されたメッセージに従って、処理対象領域である広告表示領域を含む画像領域を入力装置23を介して指定する(ステップS14)。
この場合において、広告表示領域を含む画像領域の指定としては、広告が表示されている領域の周囲をユーザがマウス、タッチペンなどにより多角形状(六角形状、長方形状、正方形状等)に囲むことにより処理対象領域である広告表示領域を指定すればよい。
As a result, the operator designates the image area including the advertisement display area, which is the processing target area, via the input device 23 in accordance with the message displayed on the message display area screen G21 on the processing target specifying screen G2 (step S14). .
In this case, the image area including the advertisement display area is specified by surrounding the area where the advertisement is displayed in a polygonal shape (hexagonal shape, rectangular shape, square shape, etc.) with a mouse, a touch pen, or the like. An advertisement display area that is a processing target area may be specified.

オペレータによる処理対象領域を含む画像領域の指定がなされると、次に情報処理装置14は、オペレータに処理対象領域の確認を促すために処理対象領域確認画面G3を表示する(ステップS15)。   When the image area including the processing target area is designated by the operator, the information processing apparatus 14 next displays a processing target area confirmation screen G3 to prompt the operator to confirm the processing target area (step S15).

図8は、処理対象領域確認画面の説明図である。
情報処理装置14は、表示画面を処理対象領域確認画面G3に遷移する。
処理対象領域確認画面G3は、図8に示すように、処理対象領域の確認のための登録操作を促すための各種情報が表示された登録操作情報画面G31と、実際に登録操作を行うための登録操作画面G32と、を備えている。
FIG. 8 is an explanatory diagram of a processing target area confirmation screen.
The information processing apparatus 14 transitions the display screen to the processing target area confirmation screen G3.
As shown in FIG. 8, the processing target area confirmation screen G3 includes a registration operation information screen G31 on which various types of information for prompting a registration operation for checking the processing target area are displayed, and an actual registration operation. A registration operation screen G32.

登録操作情報画面G31は、ユーザが選択した処理対象領域である広告表示領域を含む画像領域を示す選択領域表示画面G311と、図6で示した画像G1の取得時に稼働中であったカメラ11において撮像された画像のうち、選択領域表示画面G311に表示されている広告表示領域の画像に類似の画像を含む領域数を表示する類似領域数表示画面G312と、ユーザが処理対象を確定するための処理内容と当該処理内容の実行を促すメッセージを表示するメッセージ表示領域A1と、図6で示した画像G1の取得時に稼働中であったカメラ11の台数及び類似領域数表示画面G312に表示されている数が類似領域数であることを通知するメッセージを表示するメッセージ表示領域A2と、を備えている。   The registration operation information screen G31 includes a selection area display screen G311 indicating an image area including an advertisement display area that is a processing target area selected by the user, and a camera 11 that is operating when the image G1 illustrated in FIG. Of the captured images, a similar region number display screen G312 that displays the number of regions that include images similar to the image of the advertisement display region displayed on the selection region display screen G311, and for the user to determine the processing target Displayed on the message display area A1 for displaying the processing contents and a message prompting the execution of the processing contents, and the number of cameras 11 and the similar area number display screen G312 that were operating at the time of obtaining the image G1 shown in FIG. A message display area A2 for displaying a message notifying that the number of similar areas is the number of similar areas.

登録操作画面G32は、選択中の画像領域に含まれる広告表示領域であることを示すために表示態様が変更された広告表示領域A3と、広告表示領域A3に類似する広告類似表示領域であることを示すために表示態様が変更された広告類似表示領域A4と、広告表示領域の選択をオペレータが行うための登録ボタンB1と、が表示されている。   The registration operation screen G32 is an advertisement display area A3 whose display mode has been changed to indicate that it is an advertisement display area included in the currently selected image area, and an advertisement similar display area similar to the advertisement display area A3. An advertisement similar display area A4 in which the display mode is changed to indicate and a registration button B1 for the operator to select the advertisement display area are displayed.

この場合において広告表示領域A3及び広告類似表示領域A4の表示態様の変更としては、所定の色の枠で囲むようにする表示態様、領域を点滅する表示態様など任意の態様が考えられる。   In this case, as a change in the display mode of the advertisement display area A3 and the advertisement similar display area A4, an arbitrary mode such as a display mode surrounded by a frame of a predetermined color, a display mode of blinking the area, or the like can be considered.

そして情報処理装置14は、処理対象領域確認画面G3上で、オペレータにより登録ボタンB1がクリックされ、処理対象領域である広告表示領域の確認指示がなされたか否かを判別する(ステップS16)。   Then, the information processing apparatus 14 determines whether or not the operator has clicked the registration button B1 on the processing target region confirmation screen G3 and has instructed confirmation of the advertisement display region that is the processing target region (step S16).

ステップS16の判別において、オペレータによる登録ボタンB1のクリックがなされず処理対象の確認指示が未だなされていない場合には(ステップS16;No)、待機状態となる。   If it is determined in step S16 that the operator has not clicked the registration button B1 and has not yet instructed confirmation of the processing target (step S16; No), the apparatus enters a standby state.

ステップS16の判別においてオペレータにより登録ボタンB1がクリックされ、処理対象領域である広告表示領域の確認指示がなされた場合には(ステップS16;Yes)、情報処理装置14は領域登録部42として機能し、処理対象領域である広告表示領域をデータベース13に登録する。   When the operator clicks the registration button B1 in the determination of step S16 and gives an instruction to confirm the advertisement display area that is the processing target area (step S16; Yes), the information processing apparatus 14 functions as the area registration unit 42. The advertisement display area that is the processing target area is registered in the database 13.

さらに情報処理装置14は、領域検索部43として機能し、他の広告表示領域をカメラ11により撮像された他の画像から検索するために、指定された広告表示領域の中に含まれる広告画像の局所特徴量を抽出する(ステップS17)。   Further, the information processing apparatus 14 functions as the area search unit 43, and searches for other advertisement display areas from other images captured by the camera 11 to display advertisement images included in the designated advertisement display area. A local feature amount is extracted (step S17).

この場合において、抽出する局所特徴量としては、例えば、HOG(Histograms of Oriented Gradients)、SIFT(Scale Invariant Feature Transform)、SURF(Speeded Up Robust Features),KAZE等が挙げられる。   In this case, examples of the local feature amount to be extracted include HOG (Histograms of Oriented Gradients), SIFT (Scale Invariant Feature Transform), SURF (Speeded Up Robust Features), and KAZE.

次に情報処理装置14は、抽出した局所特徴量に基づいて、ステップS13で指定された処理対象領域である広告表示領域と同一の画像を含む類似候補領域画像(広告画像;同一広告画像)を他の処理対象の撮像画像中から抽出する(ステップS18)。   Next, the information processing apparatus 14 selects a similar candidate area image (advertisement image; same advertisement image) including the same image as the advertisement display area that is the processing target area specified in step S13 based on the extracted local feature amount. Extraction is performed from other captured images to be processed (step S18).

本実施形態において、「同一」の意味するところは、物理的な同一に限らず、同一と見做せるという概念も含むものであり、「同一の画像(広告)」の意味することは、外観的に同一という意味のみならず、概念的に同一と見做せる画像(広告)も含むものである。例えば、同一の広告を違う角度から撮像した複数の画像は、同一の画像として取り扱われる。また、主要部部分は同一の画像の広告であるが、付記的部分が異なる様な広告(亜種広告)も同一の広告として取り扱われる。
同一広告画像の抽出に用いる類似画像検索技術としては、例えば、Bag of
Visual Words、Bag of Feature等の技術が挙げられる。
In the present embodiment, the meaning of “same” is not limited to physical identity, but also includes the concept of being regarded as the same, and the meaning of “same image (advertisement)” This includes not only the same meaning but also images (advertisements) that can be considered conceptually the same. For example, a plurality of images obtained by capturing the same advertisement from different angles are handled as the same image. In addition, although the main part is an advertisement of the same image, an advertisement (subspecies advertisement) having a different supplementary part is also handled as the same advertisement.
As a similar image search technique used for extracting the same advertisement image, for example, Bag of
Examples of such techniques include Visual Words and Bag of Feature.

また対象の広告が平面であると仮定できる場合、より精度の高い対応付けを行うために、幾何情報を用いた対応付けを行ってもよい。広告画像と、処理対象の広告画像候補との間で局所特徴量同士の対応付けを行い、対応付けられたペアの集合から、処理対象の広告画像候補との間の幾何変換を表す射影変換行列を推定する。   When the target advertisement can be assumed to be a plane, the association using geometric information may be performed in order to perform the association with higher accuracy. A projective transformation matrix that associates local feature quantities between an advertisement image and a candidate advertisement image to be processed and represents a geometric transformation between the set of associated pairs and the candidate advertisement image candidate to be processed Is estimated.

ここで、射影変換行列は、4点以上の局所特徴量のペアから算出でき、対象が平面である場合に計算可能である。推定した幾何変換から大きく外れる対応ペアは除外した後、画像間の類似度を算出する。どちらかの画像を射影変換し、テンプレートマッチングを行ってもよいし、対応付けられた局所特徴間の類似度の平均を画像間の類似度としてもよい。   Here, the projective transformation matrix can be calculated from a pair of four or more local feature amounts, and can be calculated when the target is a plane. After excluding corresponding pairs that deviate significantly from the estimated geometric transformation, the similarity between images is calculated. Either image may be subjected to projective transformation and template matching may be performed, or an average of similarities between associated local features may be used as the similarity between images.

ここで、画像領域間の類似度の算出について説明する。
図9は、画像領域間の類似度の算出処理の処理フローチャートである。
本実施形態においては、画像領域間の類似度の算出には、両画像領域間の類似性と、両画像が広告画像であることから一般的に文字が含まれると考えられるので情景文字認識技術を用いて算出を行っている。
Here, calculation of the similarity between image regions will be described.
FIG. 9 is a process flowchart of a similarity degree calculation process between image areas.
In the present embodiment, since the similarity between the image regions is generally considered to include characters because the similarity between the image regions and the images are advertisement images, the scene character recognition technique is used. Is used for calculation.

換言すれば、外観が類似しており、使用されている文字も似たような文字列を含んだ画像であれば、類似度が高い、すなわち、同一の広告画像である可能性が高いとしているのである。   In other words, if the images are similar in appearance and the characters used also include similar character strings, the degree of similarity is high, that is, the possibility that they are the same advertisement image is high. It is.

次に具体的な処理を説明する。
まず情報処理装置14は、オペレータが選択した画像の局所特徴量と、類似候補領域画像の局所特徴量に基づいて類似画像検索技術を用いて外観類似度(見え方の類似性)を検出する(ステップS31)。
外観類似度の検出においては、文字列の有無を判断することなく、文字列が含まれていても単純に画像として似ているか否かを判別するための類似度を検出するのである。
Next, specific processing will be described.
First, the information processing apparatus 14 detects appearance similarity (similarity in appearance) using a similar image search technique based on the local feature amount of the image selected by the operator and the local feature amount of the similar candidate area image ( Step S31).
In the appearance similarity detection, the similarity for simply determining whether or not a character string is included is detected without determining the presence or absence of the character string.

一方、情報処理装置14は、外観類似度の検出と並行して、すなわち、オペレータが選択した画像及び類似候補領域画像のそれぞれに含まれる情景文字列(撮像画像に含まれる文字列)を検出する(ステップS32)。
そして情景文字列が検出された場合には情景文字の認識(文字認識:OCR)を行う(ステップS33)。
On the other hand, the information processing apparatus 14 detects a scene character string (character string included in the captured image) included in each of the image selected by the operator and the similar candidate area image in parallel with the appearance similarity detection. (Step S32).
If a scene character string is detected, the scene character is recognized (character recognition: OCR) (step S33).

そして各画像において認識された文字列の類似度(同一の文字列が含まれている同様の数含まれている割合)を検出する(ステップS34)。
すなわち、同一の広告画像であれば、同一の文字列が含まれているのが当然であり、文字列の類似度が高いほど、同一の広告画像である確率が高いからである。
Then, the degree of similarity of the character strings recognized in each image (the ratio of the same number including the same character string) is detected (step S34).
In other words, the same character string is naturally included in the same advertisement image, and the higher the similarity between character strings, the higher the probability of being the same advertisement image.

そして、情報処理装置14は、算出した外観類似度及び文字列類似度に基づいて、画像領域間の類似度を検出する(ステップS35)。
すなわち、外観類似度及び文字列類似度の双方が高ければ、画像領域間の類似度が高く、同一の広告画像である確率が高いと判別し、少なくともいずれか一方が低ければ画像領域間の類似度が低く、同一の広告画像である確率が低いと判別する。
Then, the information processing apparatus 14 detects the similarity between the image regions based on the calculated appearance similarity and character string similarity (step S35).
That is, if both the appearance similarity and the character string similarity are high, it is determined that the similarity between the image areas is high, and the probability that they are the same advertisement image is high. If at least one of them is low, the similarity between the image areas is determined. It is determined that the degree is low and the probability of the same advertisement image is low.

そして、情報処理装置14は、画像領域間の類似度が所定の閾値類似度より高い画像を類似候補領域画像として抽出することとなる。   Then, the information processing apparatus 14 extracts an image having a similarity between image areas higher than a predetermined threshold similarity as a similar candidate area image.

そして類似候補領域画像の抽出が完了すると、情報処理装置14は、領域更新部44として機能し、抽出した類似候補領域画像を類似領域登録画面に表示し(ステップS19)、オペレータに類似領域に対する処理を選択させる(ステップS20)。   When the extraction of the similar candidate area image is completed, the information processing apparatus 14 functions as the area updating unit 44, displays the extracted similar candidate area image on the similar area registration screen (step S19), and processes the similar area to the operator. Is selected (step S20).

ここで、オペレータに類似領域に対する処理を選択させる第1の理由は、広告によって特徴量が大きく異なるとともに、カメラ11の配置によって見え方が大きく異なるため、自動的に識別することが非常に困難だからである。さらに、部分的に異なる広告(亜種)についても実際的には同一の広告であると判定するのが好ましいが、処理上は特徴量が異なるため自動的に同一の広告であるとは判定されない虞があるため、オペレータにこのような広告も同一の広告であるとして選択させる方が効率的に処理が行えると考えられるからである。   Here, the first reason for allowing the operator to select the process for the similar region is that it is very difficult to automatically identify the feature amount because the feature amount differs greatly depending on the advertisement and the appearance differs greatly depending on the arrangement of the camera 11. It is. Furthermore, it is preferable to determine that advertisements (subspecies) that are partially different are actually the same advertisement, but because the feature amount is different in processing, it is not automatically determined to be the same advertisement. Because there is a possibility, it is considered that the processing can be performed more efficiently if the operator selects such an advertisement as the same advertisement.

第2の理由は、広告としては自動的に認識できる対象であっても、その内容によっては、配信画像から除去する必要がないものがあるため、これを処理対象から除外するためである。例えば、駅構内監視システムにおいては、当該駅を管理している鉄道会社の広告について除去する必要がないのでこれを指定する。   The second reason is that even if the advertisement is a target that can be automatically recognized, depending on its content, there is a thing that does not need to be removed from the distribution image, so that it is excluded from the processing target. For example, in the station premises monitoring system, it is not necessary to remove the advertisement of the railway company that manages the station, so this is designated.

第3の理由は、デジタルサイネージは、広告を更新しつつ表示しているため、カメラ11の撮影タイミングによって同一のデジタルサイネージ装置であっても表示している広告内容が異なり、処理対象が確定できない虞があるためである。   The third reason is that since digital signage is displayed while updating advertisements, the content of the displayed advertisements varies even with the same digital signage device depending on the shooting timing of the camera 11, and the processing target cannot be determined. This is because there is a fear.

図10は、類似領域登録画面の説明図である。
類似領域登録画面G4は、大きく二つの画面に分けられており、既にオペレータにより登録された登録領域を表示する登録領域表示画面G41と、登録領域に対応する類似領域を表示する類似領域表示画面G42と、を備えている。
FIG. 10 is an explanatory diagram of a similar region registration screen.
The similar area registration screen G4 is roughly divided into two screens, a registration area display screen G41 that displays a registration area that has already been registered by the operator, and a similar area display screen G42 that displays a similar area corresponding to the registration area. And.

登録領域表示画面G41は、同時に複数(図9では、二つ)の登録領域を表示する既登録領域表示画面G411、G412と、現在表示されている既登録領域以外の他の既登録領域をスクロールして表示させるための操作を行うためのスクロール操作領域G413と、を備えている。   The registered area display screen G41 scrolls the already registered area display screens G411 and G412 that simultaneously display a plurality (two in FIG. 9) of registered areas, and other registered areas other than the currently displayed registered areas. A scroll operation area G413 for performing an operation for display.

既登録領域表示画面G411、G412は、同一構成であり、対応する既登録領域を撮像したカメラを特定するためのカメラIDを表示するカメラID表示領域A11と、既登録領域を含む周囲画像を表示する既登録領域画像表示領域A12と、を備えている。   The registered area display screens G411 and G412 have the same configuration, and display a camera ID display area A11 for displaying a camera ID for identifying a camera that captured the corresponding registered area, and a surrounding image including the registered area. Registered area image display area A12.

一方、類似領域表示画面G42は、類似領域の表示条件を表示する表示条件表示画面G420と、それぞれが抽出した類似領域を表示し、類似領域として登録するかをオペレータに操作させるための複数(図9では、五つ)の類似表示操作画面G421〜G425と、を備えている。
ここで、類似表示操作画面G421〜G425は、同一構成であるので、類似表示操作画面G421を例として説明する。
On the other hand, the similar area display screen G42 displays a display condition display screen G420 for displaying the display conditions of the similar area, and displays a plurality of similar areas extracted from each of the similar area display screens G42. 9 includes five similar display operation screens G421 to G425.
Here, since the similar display operation screens G421 to G425 have the same configuration, the similar display operation screen G421 will be described as an example.

図11は、類似表示操作画面の説明図である。
類似表示操作画面G421は、情報処理装置14が抽出した登録領域に類似した領域の画像を表示する類似候補画像表示領域A21と、類似候補画像表示領域A21に表示した画像を撮像したカメラを特定するためのカメラIDを表示するカメラID表示領域A22と、類似候補画像表示領域A21に表示された画像を類似画像であるとし処理対象の画像として登録するための操作を行う登録ボタンB11と、類似候補画像表示領域A21に表示された画像がデジタルサイネージ(D−S)の画像であるとして例外処理の登録を行うためのデジタルサイネージ登録ボタンB12と、類似候補画像表示領域A21に表示された画像がのぼり旗、垂れ幕などの一時的に設置された広告の画像であるとして例外処理の登録を行うための、のぼり登録ボタンB13と、類似候補画像表示領域A21に表示された画像を、類似画像ではないとして処理対象の画像から除外するための操作を行う除外ボタンB14と、を備えている。
FIG. 11 is an explanatory diagram of a similar display operation screen.
The similar display operation screen G421 specifies a similar candidate image display area A21 that displays an image of an area similar to the registration area extracted by the information processing apparatus 14, and a camera that captures the image displayed in the similar candidate image display area A21. A camera ID display area A22 for displaying a camera ID, a registration button B11 for performing an operation for registering an image displayed in the similar candidate image display area A21 as a similar image, and a similar candidate A digital signage registration button B12 for registering exception processing on the assumption that the image displayed in the image display area A21 is a digital signage (DS) image, and the image displayed in the similar candidate image display area A21 climbing Banner registration to register exception handling as a temporary advertisement image such as a banner or banner Tan B13, and an image displayed on the similar candidate image display area A21, and exclusion button B14 for performing an operation to exclude from the process target image as not a similar image.

上記構成において、デジタルサイネージ登録ボタンB12が登録状態とされた場合には、同一カメラIDの同一の撮像領域では、画像内容にかかわらず類似画像であるとみなして処理対象の画像として登録がなされる。したがって、表示内容に関わらず、配信画像に表示がなされることはない。   In the above configuration, when the digital signage registration button B12 is in the registration state, the same imaging area with the same camera ID is regarded as a similar image regardless of the image content, and is registered as an image to be processed. . Therefore, the distribution image is not displayed regardless of the display content.

のぼり登録ボタンB13が登録状態とされた場合には、風などで広告形状が変動しやすいため、形状が多少異なっても登録画像であるとみなして処理対象の画像とするように登録がなされる。   When the banner registration button B13 is in a registered state, the advertisement shape is likely to fluctuate due to wind or the like, so that even if the shape is slightly different, registration is performed so that it is regarded as a registered image and is set as a processing target image. .

除外ボタンB14が登録状態とされた場合には、類似候補画像表示領域A21に表示された画像が類似であったとしても、常に処理対象の画像から除外して、配信画像にそのまま含めるとする登録がなされる。従って、自社の広告(本例の場合、例えば、鉄道会社の広告)はそのまま配信画像に表示されて配信されることとなる。   When the exclude button B14 is in the registration state, even if the images displayed in the similar candidate image display area A21 are similar, the registration is always excluded from the processing target image and included as it is in the distribution image. Is made. Accordingly, the advertisement of the company (in this example, for example, an advertisement of a railway company) is displayed on the distribution image and distributed as it is.

続いて情報処理装置14は、処理内容の指定が確定したか否かを判別する(ステップS21)。
ステップS21の判別において、処理の内容の指定が確定していない場合には(ステップS21;No)、再び処理をステップS20に戻して待機状態となる。
Subsequently, the information processing apparatus 14 determines whether or not the designation of processing content has been confirmed (step S21).
If it is determined in step S21 that the content of the process has not been specified (step S21; No), the process returns to step S20 again to enter a standby state.

ステップS21の判別において、処理内容の指定が確定した場合には(ステップS21;Yes)、情報処理装置14は、処理対象領域である類似画像(広告として同一の広告であるとみなされた広告画像)に対する対象領域処理を行うを行う(ステップS22)。   If it is determined in step S21 that the processing content is specified (step S21; Yes), the information processing apparatus 14 determines that the processing target area is a similar image (an advertisement image that is regarded as the same advertisement as an advertisement). ) Is performed (step S22).

この場合において処理対象の領域である類似画像、すなわち、オペレータが処理対象として指定した広告と、同一の広告であるとされた広告画像に対する対象領域処理としては、例えば、広告画像を塗りつぶす塗りつぶし(インペイント)処理、広告画像をモザイク画像とするモザイク処理、当該広告画像の表示領域に自社広告画像などの予め準備した所定の画像を重畳する重畳表示処理などが挙げられ、少なくとも、塗りつぶし処理、モザイク処理あるいは重畳表示処理のいずれか一つを行うようにすれば良い。   In this case, as target area processing for a similar image that is an area to be processed, that is, an advertisement that the operator has designated as the same advertisement as an advertisement that is specified as an object to be processed, for example, a fill (in) (Painting) processing, mosaic processing that uses an advertisement image as a mosaic image, and superimposing display processing that superimposes a predetermined image such as a company advertisement image on the display area of the advertising image. Alternatively, any one of the superimposed display processes may be performed.

ここで対象領域処理として予め準備した所定の画像を重畳する場合には、処理対象の領域である類似画像である広告画像がカメラ11に対して斜めに位置している場合のように処理対象領域が傾いて変形している場合等には、予め準備した所定の画像を検出した処理対象領域の傾きに基づいて射影変換した画像を重畳するようにしてもよい。   Here, when a predetermined image prepared in advance as the target area processing is superimposed, the processing target area as in the case where the advertisement image that is a similar image that is the processing target area is located obliquely with respect to the camera 11. When the image is tilted and deformed, an image obtained by projective transformation based on the inclination of the processing target area in which a predetermined image prepared in advance is detected may be superimposed.

また、上記類似画像に対する処理において、人が広告前を通過したタイミングでカメラ11により撮像がなされた場合等のように、処理対象領域である類似画像内に歩行者(人)が位置している場合には、歩行者検出により検出した歩行者の画像領域を除いた後の領域に対して対象領域処理を行う。   Further, in the processing for the similar image, a pedestrian (person) is located in the similar image that is the processing target area, as in the case where the image is taken by the camera 11 when the person passes before the advertisement. In this case, the target area processing is performed on the area after removing the pedestrian image area detected by the pedestrian detection.

図12は、撮影画像に歩行者の画像が広告画像内に位置している場合の処理の説明図である。
図12(a)に示すように、広告画像G51前に歩行者71Xが位置している場合には、図12(b)に示すように広告画像G51に対応する長方形状の領域から歩行者71Xの画像が重なっている領域を除いた処理対象領域A51となる。
FIG. 12 is an explanatory diagram of processing when a pedestrian image is located in an advertisement image in a captured image.
As shown in FIG. 12A, when the pedestrian 71X is located in front of the advertisement image G51, as shown in FIG. 12B, the pedestrian 71X starts from the rectangular area corresponding to the advertisement image G51. This is the processing target area A51 excluding the area where the images of FIG.

次に広告画像に対する処理が終了した画像に対し、情報処理装置14は、配信用画像生成処理を行う(ステップS23)。
具体的には、プライバシの保護のため、図12(a)に示した歩行者71Xの画像が表示されていた位置に当該歩行者を特定出来ないように歩行者を表す画像(アバター画像)71XAに置換して、図12(c)に示すように表示して配信用画像とする。
Next, the information processing apparatus 14 performs a distribution image generation process on the image for which the process on the advertisement image has been completed (step S23).
Specifically, for privacy protection, an image (avatar image) 71XA representing a pedestrian so that the pedestrian cannot be specified at the position where the image of the pedestrian 71X shown in FIG. To be displayed as a delivery image as shown in FIG.

図13は、配信用画像(配信用画像データ)の一例を説明する図である。
図13は、図6に示した撮像画像に配信用画像生成処理を行ったものであり、図6に示した広告Aの広告媒体61、広告Aの広告媒体63、広告Cの広告媒体64及び広告Dの広告媒体65については、処理対象としてオペレータに指定され、広告Bの広告媒体62については処理対象から除外することがオペレータから指定された場合のものである。
この場合において、処理対象の領域である広告画像については、対象領域処理として塗りつぶしの処理が指定されている。
FIG. 13 is a diagram illustrating an example of a distribution image (distribution image data).
FIG. 13 is obtained by performing distribution image generation processing on the captured image shown in FIG. 6. The advertisement medium 61 of advertisement A, the advertisement medium 63 of advertisement A, the advertisement medium 64 of advertisement C shown in FIG. The advertisement medium 65 for the advertisement D is designated by the operator as a processing target, and the advertisement medium 62 for the advertisement B is designated to be excluded from the processing target by the operator.
In this case, with respect to the advertisement image that is the processing target area, the painting process is designated as the target area processing.

配信用画像G6において、広告Aの広告媒体61、広告Aの広告媒体63、広告Cの広告媒体64及び広告Dの広告媒体65の表示位置には、処理対象領域として塗りつぶしがなされ処理画像61P、63P、64P、65Pが表示される。   In the distribution image G6, the display positions of the advertisement medium 61 of the advertisement A, the advertisement medium 63 of the advertisement A, the advertisement medium 64 of the advertisement C, and the advertisement medium 65 of the advertisement D are filled as processing target areas and processed images 61P, 63P, 64P, and 65P are displayed.

また、歩行者71A〜71Jの画像が表示されていた位置には、配信用画像生成処理として当該歩行者を特定出来ないように歩行者を表す画像(アバター画像)71AA〜71JAに置換されて表示がなされている。
なお、配信用画像生成処理としては、撮影時間等他の情報を追加するように処理することも可能である。
Further, at the positions where the images of the pedestrians 71A to 71J are displayed, the images are replaced with images (avatar images) 71AA to 71JA representing the pedestrian so that the pedestrian cannot be specified as the distribution image generation processing. Has been made.
Note that as the distribution image generation processing, it is also possible to perform processing so as to add other information such as shooting time.

以上の説明のように、本実施形態によれば、オペレータは、処理対象の広告画像について一つ指定すれば、情報処理装置14が同一の広告画像を可能な限りカメラ11の撮像画像から類似候補画像として抽出してくれ、オペレータは類似候補画像を同一の広告画像であると指示するだけで、同一性の高い広告画像に対するマスク処理等の配信用画像作成処理を行わせることができ、オペレータの作業量を低減しつつ、所望の配信用画像データを作成することができる。   As described above, according to the present embodiment, if the operator designates one advertisement image to be processed, the information processing apparatus 14 selects the same advertisement image from the captured image of the camera 11 as much as possible. The operator extracts the image as an image, and the operator can instruct the similar candidate image to be the same advertisement image, and can perform distribution image creation processing such as mask processing for the advertisement image with high identity. Desired image data for distribution can be created while reducing the amount of work.

以上の説明においては、配信処理の対象となる画像領域が広告領域である場合について説明したが、これに限らず所定の画像領域(=所定領域)、例えば、所定のマーク(商標、ロゴマーク等)が表示されている領域、所定の人物写真が表示されている領域、選挙ポスター等任意の画像(=所定画像)が含まれる画像領域に対しても同様に適用が可能である。   In the above description, the case where the image area to be distributed is an advertisement area has been described. However, the present invention is not limited to this, and a predetermined image area (= predetermined area), for example, a predetermined mark (trademark, logo mark, etc.) ) Is displayed, an area where a predetermined person photo is displayed, and an image area including an arbitrary image (= predetermined image) such as an election poster.

以上の説明においては、配信用画像生成処理として、歩行者を表す画像(アバター画像)に置換する処理を行っていたが、これに代えて、歩行者を特定出来ないように歩行者の画像にモザイク処理を施したり、ぼかし処理を施したりすることも可能である。   In the above description, as the image generation process for distribution, a process of replacing with an image (avatar image) representing a pedestrian has been performed, but instead of this, the image of the pedestrian is used so that the pedestrian cannot be specified. It is also possible to perform mosaic processing or blur processing.

以上の説明においては、カメラ11により撮像した画像をデータベース13に格納する構成を採っていたが、情報処理装置14の記憶装置24、RAM33あるいはEEPROM34に記憶する構成を採ることも可能である。   In the above description, an image captured by the camera 11 is stored in the database 13, but a configuration in which the image is stored in the storage device 24, the RAM 33, or the EEPROM 34 of the information processing device 14 may be employed.

以上の説明においては、配信用画像データの作成において、抽出された類似画像に対して施す対象領域処理については、塗りつぶし(インペイント)処理、モザイク処理、重畳表示処理を例として挙げたが、これに限定されるものではなく、配信用画像において元の広告用画像が認識できないような処理であれば、様々な処理が適用可能である。   In the above description, in the creation of the distribution image data, the target area processing to be performed on the extracted similar image is exemplified by the painting (in-painting) processing, the mosaic processing, and the superimposed display processing. The present invention is not limited to this, and various processes can be applied as long as the original advertisement image cannot be recognized in the distribution image.

以上の説明においては、類似候補画像の抽出に際し、対応するカメラ11の撮像画像に何ら制限を設けていなかったが、広告媒体の更新時期(張り替え時期)などの情報を用いて、更新がなされた場所を含む撮像画像のみを類似候補画像の抽出対象として選択するように構成することも可能である。これによれば、より一層の作業量の低減が図れる。   In the above description, when extracting similar candidate images, there is no restriction on the captured image of the corresponding camera 11, but the update was made using information such as the update time (replacement time) of the advertising medium. It is also possible to configure so that only a captured image including a place is selected as an extraction target of similar candidate images. According to this, the work amount can be further reduced.

以上の説明においては、情報処理装置14とは別個にカメラサーバ12、データベース13及びWEBサーバ16を設ける構成としていたが、カメラサーバ12、データベース13及びWEBサーバ16(の機能)のうち、少なくともいずれか一つ(の機能)を情報処理装置14として一体に設けるように構成することも可能である。   In the above description, the camera server 12, the database 13, and the WEB server 16 are provided separately from the information processing apparatus 14, but at least one of the camera server 12, the database 13, and the WEB server 16 (functions thereof). It is also possible to configure so that one (function) is integrally provided as the information processing apparatus 14.

本実施形態の情報処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしても良い。   A program executed by the information processing apparatus of the present embodiment is a file in an installable format or an executable format, and is a computer such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versatile Disk). The program may be provided by being recorded on a readable recording medium.

また、本実施形態の情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態のプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
The program executed by the information processing apparatus according to the present embodiment may be configured to be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. Further, the program executed by the information processing apparatus of the present embodiment may be configured to be provided or distributed via a network such as the Internet.
Further, the program of this embodiment may be configured to be provided by being incorporated in advance in a ROM or the like.

本実施形態の情報処理装置で実行されるプログラムは、上述した各部(ユーザ入力部、領域登録部、領域検索部、領域更新部、出力部)を含むモジュール構成となっており、実際のハードウェアとしてはMPU(プロセッサ)が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされユーザ入力部、領域登録部、領域検索部、領域更新部、出力部…が主記憶装置上に生成されるようになっている。   The program executed by the information processing apparatus of the present embodiment has a module configuration including the above-described units (user input unit, region registration unit, region search unit, region update unit, output unit), and actual hardware As the MPU (processor) reads out and executes the program from the storage medium, each unit is loaded onto the main storage device, and the user input unit, the region registration unit, the region search unit, the region update unit, the output unit, etc. It is generated on a storage device.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

10 駅混雑状況配信システム
11 カメラ
12 カメラサーバ
13 データベース
14 情報処理装置
15 通信ネットワーク
16 WEBサーバ
17 移動端末装置
18 無線基地局
21 情報処理装置本体
22 表示装置
23 入力装置
24 記憶装置
25 通信インタフェース装置
31 MPU
32 ROM
33 RAM
34 EEPROM
35 インタフェース部
36 通信バス
41 ユーザ入力部
42 領域登録部
43 領域検索部
44 領域更新部
45 出力部
A12 既登録領域画像表示領域
A21 類似候補画像表示領域
A51 処理対象領域
A1 メッセージ表示領域
A2 メッセージ表示領域
A3 広告表示領域
A4 広告類似表示領域
B11 登録ボタン
B12 デジタルサイネージ登録ボタン
B13 のぼり登録ボタン
B14 除外ボタン
G1 画像
G2 処理対象指定画面
G3 処理対象領域確認画面
G4 類似領域登録画面
G6 配信用画像
G21 メッセージ表示領域画面
G22 作業領域画面
G31 登録操作情報画面
G32 登録操作画面
G41 登録領域表示画面
G42 類似領域表示画面
G51 広告画像
G311 選択領域表示画面
G312 類似領域数表示画面
G411 既登録領域表示画面
G413 スクロール操作領域
G420 表示条件表示画面
G421〜G425 類似表示操作画面
DESCRIPTION OF SYMBOLS 10 Station congestion situation distribution system 11 Camera 12 Camera server 13 Database 14 Information processing apparatus 15 Communication network 16 WEB server 17 Mobile terminal apparatus 18 Wireless base station 21 Information processing apparatus main body 22 Display apparatus 23 Input apparatus 24 Storage apparatus 25 Communication interface apparatus 31 MPU
32 ROM
33 RAM
34 EEPROM
35 interface unit 36 communication bus 41 user input unit 42 region registration unit 43 region search unit 44 region update unit 45 output unit A12 already registered region image display region A21 similar candidate image display region A51 processing target region A1 message display region A2 message display region A3 advertisement display area A4 advertisement similar display area B11 registration button B12 digital signage registration button B13 banner registration button B14 exclusion button G1 image G2 processing target designation screen G3 processing target area confirmation screen G4 similar area registration screen G6 message for distribution G21 message display area Screen G22 Work area screen G31 Registration operation information screen G32 Registration operation screen G41 Registration area display screen G42 Similar area display screen G51 Advertisement image G311 Selection area display screen G312 Similar area number display screen G4 11 Registered area display screen G413 Scroll operation area G420 Display condition display screen G421 to G425 Similar display operation screen

Claims (18)

所定画像の領域である所定領域を指定させるユーザ入力部と、
前記指定された所定領域に含まれる前記所定画像と同一の所定画像が含まれる他の所定領域を、画像から検索する領域検索部と、
前記指定された所定領域及び前記領域検索部により検索された所定領域に対象領域処理を施す領域更新部と、
を備えた情報処理装置。
A user input unit for designating a predetermined area which is an area of the predetermined image;
An area search unit for searching for another predetermined area including the same predetermined image as the predetermined image included in the specified predetermined area;
An area update unit that performs target area processing on the specified predetermined area and the predetermined area searched by the area search unit;
An information processing apparatus comprising:
前記領域検索部により検索された所定領域を類似候補領域として表示する表示部を備え、
前記ユーザ入力部は、前記表示された類似候補領域のそれぞれを処理対象として登録する確認指示を、オペレータに入力させ、
前記領域更新部は、前記指定された所定領域及び前記処理対象として登録する確認指示が入力された類似候補に対して、前記対象領域処理を施す、
請求項1記載の情報処理装置。
A display unit for displaying the predetermined region searched by the region search unit as a similar candidate region;
The user input unit causes the operator to input a confirmation instruction to register each of the displayed similar candidate areas as a processing target,
The region update unit performs the target region processing on the specified candidate and the similar candidate to which the confirmation instruction to be registered as the processing target is input.
The information processing apparatus according to claim 1.
前記表示部は、前記ユーザ入力部を介して前記所定画像が表示された領域である所定領域を指定させる画像を表示する、
請求項2記載の情報処理装置。
The display unit displays an image for designating a predetermined region, which is a region where the predetermined image is displayed, via the user input unit.
The information processing apparatus according to claim 2.
前記表示部は、前記領域検索部により検索された所定領域を類似候補領域として提示するに際し、前記指定された所定領域との類似度の高い順で複数の前記類似候補領域を提示する、
請求項2または請求項3記載の情報処理装置。
The display unit presents the plurality of similar candidate regions in descending order of similarity to the designated predetermined region when presenting the predetermined region searched by the region search unit as a similar candidate region.
The information processing apparatus according to claim 2 or 3.
前記表示部は、前記複数の前記類似候補領域を提示するに際し、前記指定された所定領域の画像と同時に表示する、
請求項4記載の情報処理装置。
The display unit displays the plurality of similar candidate areas simultaneously with the image of the designated predetermined area.
The information processing apparatus according to claim 4.
前記表示部により提示される画像は、前記オペレータが指定し、あるいは、予め指定された条件に基づいて選択される、
請求項2乃至請求項5のいずれか一項記載の情報処理装置。
The image presented by the display unit is designated by the operator or selected based on a condition designated in advance.
The information processing apparatus according to any one of claims 2 to 5.
前記対象領域処理が施された画像に配信用画像生成処理を行って配信用画像として出力する出力部を備えた、
請求項1乃至請求項4のいずれか一項記載の情報処理装置。
An output unit that performs distribution image generation processing on the image subjected to the target region processing and outputs the image as a distribution image;
The information processing apparatus according to any one of claims 1 to 4.
前記出力部は、前記提示された類似候補領域のうち前記ユーザ入力部を介して前記オペレータから除外の指示がなされた類似候補領域については、前記配信用画像生成処理を施すことなく前記配信用画像に含める、
請求項7記載の情報処理装置。
The output unit outputs the distribution image without performing the distribution image generation process on the similar candidate region that is instructed to be excluded from the operator via the user input unit among the presented similar candidate regions. To include,
The information processing apparatus according to claim 7.
前記対象領域処理が施された画像は、人の画像を含むものであり、
前記出力部は、前記配信用画像生成処理において、前記人の画像を当該人が特定出来ない前記人を表す画像に置き換える、
請求項7または請求項8記載の情報処理装置。
The image subjected to the target area processing includes a human image,
The output unit replaces the person's image with an image representing the person who cannot identify the person in the delivery image generation process.
The information processing apparatus according to claim 7 or 8.
領域更新部は、前記対象領域処理として、少なくとも、塗りつぶし処理、モザイク処理あるいは重畳表示処理のいずれか一つを行う、
請求項1乃至請求項7のいずれか一項記載の情報処理装置。
The area update unit performs at least one of a fill process, a mosaic process, or a superimposed display process as the target area process.
The information processing apparatus according to any one of claims 1 to 7.
複数のカメラと通信ネットワークを介して接続され、前記複数のカメラで撮像された複数の画像を取得するカメラサーバを更に備え、
前記領域検索部は、前記複数の画像から前記他の所定領域を検索する
請求項1乃至請求項10いずれか一項記載の情報処理装置。
A camera server connected to a plurality of cameras via a communication network, and acquiring a plurality of images captured by the plurality of cameras;
The information processing apparatus according to claim 1, wherein the area search unit searches for the other predetermined area from the plurality of images.
前記配信用画像を通信ネットワークを介して配信するWEBサーバを更に備える請求項7乃至請求項9のいずれか一項記載の情報処理装置。   The information processing apparatus according to claim 7, further comprising a WEB server that distributes the distribution image via a communication network. 第1の画像における所定画像の領域である所定領域の指定を受け付け、
前記指定された所定領域に含まれる前記所定画像と同一の所定画像が含まれる他の所定領域を、第2の画像から検索し、
前記指定された所定領域及び前記検索された所定領域に対象領域処理を施すプロセッサ、
を備えた情報処理装置。
Accepting designation of a predetermined area which is an area of the predetermined image in the first image;
Search the second image for another predetermined area including the same predetermined image as the predetermined image included in the specified predetermined area,
A processor for performing target area processing on the designated predetermined area and the searched predetermined area;
An information processing apparatus comprising:
前記対象領域処理は、少なくとも、塗りつぶし処理、モザイク処理あるいは重畳表示処理のいずれか一つである、
請求項13に記載の情報処理装置。
The target area process is at least one of a fill process, a mosaic process, and a superimposed display process.
The information processing apparatus according to claim 13.
前記対象領域処理が施された画像に配信用画像生成処理を行う出力部を更に備える、
請求項13または請求項14に記載の情報処理装置。
An output unit that performs a distribution image generation process on the image subjected to the target area process;
The information processing apparatus according to claim 13 or claim 14.
前記配信用画像生成処理は、前記対象領域処理が施された画像に含まれる人の画像を当該人が特定出来ない前記人を表す画像に置き換える処理である請求項15に記載の情報処理装置。   The information processing apparatus according to claim 15, wherein the distribution image generation process is a process of replacing a person image included in the image subjected to the target area process with an image representing the person who cannot identify the person. 前記所定画像は広告画像であり、
前記所定領域は前記広告画像の領域である、
請求項1乃至請求項16のいずれか一項記載の情報処理装置。
The predetermined image is an advertisement image;
The predetermined area is an area of the advertisement image;
The information processing apparatus according to any one of claims 1 to 16.
画像を処理する情報処理装置で実行される方法であって、
所定画像の領域である所定領域を指定させる過程と、
前記指定された所定領域に含まれる前記所定画像と同一の所定画像が含まれる他の所定領域を、画像から検索する過程と、
前記指定された所定領域及び前記検索された所定領域に対象領域処理を施す過程と、
を備えた方法。
A method executed by an information processing apparatus for processing an image,
A process of designating a predetermined area which is an area of the predetermined image;
Searching for another predetermined area including the same predetermined image as the predetermined image included in the specified predetermined area from an image;
Subjecting the specified predetermined area and the searched predetermined area to target area processing;
With a method.
JP2016180621A 2016-09-15 2016-09-15 Information processing equipment and methods Active JP6789741B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016180621A JP6789741B2 (en) 2016-09-15 2016-09-15 Information processing equipment and methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016180621A JP6789741B2 (en) 2016-09-15 2016-09-15 Information processing equipment and methods

Publications (2)

Publication Number Publication Date
JP2018045510A true JP2018045510A (en) 2018-03-22
JP6789741B2 JP6789741B2 (en) 2020-11-25

Family

ID=61694842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016180621A Active JP6789741B2 (en) 2016-09-15 2016-09-15 Information processing equipment and methods

Country Status (1)

Country Link
JP (1) JP6789741B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024117018A1 (en) * 2022-12-01 2024-06-06 株式会社東芝 Information processing system, information processing method, and program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140784A (en) * 2005-11-16 2007-06-07 Nihon Daily Tsushinsha:Kk Advertisement data gathering system, advertisement data gathering method and program
US20100091139A1 (en) * 2007-03-12 2010-04-15 Sony Corporation Image processing apparatus, image processing method and image processing system
JP2011170838A (en) * 2010-01-20 2011-09-01 Sanyo Electric Co Ltd Image processing device and electronic apparatus
JP2012079186A (en) * 2010-10-05 2012-04-19 Yahoo Japan Corp Image retrieval device, image retrieval method and program
JP2013092855A (en) * 2011-10-25 2013-05-16 Sony Corp Image processing apparatus and program
JP2014040221A (en) * 2012-08-23 2014-03-06 Hitachi Building Systems Co Ltd Video monitoring system
JP2015114828A (en) * 2013-12-11 2015-06-22 富士ゼロックス株式会社 Information processing apparatus and information processing program
JP2015133561A (en) * 2014-01-10 2015-07-23 株式会社日立製作所 computer system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140784A (en) * 2005-11-16 2007-06-07 Nihon Daily Tsushinsha:Kk Advertisement data gathering system, advertisement data gathering method and program
US20100091139A1 (en) * 2007-03-12 2010-04-15 Sony Corporation Image processing apparatus, image processing method and image processing system
JP2011170838A (en) * 2010-01-20 2011-09-01 Sanyo Electric Co Ltd Image processing device and electronic apparatus
JP2012079186A (en) * 2010-10-05 2012-04-19 Yahoo Japan Corp Image retrieval device, image retrieval method and program
JP2013092855A (en) * 2011-10-25 2013-05-16 Sony Corp Image processing apparatus and program
JP2014040221A (en) * 2012-08-23 2014-03-06 Hitachi Building Systems Co Ltd Video monitoring system
JP2015114828A (en) * 2013-12-11 2015-06-22 富士ゼロックス株式会社 Information processing apparatus and information processing program
JP2015133561A (en) * 2014-01-10 2015-07-23 株式会社日立製作所 computer system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024117018A1 (en) * 2022-12-01 2024-06-06 株式会社東芝 Information processing system, information processing method, and program

Also Published As

Publication number Publication date
JP6789741B2 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
US10339383B2 (en) Method and system for providing augmented reality contents by using user editing image
JP5217922B2 (en) Electronic advertisement system, electronic advertisement distribution apparatus, and program
KR101259957B1 (en) System and method for providing supplementary information using image matching
US9436682B2 (en) Techniques for machine language translation of text from an image based on non-textual context information from the image
KR101165415B1 (en) Method for recognizing human face and recognizing apparatus
CN106127106A (en) Target person lookup method and device in video
TWI586160B (en) Real time object scanning using a mobile phone and cloud-based visual search engine
US20150088637A1 (en) Information processing system, information processing method, and non-transitory computer readable storage medium
WO2016199662A1 (en) Image information processing system
US20140233802A1 (en) Increased Quality of Image Objects Based on Depth in Scene
US20150254520A1 (en) Techniques including url recognition and applications
US8593557B2 (en) Shooting assist method, program product, recording medium, shooting device, and shooting system
CN104603833A (en) A method and system for linking printed objects with electronic content
CN106851091A (en) Control method of electronic device, device and electronic equipment
US20190005982A1 (en) Method and systemfor creating a comprehensive personal video clip
CN105447022A (en) Method for rapidly searching target object
JP6789741B2 (en) Information processing equipment and methods
CN113918769B (en) Method, device, equipment and storage medium for marking key actions in video
KR20160138823A (en) Method for providing information of traditional market using augmented reality
CN110580640B (en) Information pushing and receiving method, terminal, data processing server and system
CN114979487A (en) Image processing method, image processing device, electronic equipment and storage medium
JP2007011762A (en) Area extraction apparatus and area extraction method
CN113537127A (en) Film matching method, device, equipment and storage medium
JP6408055B2 (en) Information processing apparatus, method, and program
JP2014063300A (en) Character recognition device, character recognition processing method, and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170911

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201104

R150 Certificate of patent or registration of utility model

Ref document number: 6789741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150