JP2021519984A - AI system and method for object detection - Google Patents
AI system and method for object detection Download PDFInfo
- Publication number
- JP2021519984A JP2021519984A JP2020557230A JP2020557230A JP2021519984A JP 2021519984 A JP2021519984 A JP 2021519984A JP 2020557230 A JP2020557230 A JP 2020557230A JP 2020557230 A JP2020557230 A JP 2020557230A JP 2021519984 A JP2021519984 A JP 2021519984A
- Authority
- JP
- Japan
- Prior art keywords
- cropping
- corners
- pooling
- candidates
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本開示は、オブジェクト検出のためのシステムおよび方法に関する。システムおよび方法は、ターゲットオブジェクトを含む画像を取得し、特徴マップを生成し、特徴マップに基づいて領域候補を決定し、領域候補と機能マップに基づいて、プーリング領域候補を決定し、分類器によってプーリング領域候補を1つ以上のオブジェクトカテゴリまたは背景カテゴリに分類することができる。1つ以上のプーリング領域候補の各々が隅を有する。ターゲットオブジェクトに対応する各プーリング領域候補について、システムおよび方法は、各隅の位置に従って各隅のクロッピング戦略を決定し、クロッピング戦略の1つに従って各隅をクロッピングすることにより、プーリング領域候補をトリミングし、クロッピングされた隅に基づいて、トリミングされたプーリング領域候補に対する境界を識別し、ターゲットオブジェクトの境界を決定するために境界を画像にマッピングすることができる。The present disclosure relates to systems and methods for object detection. The system and method take an image containing the target object, generate a feature map, determine area candidates based on the feature map, determine pooling area candidates based on the area candidate and function map, and by classifier. Pooling area candidates can be categorized into one or more object categories or background categories. Each of one or more pooling region candidates has a corner. For each pooling area candidate corresponding to the target object, the system and method trims the pooling area candidate by determining the cropping strategy for each corner according to the position of each corner and cropping each corner according to one of the cropping strategies. Based on the cropped corners, the boundaries for cropped pooling area candidates can be identified and the boundaries can be mapped to the image to determine the boundaries of the target object.
Description
関連出願の相互参照
本出願は、2018年11月27日に提出された中国出願番号第201811438175.5号に対する優先権を主張し、その内容全体が参照により本明細書に組み込まれる。
Cross-reference to related applications This application claims priority to China Application No. 201811438175.5 filed November 27, 2018, the entire contents of which are incorporated herein by reference.
本開示は、一般に、画像処理のためのシステムおよび方法に関し、特に、画像内のオブジェクトを検出するためのシステムおよび方法に関する。 The present disclosure relates generally to systems and methods for image processing, and in particular to systems and methods for detecting objects in images.
人工知能アプリケーション(顔認識、インテリジェントセキュリティカメラなど)の出現および流行に伴い、人工知能オブジェクト検出技術、特にディープラーニングベースのオブジェクト検出技術が急速に開発されている。人工知能オブジェクト検出技術は、画像内のオブジェクトを識別および/または分類し、境界ボックスを描画することで画像内のオブジェクトの位置を特定できる。しかしながら、境界ボックスは一般に長方形のボックスであり得る。画像に対して不規則または傾斜したオブジェクト(例えば、安全ベルト)の場合、境界ボックス(例えば、長方形のボックス)に背景が含まれることがある。場合によっては、境界ボックスにオブジェクトよりも多くの背景が含まれ、オブジェクトを正確に特定できないことがある。したがって、傾斜したオブジェクトの正確な位置特定を実施することができる、傾斜したオブジェクトの境界を決定するための人工知能システムおよび方法を提供することが望ましい。 With the advent and popularity of artificial intelligence applications (face recognition, intelligent security cameras, etc.), artificial intelligence object detection technologies, especially deep learning-based object detection technologies, are rapidly being developed. Artificial intelligence object detection technology can identify and / or classify objects in an image and locate objects in the image by drawing a bounding box. However, the bounding box can generally be a rectangular box. For objects that are irregular or slanted with respect to the image (eg, safety belts), the bounding box (eg, rectangular box) may contain a background. In some cases, the bounding box contains more background than the object, making it impossible to pinpoint the object. Therefore, it is desirable to provide an artificial intelligence system and method for determining the boundaries of a tilted object that can perform accurate positioning of the tilted object.
本開示は、オブジェクト検出のためのAIシステムおよび方法に関する。本開示の一態様では、オブジェクト検出のための人工知能画像処理システムが提供される。人工知能画像処理システムは、少なくとも1つの記憶デバイスと、少なくとも1つの記憶デバイスと通信する少なくとも1つのプロセッサとを含み得る。少なくとも1つの記憶デバイスは、画像内のオブジェクトに対応する境界を決定するための命令セットを含み得る。命令セットを実行すると、少なくとも1つのプロセッサは、ターゲットオブジェクトを含む画像を取得し、その画像を畳み込みニューラルネットワーク(CNN)に入力することによって複数の特徴マップを生成するように指示され得る。少なくとも1つのプロセッサはまた、複数の特徴マップに基づいて複数の領域候補を決定し、複数の領域候補および複数の特徴マップに基づいて複数のプーリング領域候補を決定するように指示され得る。少なくとも1つのプロセッサは、分類器によって複数のプーリング領域候補を1つ以上のオブジェクトカテゴリまたは背景カテゴリに分類するようにさらに指示され得る。1つ以上のオブジェクトカテゴリは、ターゲットオブジェクトのカテゴリを含み得、複数のプーリング領域候補は、ターゲットオブジェクトに対応する1つ以上のプーリング領域候補を含み得る。1つ以上のプーリング領域候補の各々は、複数の隅を有し得る。ターゲットオブジェクトに対応する1つ以上のプーリング領域候補の各々について、少なくとも1つのプロセッサは、対応する隅の位置に従ってプーリング領域候補の複数の隅の各隅の複数のクロッピング戦略(crop strategy)を決定し、複数のクロッピング戦略の1つに従って複数の隅の各々をクロッピングすることにより、プーリング領域候補をトリミングし、クロッピングされた複数の隅に基づいて、トリミングされたプーリング領域候補に対する境界を識別し、ターゲットオブジェクトの境界を決定するために境界を画像にマッピングする、ように指示され得る。 The present disclosure relates to AI systems and methods for object detection. In one aspect of the disclosure, an artificial intelligence image processing system for object detection is provided. An artificial intelligence image processing system may include at least one storage device and at least one processor that communicates with at least one storage device. At least one storage device may include a set of instructions for determining the boundaries corresponding to the objects in the image. When executing the instruction set, at least one processor may be instructed to generate multiple feature maps by taking an image containing the target object and inputting the image into a convolutional neural network (CNN). At least one processor may also be instructed to determine a plurality of region candidates based on a plurality of feature maps and a plurality of pooling region candidates based on a plurality of region candidates and a plurality of feature maps. At least one processor may be further instructed by the classifier to classify multiple pooling area candidates into one or more object or background categories. One or more object categories may include a category of target objects, and a plurality of pooling area candidates may include one or more pooling area candidates corresponding to the target object. Each of one or more pooling region candidates may have multiple corners. For each of the one or more pooling area candidates corresponding to the target object, at least one processor determines multiple crop strategies for each corner of the pooling area candidate according to the corresponding corner positions. Trim the pooling area candidate by cropping each of the multiple corners according to one of the multiple cropping strategies, identify the boundaries for the trimmed pooling area candidate based on the cropped corners, and target You may be instructed to map the boundaries to the image to determine the boundaries of the object.
いくつかの実施形態では、CNNは、1つ以上の畳み込み層および1つ以上のプーリング層を含んでもよく、全結合層はもたない。 In some embodiments, the CNN may include one or more convolutional layers and one or more pooling layers and does not have a fully connected layer.
いくつかの実施形態では、複数の領域候補は、領域候補ネットワーク(RPN)に従って決定されてもよい。 In some embodiments, multiple region candidates may be determined according to the region candidate network (RPN).
いくつかの実施形態では、RPNは、少なくとも1つの回帰層および少なくとも1つの分類層を含み得る。複数の領域候補を決定するために、少なくとも1つのプロセッサは、複数の特徴マップ上でスライディングウィンドウをスライドさせるように指示され得る。各スライディングウィンドウ位置で、スライディングウィンドウは、複数の特徴マップのサブ領域と一致し得る。少なくとも1つのプロセッサは、複数の特徴マップのサブ領域を多次元特徴ベクトルにマッピングし、サブ領域の中心ピクセルを画像のピクセルにマッピングすることによりアンカーを生成するように指示され得る。アンカーは、画像内のアンカーボックスのセットに対応していてもよく、アンカーボックスのセットの各々は、スケールおよびアスペクト比に関連付けられてもよい。少なくとも1つのプロセッサはまた、多次元特徴ベクトルを少なくとも1つの回帰層および少なくとも1つの分類層にそれぞれ供給するように指示され得る。少なくとも1つの回帰層は、アンカーボックスのセットに対応する予備領域候補(preliminary region proposal)のセットを決定するために、境界ボックス回帰を実施するように構成され得、少なくとも1つの回帰層の出力は、予備領域候補のセットの各々の4つの座標値を含み得る。少なくとも1つの分類層は、予備領域候補のセットの各々のカテゴリを決定するように構成され得る。カテゴリは、前景または背景であり得、少なくとも1つの分類層の出力は、予備領域候補のセットの各々の、前景であるという第1のスコア、および背景であるという第2のスコアを含み得る。少なくとも1つのプロセッサは、複数の予備領域候補の各々の、前景であるという第1のスコアおよび背景であるという第2のスコアならびに複数の予備領域候補の各々の4つの座標値に基づいて、複数の予備領域候補の一部を複数の領域候補として選択するようにさらに指示され得る。 In some embodiments, the RPN may include at least one regression layer and at least one classification layer. To determine multiple region candidates, at least one processor may be instructed to slide the sliding window on multiple feature maps. At each sliding window position, the sliding window can match sub-regions of multiple feature maps. At least one processor may be instructed to generate anchors by mapping subregions of multiple feature maps to multidimensional feature vectors and mapping the center pixels of the subregions to pixels of the image. Anchors may correspond to a set of anchor boxes in the image, and each set of anchor boxes may be associated with scale and aspect ratio. At least one processor may also be instructed to supply a multidimensional feature vector to at least one regression layer and at least one classification layer, respectively. At least one regression layer can be configured to perform a boundary box regression to determine the set of preliminary region proposals that correspond to the set of anchor boxes, and the output of at least one regression layer is , Can contain four coordinate values for each of the set of reserve region candidates. At least one classification layer may be configured to determine each category of the set of reserve region candidates. The category can be foreground or background, and the output of at least one classification layer can include a first score of foreground and a second score of background for each of the set of reserve region candidates. At least one processor is multiple, based on each of the plurality of reserve region candidates, a first score of foreground and a second score of background, and four coordinate values of each of the plurality of reserve region candidates. It may be further instructed to select some of the preliminary region candidates in the above as multiple region candidates.
いくつかの実施形態では、複数の予備領域候補の一部を複数の領域候補として選択するために、少なくとも1つのプロセッサは、非最大抑制(NMS)を使用して複数の領域候補を選択するように指示され得る。 In some embodiments, at least one processor uses non-maximum suppression (NMS) to select multiple region candidates in order to select some of the multiple reserve region candidates as multiple region candidates. Can be instructed by.
いくつかの実施形態では、複数のプーリング領域候補は、標準サイズに対応し得る。複数のプーリング領域候補を決定するために、少なくとも1つのプロセッサは、複数の候補特徴マップを決定するために、複数の領域候補を複数の特徴マップにマッピングし、複数の候補特徴マップでのプーリングを実行することにより、複数のプーリング領域候補を決定するようさらに指示され得る。 In some embodiments, the plurality of pooling region candidates may correspond to a standard size. To determine multiple pooling region candidates, at least one processor maps multiple region candidates to multiple feature maps and pools on multiple candidate feature maps to determine multiple candidate feature maps. By doing so, you may be further instructed to determine multiple pooling region candidates.
いくつかの実施形態では、複数の隅は、左上隅、右上隅、左下隅、および右下隅を含み得る。左上隅の複数のクロッピング戦略は、右へのクロッピング、下へのクロッピング、右下へのクロッピング、ターゲット位置、または偽値(false)の少なくとも1つを含み得る。右上隅の複数のクロッピング戦略は、左へのクロッピング、下へのクロッピング、左下へのクロッピング、ターゲット位置、または偽値の少なくとも1つを含み得る。左下隅の複数のクロッピング戦略は、右へのクロッピング、上へのクロッピング、右上へのクロッピング、ターゲット位置、または偽値の少なくとも1つを含み得る。右下隅の複数のクロッピング戦略は、左へのクロッピング、上へのクロッピング、左上へのクロッピング、ターゲット位置、または偽値の少なくとも1つを含み得る。 In some embodiments, the plurality of corners may include an upper left corner, an upper right corner, a lower left corner, and a lower right corner. Multiple cropping strategies in the upper left corner may include at least one of right cropping, bottom cropping, bottom right cropping, target position, or false value. Multiple cropping strategies in the upper right corner may include at least one of left cropping, bottom cropping, bottom left cropping, target position, or false value. Multiple cropping strategies in the lower left corner may include at least one of cropping to the right, cropping up, cropping to the upper right, target position, or false value. Multiple cropping strategies in the lower right corner may include at least one of left cropping, top cropping, top left cropping, target position, or false value.
いくつかの実施形態では、少なくとも1つのプロセッサは、隅がターゲット位置のクロッピング戦略に対応する場合、複数の隅の1つのクロッピングを停止するようにさらに指示され得る。 In some embodiments, at least one processor may be further instructed to stop cropping one of the plurality of corners if the corner corresponds to a cropping strategy at the target position.
いくつかの実施形態では、複数の隅の各々をクロッピングすると、少なくとも1つのプロセッサは、プーリング領域候補に基づいて、複数の隅の各々のクロッピング方向およびクロッピング長さを決定するように指示され得る。複数の隅の各々のクロッピング方向は、対応する隅の複数のクロッピング戦略の1つに制限され得る。少なくとも1つのプロセッサはまた、クロッピング方向およびクロッピング長さに基づいて複数の隅の各々をクロッピングするように指示され得る。 In some embodiments, when each of the plurality of corners is cropped, at least one processor may be instructed to determine the cropping direction and cropping length of each of the plurality of corners based on the pooling region candidate. The cropping direction of each of the corners can be limited to one of the cropping strategies of the corresponding corners. At least one processor may also be instructed to crop each of the plurality of corners based on the cropping direction and cropping length.
いくつかの実施形態では、複数の隅の各々をクロッピングすることによりプーリング領域候補をトリミングするために、少なくとも1つのプロセッサは、1回以上の反復を実行するように指示され得る。1回以上の反復の各々において、少なくとも1つのプロセッサは、複数のクロッピング戦略から、プーリング領域候補に基づいて、複数の隅の各々のクロッピング戦略を決定し、複数の隅の1つが偽値のクロッピング戦略に対応するか否かを決定し、複数の隅の各々が偽値のクロッピング戦略に対応しないという決定に応じて、複数の隅の各々がターゲット位置のクロッピング戦略に対応するか否かを決定し、複数の隅の少なくとも1つがターゲット位置のクロッピング戦略に対応していないという決定に応じて、複数の隅の少なくとも1つの、決定されたクロッピング戦略に従って、複数の隅の少なくとも1つをクロッピングし、クロッピングされた複数の隅に基づいて、長方形のボックスを決定するための境界マッピングを実行し、長方形のボックスのサイズを標準サイズに変更するように指示され得る。少なくとも1つのプロセッサはまた、複数の隅の各々がターゲット位置のクロッピング戦略に対応するという決定に応じて、複数の隅のクロッピングを停止するように指示され得る。 In some embodiments, at least one processor may be instructed to perform one or more iterations in order to trim pooling region candidates by cropping each of the plurality of corners. In each of one or more iterations, at least one processor determines each cropping strategy in multiple corners from multiple cropping strategies based on pooling region candidates, with one of the multiple corners cropping a false value. Decide whether or not to support the strategy, and in response to the decision that each of the multiple corners does not support the false cropping strategy, determine whether or not each of the multiple corners corresponds to the target position cropping strategy. And, in response to the decision that at least one of the corners does not correspond to the target position cropping strategy, crop at least one of the corners according to the determined cropping strategy of at least one of the corners. Based on the cropped corners, you may be instructed to perform a boundary mapping to determine the rectangular box and resize the rectangular box to the standard size. At least one processor may also be instructed to stop cropping multiple corners in response to a decision that each of the multiple corners corresponds to a cropping strategy at the target location.
いくつかの実施形態では、少なくとも1つのプロセッサは、複数の隅のうちの少なくとも1つが偽値のクロッピング戦略に対応するという決定に応じて、プーリング領域候補を放棄するようにさらに指示され得る。 In some embodiments, at least one processor may be further instructed to abandon pooling region candidates in response to a decision that at least one of the corners corresponds to a false cropping strategy.
いくつかの実施形態では、少なくとも1つのプロセッサは、ターゲットオブジェクトに対応する1つ以上の境界を決定し、1つ以上の境界の各々とグラウンドトゥルースとの間のIntersection−over−Union(IoU)を決定し、最大のIoUを有する1つ以上の境界の1つを、ターゲットオブジェクトに対応するターゲット境界として決定するようにさらに指示され得る。 In some embodiments, at least one processor determines one or more boundaries corresponding to the target object and creates an Intersection-over-Union (IoU) between each of the one or more boundaries and the ground truth. It may be further instructed to determine and determine one of the one or more boundaries with the highest IoU as the target boundary corresponding to the target object.
いくつかの実施形態では、ターゲットオブジェクトの境界は四辺形のボックスであり得る。 In some embodiments, the boundaries of the target object can be a quadrilateral box.
本開示の別の態様では、人工知能画像処理方法が提供される。人工知能画像処理方法は、コンピューティングデバイス上に実装され得る。コンピューティングデバイスは、少なくとも1つのプロセッサ、少なくとも1つのコンピュータ可読記憶媒体、およびネットワークに接続された通信プラットフォームを有することができる。この方法は、ターゲットオブジェクトを含む画像を取得するステップと、画像を畳み込みニューラルネットワーク(CNN)に入力することにより、複数の特徴マップを生成するステップとを含み得る。この方法はまた、複数の特徴マップに基づいて複数の領域候補を決定するステップと、複数の領域候補および複数の特徴マップに基づいて、複数のプーリング領域候補を決定するステップとを含み得る。この方法は、分類器によって、複数のプーリング領域候補を1つ以上のオブジェクトカテゴリまたは背景カテゴリに分類するステップをさらに含み得る。1つ以上のオブジェクトカテゴリは、ターゲットオブジェクトのカテゴリを含み得、複数のプーリング領域候補は、ターゲットオブジェクトに対応する1つ以上のプーリング領域候補を含み得る。1つ以上のプーリング領域候補の各々は、複数の隅を有し得る。ターゲットオブジェクトに対応する1つ以上のプーリング領域候補の各々について、方法は、対応する隅の位置に従ってプーリング領域候補の複数の隅の各隅の複数のクロッピング戦略を決定するステップと、複数のクロッピング戦略の1つに従って複数の隅の各々をクロッピングすることにより、プーリング領域候補をトリミングするステップと、クロッピングされた複数の隅に基づいて、トリミングされたプーリング領域候補に対する境界を識別するステップと、ターゲットオブジェクトの境界を決定するために境界を画像にマッピングするステップとを含み得る。 In another aspect of the disclosure, an artificial intelligence image processing method is provided. Artificial intelligence image processing methods can be implemented on computing devices. A computing device can have at least one processor, at least one computer-readable storage medium, and a networked communication platform. This method may include the step of acquiring an image containing the target object and the step of generating a plurality of feature maps by inputting the image into a convolutional neural network (CNN). The method may also include determining a plurality of region candidates based on the plurality of feature maps and determining a plurality of pooling region candidates based on the plurality of region candidates and the plurality of feature maps. This method may further include the step of classifying multiple pooling area candidates into one or more object categories or background categories by a classifier. One or more object categories may include a category of target objects, and a plurality of pooling area candidates may include one or more pooling area candidates corresponding to the target object. Each of one or more pooling region candidates may have multiple corners. For each of the one or more pooling area candidates corresponding to the target object, the method is to determine multiple cropping strategies for each corner of the pooling area candidate's multiple corners according to the corresponding corner positions, and multiple cropping strategies. A step of trimming a pooling area candidate by cropping each of the multiple corners according to one of the above, a step of identifying boundaries for the trimmed pooling area candidate based on the cropped corners, and a target object. It may include the step of mapping the boundary to the image to determine the boundary of the.
本開示の別の態様では、非一時的なコンピュータ可読記憶媒体が提供される。非一時的なコンピュータ可読記憶媒体は、人工知能オブジェクト検出のための少なくとも1つの命令セットを含み得る。コンピューティングデバイスの少なくとも1つのプロセッサによって実行されると、少なくとも1つの命令セットは、ターゲットオブジェクトを含む画像を取得する動作と、画像を畳み込みニューラルネットワーク(CNN)に入力することにより、複数の特徴マップを生成する動作と、複数の特徴マップに基づいて複数の領域候補を決定する動作と、複数の領域候補および複数の特徴マップに基づいて、複数のプーリング領域候補を決定する動作と、分類器によって、複数のプーリング領域候補を1つ以上のオブジェクトカテゴリまたは背景カテゴリに分類する動作とを実行するように少なくとも1つのプロセッサに指示することができる。1つ以上のオブジェクトカテゴリは、ターゲットオブジェクトのカテゴリを含み得、複数のプーリング領域候補は、ターゲットオブジェクトに対応する1つ以上のプーリング領域候補を含み得る。1つ以上のプーリング領域候補の各々は、複数の隅を有し得る。ターゲットオブジェクトに対応する1つ以上のプーリング領域候補の各々について、少なくとも1つの命令セットはまた、対応する隅の位置に従ってプーリング領域候補の複数の隅の各隅の複数のクロッピング戦略を決定する動作と、複数のクロッピング戦略の1つに従って複数の隅の各々をクロッピングすることにより、プーリング領域候補をトリミングする動作と、クロッピングされた複数の隅に基づいて、トリミングされたプーリング領域候補に対する境界を識別する動作と、ターゲットオブジェクトの境界を決定するために境界を画像にマッピングする動作とを実行するように少なくとも1つのプロセッサに指示することができる。 In another aspect of the disclosure, a non-transitory computer-readable storage medium is provided. A non-temporary computer-readable storage medium may include at least one instruction set for detecting artificial intelligence objects. When executed by at least one processor in a computing device, at least one instruction set can capture multiple feature maps by fetching an image containing the target object and inputting the image into a convolutional neural network (CNN). The action of generating multiple area candidates, the action of determining multiple area candidates based on multiple feature maps, the action of determining multiple pooling area candidates based on multiple area candidates and multiple feature maps, and the classifier You can instruct at least one processor to perform the action of classifying multiple pooling area candidates into one or more object categories or background categories. One or more object categories may include a category of target objects, and a plurality of pooling area candidates may include one or more pooling area candidates corresponding to the target object. Each of one or more pooling region candidates may have multiple corners. For each of the one or more pooling region candidates corresponding to the target object, at least one instruction set also determines multiple cropping strategies for each corner of the pooling region candidate according to the corresponding corner position. Identify the behavior of trimming pooling area candidates by cropping each of the multiple corners according to one of the multiple cropping strategies and the boundaries for the trimmed pooling area candidates based on the cropped corners. You can instruct at least one processor to perform the action and the action of mapping the boundary to the image to determine the boundary of the target object.
本開示の別の態様では、オブジェクト検出のための人工知能画像処理システムが提供される。人工知能画像処理システムは、ターゲットオブジェクトを含む画像を取得するように構成された取得モジュールと、画像を畳み込みニューラルネットワーク(CNN)に入力することにより、複数の特徴マップを生成するように構成された特徴マップ決定モジュールと、複数の特徴マップに基づいて複数の領域候補を決定するように構成された領域候補決定モジュールと、複数の領域候補および複数の特徴マップに基づいて、複数のプーリング領域候補を決定するように構成されたプーリング領域候補決定モジュールと、分類器によって、複数のプーリング領域候補を1つ以上のオブジェクトカテゴリまたは背景カテゴリに分類するように構成された分類モジュールとを含み得る。1つ以上のオブジェクトカテゴリは、ターゲットオブジェクトのカテゴリを含み得、複数のプーリング領域候補は、ターゲットオブジェクトに対応する1つ以上のプーリング領域候補を含み得る。1つ以上のプーリング領域候補の各々は、複数の隅を有し得る。ターゲットオブジェクトに対応する1つ以上のプーリング領域候補の各々について、人工知能画像処理システムはまた、対応する隅の位置従ってプーリング領域候補の複数の隅の各隅について複数のクロッピング戦略を決定するように構成された境界決定モジュールを含むことができ、境界決定モジュールが、複数のクロッピング戦略の1つに従って複数の隅の各々をクロッピングすることにより、プーリング領域候補をトリミングするように構成され、境界決定モジュールが、クロッピングされた複数の隅に基づいて、トリミングされたプーリング領域候補に対する境界を識別するように構成され、境界決定モジュールが、ターゲットオブジェクトの境界を決定するために境界を画像にマッピングするように構成されている。 In another aspect of the disclosure, an artificial intelligence image processing system for object detection is provided. The artificial intelligence image processing system was configured to generate multiple feature maps by inputting an image into a convolutional neural network (CNN) with an acquisition module configured to acquire an image containing a target object. A feature map determination module, an area candidate determination module configured to determine multiple area candidates based on multiple feature maps, and multiple pooling area candidates based on multiple area candidates and multiple feature maps. It may include a pooling area candidate determination module configured to determine and a classification module configured to classify multiple pooling area candidates into one or more object categories or background categories by a classifier. One or more object categories may include a category of target objects, and a plurality of pooling area candidates may include one or more pooling area candidates corresponding to the target object. Each of one or more pooling region candidates may have multiple corners. For each of the one or more pooling region candidates corresponding to the target object, the artificial intelligence image processing system should also determine multiple cropping strategies for each corner of the pooling region candidate's multiple corners according to the corresponding corner location. A configured demarcation module can be included, the demarcation module is configured to trim pooling area candidates by cropping each of multiple corners according to one of multiple cropping strategies. Is configured to identify boundaries for cropped pooling area candidates based on multiple cropped corners, so that the demarcation module maps the boundaries to the image to determine the boundaries of the target object. It is configured.
追加の特徴は、一部は以下の説明に記載され、一部は以下の説明および添付の図面を検討すると当業者には明らかになり、または例の作成もしくはオペレーションによって知ることができる。本開示の特徴は、以下で論じられる詳細な例に示される方法論、手段、および組み合わせの様々な態様の実施または使用によって実現および達成され得る。 Additional features are described in part in the description below and will be apparent to those skilled in the art by reviewing the description and accompanying drawings below, or will be known by the creation or operation of an example. The features of the present disclosure may be realized and achieved by the practice or use of various aspects of the methodologies, means, and combinations shown in the detailed examples discussed below.
本開示は、例示的な実施形態に関してさらに説明される。これらの例示的な実施形態は、図面を参照して詳細に説明される。図面は縮尺通りではない。これらの実施形態は、非限定的で概略的な実施形態であり、図面のいくつかの図を通して、同様の参照符号は同様の構造を表す。 The present disclosure is further described with respect to exemplary embodiments. These exemplary embodiments will be described in detail with reference to the drawings. The drawings are not on scale. These embodiments are non-limiting and schematic embodiments, and similar reference numerals represent similar structures throughout some of the drawings.
以下の説明は、当業者が本開示を作成および使用することを可能にするために提示され、特定の用途およびその要件の文脈で提供される。開示された実施形態に対する様々な修正は、当業者には容易に明らかであり、本明細書で定義された一般原理は、本開示の趣旨および範囲から逸脱することなく、他の実施形態および用途に適用され得る。したがって、本開示は、示される実施形態に限定されず、特許請求の範囲と一致する最も広い範囲が与えられるべきである。 The following description is presented to allow one of ordinary skill in the art to create and use this disclosure and is provided in the context of a particular application and its requirements. Various modifications to the disclosed embodiments will be readily apparent to those of skill in the art, and the general principles defined herein will not deviate from the spirit and scope of the present disclosure. Can be applied to. Therefore, the present disclosure is not limited to the embodiments shown, and should be given the broadest scope that is consistent with the claims.
本明細書で使用される用語は、特定の例示的な実施形態を説明することのみを目的としており、限定することを意図していない。本明細書で使用される場合、単数形「a」、「an」、および「the」は、文脈がそうでないことを明確に示さない限り、複数形も含むことが意図され得る。本開示で使用される場合、「備える(comprise,comprises,comprising)」、「含む(include,includes,including)」という用語は、述べられた特徴、整数、ステップ、オペレーション、要素、および/またはコンポーネントの存在を指定するが、1つ以上の他の特徴、整数、ステップ、オペレーション、要素、コンポーネント、および/またはそれらのグループの存在または追加を排除するものではないことがさらに理解されよう。 The terms used herein are for the purpose of describing particular exemplary embodiments only and are not intended to be limiting. As used herein, the singular forms "a," "an," and "the" may be intended to include the plural, unless the context explicitly indicates otherwise. As used in this disclosure, the terms "comprise, complements, comprising" and "includes, including" refer to the features, integers, steps, operations, elements, and / or components described. It will be further understood that the existence of is specified, but does not preclude the existence or addition of one or more other features, integers, steps, operations, elements, components, and / or groups thereof.
本開示のこれら、および他の特徴や特性、ならびにオペレーションの方法および構造の関連要素の機能および部品の組み合わせおよび製造の経済性は、添付の図面を参照して以下の説明を検討すると、より明らかになる場合があり、これらの図面はすべて、本開示の一部を形成する。ただし、図面は例示および説明のみを目的としており、本開示の範囲を限定することを意図していないことを明確に理解されたい。図面は縮尺通りではないことが理解される。 These and other features and characteristics of the present disclosure, as well as the functional and component combinations of related elements of the method and structure of operation, and the economics of manufacture are more apparent when the following description is considered with reference to the accompanying drawings. All of these drawings form part of this disclosure. However, it should be clearly understood that the drawings are for illustration and illustration purposes only and are not intended to limit the scope of this disclosure. It is understood that the drawings are not on scale.
本開示で使用されるフローチャートは、本開示のいくつかの実施形態に従ってシステムが実施するオペレーションを示す。フローチャートのオペレーションは、記載されているのとは異なる順序で実装されてもよいことは明確に理解されるべきである。逆に、オペレーションは逆の順序で、または同時に実装されてもよい。さらに、フローチャートに1つ以上の他のオペレーションが追加されてもよい。フローチャートから1つ以上のオペレーションが削除されてもよい。 The flowcharts used in the present disclosure show the operations performed by the system in accordance with some embodiments of the present disclosure. It should be clearly understood that the flow chart operations may be implemented in a different order than described. Conversely, operations may be implemented in reverse order or at the same time. In addition, one or more other operations may be added to the flowchart. One or more operations may be removed from the flowchart.
さらに、本開示のシステムおよび方法は、主にオンデマンド輸送サービスに関して説明されているが、これは単なる1つの例示的な実施形態であることも理解されたい。本開示のシステムまたは方法は、任意の他の種類のオンデマンドサービスに適用され得る。例えば、本開示のシステムまたは方法は、陸、海、航空宇宙など、またはそれらの任意の組み合わせを含む異なる環境の輸送システムに適用されてもよい。輸送システムの車両は、タクシー、自家用車、ヒッチ、バス、電車、新幹線、高速鉄道、地下鉄、船舶、航空機、宇宙船、熱気球、無人車両など、またはそれらの任意の組み合わせを含み得る。輸送システムはまた、管理および/または分配のための任意の輸送システム、例えば、速達(express)を送信および/または受信するためのシステムを含み得る。本開示のシステムまたは方法の適用は、ウェブページ、ブラウザのプラグイン、クライアント端末、カスタムシステム、内部分析システム、人工知能ロボットなど、またはそれらの任意の組み合わせを含み得る。 Further, although the systems and methods of the present disclosure are described primarily with respect to on-demand transportation services, it should also be understood that this is merely an exemplary embodiment. The systems or methods of the present disclosure may be applied to any other type of on-demand service. For example, the systems or methods of the present disclosure may be applied to transportation systems in different environments, including land, sea, aerospace, etc., or any combination thereof. Vehicles in the transportation system may include taxis, private cars, hitches, buses, trains, bullet trains, high-speed rail, subways, ships, aircraft, spacecraft, hot air balloons, unmanned vehicles, or any combination thereof. The transportation system may also include any transportation system for management and / or distribution, such as a system for transmitting and / or receiving express. Applications of the systems or methods of the present disclosure may include web pages, browser plug-ins, client terminals, custom systems, internal analysis systems, artificial intelligence robots, etc., or any combination thereof.
本開示における「乗客」、「要求者」、「サービス要求者」、および「顧客」という用語は、サービスを要求または注文することができる個人、エンティティ、またはツールを指すために互換的に使用される。また、本開示における「ドライバ」、「プロバイダ」、「サービスプロバイダ」、および「サプライヤ」という用語は、サービスを提供するか、またはサービスの提供を容易にすることができる個人、エンティティ、またはツールを指すために互換的に使用される。本開示における「ユーザ」という用語は、サービスを要求し、サービスを注文し、サービスを提供し、またはサービスの提供を容易にすることができる個人、エンティティ、またはツールを指すことができる。例えば、ユーザは、乗客、ドライバ、オペレータなど、またはそれらの任意の組み合わせであり得る。本開示では、「乗客」および「乗客端末」は互換的に使用され得、「ドライバ」および「ドライバ端末」は互換的に使用され得る。 The terms "passenger," "requester," "service requester," and "customer" in this disclosure are used interchangeably to refer to an individual, entity, or tool that may request or order service. NS. Also, the terms "driver," "provider," "service provider," and "supplier" in this disclosure refer to individuals, entities, or tools that can provide or facilitate the provision of services. Used interchangeably to point. The term "user" in the present disclosure may refer to an individual, entity, or tool capable of requesting a service, ordering a service, providing a service, or facilitating the provision of a service. For example, the user can be a passenger, a driver, an operator, etc., or any combination thereof. In the present disclosure, "passenger" and "passenger terminal" may be used interchangeably, and "driver" and "driver terminal" may be used interchangeably.
本開示における「サービス要求」および「注文」という用語は、互換的に使用され、乗客、要求者、サービス要求者、顧客、ドライバ、プロバイダ、サービスプロバイダ、供給者など、またはそれらの任意の組み合わせによって開始され得る要求を指す。サービス要求は、乗客、要求者、サービス要求者、顧客、ドライバ、提供者、サービス提供者、または供給者のいずれかによって受け入れられ得る。サービス要求は有料または無料の場合がある。 The terms "service request" and "order" in this disclosure are used interchangeably by passenger, requester, service requester, customer, driver, provider, service provider, supplier, etc., or any combination thereof. Refers to a request that can be initiated. The service request may be accepted by either the passenger, the requester, the service requester, the customer, the driver, the provider, the service provider, or the supplier. Service requests may be paid or free.
本開示で使用される測位技術は、全地球測位システム(GPS)、全地球航法衛星システム(GLONASS)、コンパス航法システム(COMPASS)、ガリレオ測位システム、準天頂衛星システム(QZSS)、ワイヤレスフィデリティ(WiFi)測位技術など、またはそれらの任意の組み合わせに基づくことができる。上記の測位システムのうちの1つ以上は、本開示において互換的に使用され得る。 The positioning technologies used in this disclosure include Global Positioning System (GPS), Global Navigation Satellite System (GLONASS), Compass Navigation System (COMPASS), Galileo Positioning System, Quasi-Zenith Satellite System (QZSS), and Wireless Fidelity (WiFi). ) It can be based on positioning techniques, etc., or any combination thereof. One or more of the above positioning systems may be used interchangeably in this disclosure.
本開示は、画像内のオブジェクト検出のための人工知能(AI)システムおよび方法に関する。具体的には、AIシステムおよび方法は、画像内のターゲットオブジェクトの境界を決定することができる。ターゲットオブジェクトの決定された境界は、四辺形のボックスであり得る。ターゲットオブジェクトの境界を決定するために、AIシステムおよび方法は、画像を畳み込みニューラルネットワーク(CNN)に入力して複数の特徴マップを生成し、複数の特徴マップに基づいて複数の領域候補を生成することができる。AIシステムおよび方法は、ROIプーリングオペレーションを実行することにより、複数の領域候補および複数の特徴マップに基づいて、複数のプーリング領域候補を決定することができる。AIシステムおよび方法は、複数のプーリング領域候補を、分類器によって1つ以上のオブジェクトカテゴリまたは背景カテゴリにさらに分類することができる。複数のプーリング領域候補は、ターゲットオブジェクトに対応する1つ以上のプーリング領域候補を含み得る。1つ以上のプーリング領域候補の各々は、複数の隅を有し得る。ターゲットオブジェクトに対応するプーリング領域候補の場合、AIシステムおよび方法は、対応する隅の位置に従って、プーリング領域候補の複数の隅の各隅について複数のクロッピング戦略を決定することができる。AIシステムおよび方法はまた、複数のクロッピング戦略の1つに従って複数の隅の各々をクロッピングすることにより、プーリング領域候補をトリミングすることができる。いくつかの実施形態では、AIシステムおよび方法は、プーリング領域候補に基づいて決定され得る、クロッピング方向およびクロッピング長さに基づいて隅をクロッピングすることができる。AIシステムおよび方法は、クロッピングされた複数の隅に基づいて、トリミングされたプーリング領域候補に対する境界を識別し、その境界を画像にマッピングして、ターゲットオブジェクトの境界を決定することができる。本開示では、プーリング領域候補の隅に関連する情報(例えば、隅の位置)およびプーリング領域候補の特徴が考慮され得る。したがって、本開示に従って決定されるターゲットオブジェクトの境界は、ターゲットオブジェクト、特に傾斜したターゲットオブジェクト(例えば、安全ベルト、傾斜した文字)に対してより適切であり得、ターゲットの位置を特定する精度を改善し得る。 The present disclosure relates to artificial intelligence (AI) systems and methods for detecting objects in images. Specifically, AI systems and methods can determine the boundaries of target objects in an image. The determined boundary of the target object can be a quadrilateral box. To determine the boundaries of the target object, AI systems and methods input images into a convolutional neural network (CNN) to generate multiple feature maps and generate multiple region candidates based on the multiple feature maps. be able to. AI systems and methods can determine multiple pooling region candidates based on multiple region candidates and multiple feature maps by performing ROI pooling operations. AI systems and methods can further classify multiple pooling area candidates into one or more object or background categories by a classifier. Multiple pooling area candidates may include one or more pooling area candidates corresponding to the target object. Each of one or more pooling region candidates may have multiple corners. For pooling area candidates corresponding to the target object, the AI system and method can determine multiple cropping strategies for each corner of the pooling area candidate according to the corresponding corner positions. AI systems and methods can also trim pooling area candidates by cropping each of multiple corners according to one of multiple cropping strategies. In some embodiments, the AI system and method can crop corners based on cropping direction and cropping length, which can be determined based on pooling region candidates. AI systems and methods can identify boundaries for cropped pooling area candidates based on multiple cropped corners and map those boundaries to the image to determine the boundaries of the target object. In the present disclosure, information related to the corners of the pooling region candidate (eg, the position of the corner) and the characteristics of the pooling region candidate may be considered. Therefore, the boundaries of the target object determined in accordance with the present disclosure may be more appropriate for the target object, especially the slanted target object (eg, safety belts, slanted letters), improving the accuracy of target positioning. Can be done.
図1は、本開示のいくつかの実施形態による例示的なAI画像処理システム100を示す概略図である。AI画像処理システム100は、オブジェクション検出のために構成され得る。例えば、AI画像処理システム100は、画像内のオブジェクトに対応する境界を決定することができる。いくつかの実施形態では、AI画像処理システム100は、オンライントゥオフライン(O2O)サービスを提供するオンラインプラットフォームであり得る。AI画像処理システム100は、センサ110、ネットワーク120、端末130、サーバ140、および記憶デバイス150を含み得る。
FIG. 1 is a schematic diagram showing an exemplary AI image processing system 100 according to some embodiments of the present disclosure. The AI image processing system 100 may be configured for object detection. For example, the AI image processing system 100 can determine the boundaries corresponding to the objects in the image. In some embodiments, the AI image processing system 100 can be an online platform that provides an online-to-offline (O2O) service. The AI image processing system 100 may include a
センサ110は、1つ以上の画像を取り込むように構成され得る。本出願で使用されるように、画像は、静止画像、ビデオ、ストリームビデオ、またはビデオから得られたビデオフレームであり得る。画像は、三次元(3D)画像または二次元(2D)画像であり得る。センサ110は、1つ以上のカメラであってもよく、またはそれらを含んでもよい。いくつかの実施形態では、センサ110は、デジタルカメラ、ビデオカメラ、防犯カメラ、ウェブカメラ、スマートフォン、タブレット、ラップトップ、ウェブカメラを備えたビデオゲームコンソール、複数のレンズを備えたカメラ、ビデオカメラなどであってもよい。いくつかの実施形態では、センサ110(例えば、カメラ)は、1つ以上のオブジェクトを含む画像を取り込むことができる。
The
ネットワーク120は、情報および/またはデータの交換を容易にすることができる。いくつかの実施形態では、AI画像処理システム100の1つ以上のコンポーネント(例えば、センサ110、端末130、サーバ140、記憶デバイス150)は、ネットワーク120を介したAI画像処理システム100において情報および/またはデータを他のコンポーネントに送信することができる。例えば、サーバ140は、ネットワーク120を介してセンサ110から得られた画像を処理することができる。別の例として、サーバ140は、ネットワーク120を介して端末130からユーザ指示を取得することができる。いくつかの実施形態では、ネットワーク120は、任意のタイプの有線または無線のネットワーク、あるいはそれらの組み合わせであってもよい。単なる例として、ネットワーク120は、ケーブルネットワーク、有線ネットワーク、光ファイバネットワーク、電気通信ネットワーク、イントラネット、インターネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、ワイヤレスローカルエリアネットワーク(WLAN)、メトロポリタンエリアネットワーク(MAN)、広域ネットワーク(WAN)、公衆電話交換網(PSTN)、Bluetooth(商標)ネットワーク、ZigBee(商標)ネットワーク、近距離無線通信(NFC)ネットワークなど、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、ネットワーク120は、1つ以上のネットワークアクセスポイントを含み得る。例えば、ネットワーク120は、基地局および/またはインターネット交換ポイント120−1、120−2、…などの有線または無線のネットワークアクセスポイントを含んでもよく、それを介してAI画像処理システム100の1つ以上のコンポーネントが、データおよび/または情報を交換するためにネットワーク120に接続されてもよい。
端末130は、モバイルデバイス130−1、タブレットコンピュータ130−2、ラップトップコンピュータ130−3など、またはそれらの任意の組み合わせを含む。いくつかの実施形態では、モバイルデバイス130−1は、スマートホームデバイス、ウェアラブルデバイス、スマートモバイルデバイス、仮想現実デバイス、拡張現実デバイスなど、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、スマートホームデバイスは、スマート照明デバイス、インテリジェント電気装置の制御デバイス、スマートモニタリングデバイス、スマートテレビ、スマートビデオカメラ、インターホンなど、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、ウェアラブルデバイスは、ブレスレット、フットギア、眼鏡、ヘルメット、時計、衣服、バックパック、アクセサリなど、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、スマートモバイルデバイスは、スマートフォン、携帯情報端末(PDA)、ゲームデバイス、ナビゲーションデバイス、販売時点情報管理(POS)デバイスなど、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、仮想現実デバイスおよび/または拡張現実デバイスは、仮想現実ヘルメット、仮想現実メガネ、仮想現実パッチ、拡張現実ヘルメット、拡張現実メガネ、拡張現実パッチなど、またはそれらの任意の組み合わせを含み得る。例えば、仮想現実デバイスおよび/または拡張現実デバイスは、Google Glass、Oculus Rift、HoloLens、Gear VRなどを含み得る。いくつかの実施形態では、端末130は、センサ110を遠隔操作することができる。いくつかの実施形態では、端末130は、無線接続を介してセンサ110を操作することができる。いくつかの実施形態では、端末130は、ユーザによって入力された情報および/または命令を受信し、受信した情報および/または命令を、ネットワーク120を介してセンサ110またはサーバ140に送信することができる。いくつかの実施形態では、端末130は、サーバ140からデータおよび/または情報を受信することができる。いくつかの実施形態では、端末130は、サーバ140の一部であってもよい。いくつかの実施形態では、端末130は省略されてもよい。
The terminal 130 includes a mobile device 130-1, a tablet computer 130-2, a laptop computer 130-3, and the like, or any combination thereof. In some embodiments, the mobile device 130-1 may include smart home devices, wearable devices, smart mobile devices, virtual reality devices, augmented reality devices, and the like, or any combination thereof. In some embodiments, the smart home device may include a smart lighting device, a control device for intelligent electrical appliances, a smart monitoring device, a smart TV, a smart video camera, an interphone, etc., or any combination thereof. In some embodiments, the wearable device may include bracelets, foot gear, eyeglasses, helmets, watches, garments, backpacks, accessories, etc., or any combination thereof. In some embodiments, smart mobile devices may include smartphones, personal digital assistants (PDAs), gaming devices, navigation devices, point-of-sale (POS) devices, and the like, or any combination thereof. In some embodiments, the virtual reality device and / or augmented reality device is a virtual reality helmet, virtual reality glasses, virtual reality patch, augmented reality helmet, augmented reality glasses, augmented reality patch, etc., or any combination thereof. Can include. For example, virtual reality devices and / or augmented reality devices can include Google Glass, Oculus Rift, HoloLens, Gear VR, and so on. In some embodiments, the terminal 130 can remotely control the
いくつかの実施形態では、サーバ140は、単一のサーバまたはサーバグループであってもよい。サーバグループは、集中型または分散型であってもよい(例えば、サーバ140は分散型システムであってもよい)。いくつかの実施形態では、サーバ140はローカルまたはリモートであってもよい。例えば、サーバ140は、ネットワーク120を介して、センサ110、端末130、および/または記憶デバイス150に格納された情報および/またはデータにアクセスすることができる。別の例として、サーバ140は、センサ110、端末130、および/または記憶デバイス150に直接接続されて、格納された情報および/またはデータにアクセスすることができる。いくつかの実施形態では、サーバ140は、クラウドプラットフォーム上に実装され得る。単なる例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、サーバ140は、本開示の図2に示される1つ以上のコンポーネントを有するコンピューティングデバイス200上に実装され得る。
In some embodiments, the
いくつかの実施形態では、サーバ140は、AI処理デバイス142を含み得る。AI処理デバイス142は、情報および/またはデータを処理して、本開示で説明される1つ以上の機能を実行することができる。例えば、AI処理デバイス142は、ターゲットオブジェクトを含む画像を処理して、画像内のターゲットオブジェクトの境界を決定することができる。いくつかの実施形態では、AI処理デバイス142は、1つ以上の処理デバイス(例えば、シングルコア処理デバイスまたはマルチコアプロセッサ)を含み得る。単なる例として、AI処理デバイス142は、中央処理ユニット(CPU)、特定用途向け集積回路(ASIC)、特定用途向け命令セットプロセッサ(ASIP)、グラフィックス処理ユニット(GPU)、物理処理ユニット(PPU)、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックデバイス(PLD)、コントローラ、マイクロコントローラユニット、縮小命令セットコンピュータ(RISC)、マイクロプロセッサなど、またはそれらの任意の組み合わせを含み得る。
In some embodiments, the
記憶デバイス150は、データおよび/または命令を格納することができる。いくつかの実施形態では、記憶デバイス150は、端末130および/またはサーバ140から取得されたデータを格納することができる。いくつかの実施形態では、記憶デバイス150は、本開示で説明される例示的な方法を実行するためにサーバ140が実行または使用することができるデータおよび/または命令を格納することができる。いくつかの実施形態では、記憶デバイス150は、大容量ストレージ、取り外し可能ストレージ、揮発性読み書きメモリ、読み出し専用メモリ(ROM)など、またはそれらの任意の組み合わせを含み得る。例示的な大容量ストレージは、磁気ディスク、光ディスク、ソリッドステートドライブなどを含み得る。例示的なリムーバブルストレージは、フラッシュドライブ、フロッピー(登録商標)ディスク、光ディスク、メモリカード、zipディスク、磁気テープなどを含み得る。例示的な揮発性読み書きメモリは、ランダムアクセスメモリ(RAM)を含み得る。例示的なRAMは、ダイナミックRAM(DRAM)、ダブルデータレート同期ダイナミックRAM(DDR SDRAM)、スタティックRAM(SRAM)、サイリスタRAM(T−RAM)、およびゼロキャパシタRAM(Z−RAM)などを含み得る。例示的なROMは、マスクROM(MROM)、プログラム可能ROM(PROM)、消去可能プログラム可能ROM(EPROM)、電気的消去可能プログラム可能ROM(EEPROM)、コンパクトディスクROM(CD−ROM)、およびデジタル多用途ディスクROMなどを含み得る。いくつかの実施形態では、記憶デバイス150は、クラウドプラットフォーム上で実施され得る。単なる例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、またはそれらの任意の組み合わせを含み得る。
The
いくつかの実施形態では、記憶デバイス150は、ネットワーク120に接続されて、AI画像処理システム100の1つ以上のコンポーネント(例えば、センサ110、端末130、サーバ140)と通信することができる。AI画像処理システム100内の1つ以上のコンポーネントは、ネットワーク120を介して記憶デバイス150に格納されたデータまたは命令にアクセスすることができる。いくつかの実施形態では、記憶デバイス150は、AI画像処理システム100内の1つ以上のコンポーネント(例えば、センサ110、端末130、サーバ140)と直接接続され、または通信し得る。いくつかの実施形態では、記憶デバイス150は、センサ110の一部であってもよい。
In some embodiments, the
当業者は、AI画像処理システム100の要素(またはコンポーネント)が実行するとき、要素が電気信号および/または電磁信号を介して実行することができることを理解されよう。例えば、端末130が要求をサーバ140に送信するとき、端末130のプロセッサは、要求を符号化する電気信号を生成することができる。次に、端末130のプロセッサは、電気信号を出力ポートに送信することができる。端末130が有線ネットワークを介してサーバ140と通信する場合、出力ポートはケーブルに物理的に接続されてもよく、ケーブルはさらに電気信号をサーバ140の入力ポートに送信してもよい。端末130が無線ネットワークを介してサーバ140と通信する場合、端末130の出力ポートは、電気信号を電磁信号に変換する1つ以上のアンテナであってもよい。端末130および/またはサーバ140などの電子デバイス内で、電子デバイスのプロセッサが命令を処理し、命令を送信し、および/またはアクションを実行すると、命令および/またはアクションは電気信号を介して実施される。例えば、プロセッサが記憶媒体からデータを検索または保存するとき、プロセッサは、記憶媒体の構造化データの読み出し、または書き込みができる記憶媒体の読み出し/書き込みデバイスに電気信号を送信することができる。構造化データは、電子デバイスのバスを介して電気信号の形でプロセッサに送信されてもよい。ここで、電気信号は、1つの電気信号、一連の電気信号、および/以上の個別の電気信号を指すことができる。
Those skilled in the art will appreciate that when an element (or component) of the AI image processing system 100 performs, the element can perform via electrical and / or electromagnetic signals. For example, when terminal 130 sends a request to
図2は、本開示のいくつかの実施形態による、コンピューティングデバイス200の例示的なハードウェアおよびソフトウェアコンポーネントを示す概略図である。いくつかの実施形態では、端末130および/またはサーバ140は、コンピューティングデバイス200上に実装され得る。例えば、サーバ140のAI処理デバイス142は、コンピューティングデバイス200上に実装され、本開示で開示されるAI処理デバイス142の機能を実行するように構成され得る。
FIG. 2 is a schematic diagram illustrating exemplary hardware and software components of a
コンピューティングデバイス200は、専用コンピュータであってもよく、本開示のためのAI画像処理システム100を実装するために使用され得る。コンピューティングデバイス200は、本明細書で説明されるようなAI画像処理システム100の任意のコンポーネントを実装するために使用され得る。例えば、AI処理デバイス142は、そのハードウェア、ソフトウェアプログラム、ファームウェア、またはそれらの組み合わせによって、コンピューティングデバイス上に実装され得る。そのようなコンピュータは、説明の都合上、1つしか示されていないが、本明細書で説明する画像処理に関連するコンピュータ機能は、処理負荷を分散するためにいくつかの類似のプラットフォーム上に分散して実装され得る。
The
コンピューティングデバイス200は、例えば、データ通信を実施し得るネットワークに接続されたCOMポート250を含み得る。コンピューティングデバイス200はまた、プログラム命令を実行するための1つ以上のプロセッサ(またはCPU)の形態のプロセッサ220を含み得る。例示的なコンピューティングデバイスは、内部通信バス210、異なるタイプのプログラム記憶ユニットおよびデータ記憶ユニット(例えば、ディスク270、読み出し専用メモリ(ROM)230、ランダムアクセスメモリ(RAM)240)、コンピュータの処理や通信に適用できる様々なデータファイルを含み得る。例示的なコンピューティングデバイスはまた、ROM230、RAM240、および/またはプロセッサ220によって実行される、他のタイプの非一時的記憶媒体に格納されたプログラム命令を含み得る。本開示の方法および/またはプロセスは、プログラム命令として実装され得る。コンピュータデバイス200はまた、コンピューティングデバイス200と他のコンポーネントとの間のデータフローの入力および/または出力をサポートすることができるI/Oデバイス260を含む。コンピューティングデバイス200はまた、ネットワーク通信を介してプログラムおよびデータを受信し得る。
The
単なる例示のために、コンピューティングデバイス200には、1つのCPUおよび/またはプロセッサのみが記載されている。しかしながら、本開示におけるコンピューティングデバイス200はまた、複数のCPUおよび/またはプロセッサを含み得、したがって、本開示に記載されるように1つのCPUおよび/またはプロセッサによって実行されるオペレーションおよび/または方法ステップも、複数のCPUおよび/またはプロセッサによって共同してまたは別々に実行され得ることに留意されたい。例えば、本開示において、コンピューティングデバイス200のCPUおよび/またはプロセッサがステップAおよびステップBの両方を実行する場合、ステップAおよびステップBはまた、コンピューティングデバイス200の2つの異なるCPUおよび/またはプロセッサによって共同してまたは別々に実行されてもよいことを理解されたい(例えば、第1のプロセッサがステップAを実行し、第2のプロセッサがステップBを実行するか、または第1および第2のプロセッサがステップAおよびBを共同して実行する)。
For illustration purposes only, the
図3は、本開示のいくつかの実施形態によるモバイルデバイス300の例示的なハードウェアコンポーネントおよび/またはソフトウェアコンポーネントを示す概略図である。いくつかの実施形態では、端末(例えば、端末130)は、モバイルデバイス300上に実装されてもよい。図3に示すように、モバイルデバイス300は、通信プラットフォーム310、ディスプレイ320、グラフィック処理ユニット(GPU)330、中央処理ユニット(CPU)340、I/O350、メモリ360、オペレーティングシステム(OS)370、ストレージ390を含み得る。いくつかの実施形態では、システムバスまたはコントローラ(図示せず)を含むがこれらに限定されない他の任意の適切なコンポーネントも、モバイルデバイス300に含まれ得る。
FIG. 3 is a schematic diagram showing exemplary hardware and / or software components of a
いくつかの実施形態では、モバイルオペレーティングシステム370(例えば、iOS(商標)、Android(商標)、Windows Phone(商標)など)および1つ以上のアプリケーション380は、CPU340によって実行されるために、ストレージ390からメモリ360にロードされ得る。アプリケーション380は、AI画像処理システム100からの画像処理または他の情報に関する情報を受信およびレンダリングするためのブラウザまたは他の任意の適切なモバイルアプリを含み得る。情報ストリームとのユーザ対話は、I/O350を介して達成され、記憶デバイス150、サーバ140、/またはAI画像処理システム100の他のコンポーネントに提供され得る。
In some embodiments, the mobile operating system 370 (eg, iOS ™, Android ™, Windows Phone ™, etc.) and one or
本開示で説明する様々なモジュール、ユニット、およびそれらの機能を実装するために、コンピュータハードウェアプラットフォームを、本明細書で説明する要素の1つ以上のためのハードウェアプラットフォームとして使用することができる。ユーザインタフェース要素を備えたコンピュータは、パーソナルコンピュータ(PC)または他の任意のタイプのワークステーションもしくは端末デバイスを実装するために使用され得る。コンピュータは、適切にプログラムされている場合、システムとしても機能し得る。 To implement the various modules, units, and their functionality described in this disclosure, a computer hardware platform can be used as a hardware platform for one or more of the elements described herein. .. Computers with user interface elements can be used to implement personal computers (PCs) or any other type of workstation or terminal device. A computer can also function as a system if properly programmed.
図4は、本開示のいくつかの実施形態による例示的なAI処理デバイス142を示すブロック図である。AI処理デバイス142は、取得モジュール401、特徴マップ決定モジュール403、領域候補決定モジュール405、プーリング領域候補決定モジュール407、分類モジュール409、および境界決定モジュール411を含み得る。モジュールは、AI処理デバイス142のすべてまたは一部のハードウェア回路であり得る。モジュールはまた、AI処理デバイス142によって読み出されて実行されるアプリケーションまたは命令セットとして実装されてもよい。さらに、モジュールは、ハードウェア回路とアプリケーション/命令の任意の組み合わせであってもよい。例えば、モジュールは、AI処理デバイス142がアプリケーション/命令セットを実行しているとき、AI処理デバイス142の一部であってもよい。
FIG. 4 is a block diagram showing an exemplary
取得モジュール401は、AI画像処理システム100に関連する情報および/またはデータを取得するように構成され得る。いくつかの実施形態では、取得モジュール401は、ターゲットオブジェクトを含む画像を取得することができる。いくつかの実施形態では、画像は、センサ110によって取り込まれた静止画像またはビデオであり得る。いくつかの実施形態では、ターゲットオブジェクトは、画像内で識別および/または検出されるオブジェクトを指す場合がある。例えば、ターゲットオブジェクトは、画像に対して傾斜したオブジェクト(例えば、安全ベルト、傾斜した文字)であり得る。あるいは、画像内のすべてのオブジェクトを識別および/または検出する必要があり、画像内の各オブジェクトをターゲットオブジェクトと呼ぶ場合がある。いくつかの実施形態では、取得モジュール401は、センサ110、端末130、ストレージ(例えば、記憶デバイス150)などのAI画像処理システム100の1つ以上のコンポーネントから、またはネットワーク120を介して外部ソース(例えば、ImageNet)から、画像を取得することができる。
The
特徴マップ決定モジュール403は、画像(例えば、取得モジュール401によって取得された画像)を畳み込みニューラルネットワーク(CNN)に入力することによって複数の特徴マップを生成するように構成され得る。CNNは、1つ以上の畳み込み層および1つ以上のプーリング層を含み、全結合層のない訓練されたCNNであってもよい。畳み込み層は、画像の特徴(または特徴マップ)を抽出するように構成され得る。プーリング層は、画像の特徴マップのサイズを縮小するように構成され得る。特徴マップは、画像の特徴情報を含み得る。
The feature
領域候補決定モジュール405は、複数の特徴マップに基づいて複数の領域候補を決定するように構成され得る。いくつかの実施形態では、領域候補決定モジュール405は、領域候補ネットワーク(RPN)に従って複数の領域候補を決定し得る。具体的には、領域候補決定モジュール405は、複数の特徴マップ上でスライディングウィンドウをスライドさせることができる。複数の特徴マップ上でのスライディングウィンドウのスライディングにより、複数のスライディングウィンドウ位置が決定され得る。各スライディングウィンドウの位置で、一連の予備領域候補が決定され得る。複数のスライディングウィンドウ位置があるので、複数の予備領域候補が複数のスライディングウィンドウ位置で決定され得る。いくつかの実施形態では、複数の予備領域候補は互いに高度に重複することがあり、領域候補決定モジュール405は、複数の予備領域候補の一部を複数の領域候補として選択することがある。単なる例として、領域候補決定モジュール405は、非最大抑制(NMS)を使用して複数の領域候補を決定することができる。領域候補の決定に関する詳細は、本開示の他の箇所(例えば、プロセス500のオペレーション530およびその説明)で見られる。
The region
プーリング領域候補決定モジュール407は、複数の領域候補および複数の特徴マップに基づいて複数のプーリング領域候補を決定するように構成され得る。いくつかの実施形態では、プーリング領域候補決定モジュール407は、複数の領域候補を複数の特徴マップにマッピングして、複数の候補特徴マップ(関心領域(ROI)とも呼ばれる)を決定することができる。次に、プーリング領域候補決定モジュール407は、複数の候補特徴マップ(またはROI)に対してプーリングを実行することによって、複数のプーリング領域候補を決定することができる。
The pooling region
分類モジュール409は、分類器によって複数のプーリング領域候補を1つ以上のオブジェクトカテゴリまたは背景カテゴリに分類するように構成され得る。いくつかの実施形態では、分類モジュール409は、プーリング領域候補のネガティブサンプルを背景カテゴリに分類することができる。プーリング領域候補が背景カテゴリと決定された場合、プーリング領域候補は省略され、さらなる処理が行われない場合がある。いくつかの実施形態では、分類モジュール409は、ポジティブサンプルに対応するプーリング領域候補を1つ以上のオブジェクトカテゴリの1つに分類することができる。1つ以上のオブジェクトカテゴリは、画像処理システム100のデフォルト設定であり得、および/またはユーザによって調整され得る。1つ以上のオブジェクトカテゴリは、ターゲットオブジェクトのカテゴリを含み得る。分類モジュール409は、複数のプーリング領域候補からターゲットオブジェクトに対応する1つ以上のプーリング領域候補を選択することができる。
The
境界決定モジュール411は、1つ以上のプーリング領域候補のうちの少なくとも1つに基づいて、画像内のターゲットオブジェクトの境界を決定するように構成され得る。いくつかの実施形態では、境界は、多角形のボックス、例えば四辺形のボックスであってもよい。単なる例として、複数の隅(例えば、4つの隅、5つの隅、8つの隅など)を有するプーリング領域候補の場合、境界決定モジュール411は、対応する隅の位置に従って、各隅について複数のクロッピング戦略を決定することができる。境界決定モジュール411は、複数のクロッピング戦略のうちの1つに従って複数の隅の各々をクロッピングすることによってプーリング領域候補をトリミングすることができる。境界決定モジュール411は、クロッピングされた複数の隅に基づいて、トリミングされたプーリング領域候補に対する境界を識別し、その境界を画像にマッピングして、ターゲットオブジェクトの境界を決定することができる。境界の決定に関する詳細は、本開示の他の箇所(例えば、プロセス500のオペレーション560、プロセス700、およびそれらの説明)に見つけることができる。
The
いくつかの実施形態では、境界決定モジュール411は、1つ以上のプーリング領域候補に基づいて、ターゲットオブジェクトに対応する1つ以上の境界を決定することができる。境界決定モジュール411は、1つ以上の境界の各々とグラウンドトゥルースとの間のIoUを決定することができる。いくつかの実施形態では、グラウンドトゥルースは、ターゲットオブジェクトのラベル付けされた境界ボックスを示し得る。境界とグラウンドトゥルースとの間のIoUは、境界とグラウンドトゥルースとの重なりの度合いを反映し得る。境界決定モジュール411は、1つ以上の境界に関連する1つ以上の決定されたIoUを比較し、最大のIoUを有する境界を、ターゲットオブジェクトに対応するターゲット境界として決定することができる。
In some embodiments, the
AI処理デバイス142内のモジュールは、有線接続または無線接続を介して相互に接続、または通信することができる。有線接続は、金属ケーブル、光ケーブル、ハイブリッドケーブルなど、またはそれらの任意の組み合わせを含み得る。無線接続は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、ブルートゥース(登録商標)、ジグビー、近距離無線通信(NFC)など、またはそれらの任意の組み合わせを含み得る。
The modules in the
上記の説明は単に例示の目的で提供されており、本開示の範囲を限定することを意図していないことに留意されたい。当業者であれば、本開示の教示の下で複数の変更および修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱するものではない。いくつかの実施形態では、AI処理デバイス142は、1つ以上の追加のモジュールをさらに含み得る。例えば、AI処理デバイス142は、AI処理デバイス142のモジュールによって生成されたデータを記憶するように構成された記憶モジュール(図4には示されていない)をさらに含み得る。
It should be noted that the above description is provided solely for illustrative purposes and is not intended to limit the scope of this disclosure. One of ordinary skill in the art may make multiple changes and modifications under the teachings of this disclosure. However, those modifications and modifications do not deviate from the scope of the present disclosure. In some embodiments, the
図5は、本開示のいくつかの実施形態による、ターゲットオブジェクトの境界を決定するための例示的なプロセス500を示すフローチャートである。例示のみを目的として、AI処理デバイス142は、プロセス500を実行する主題として説明され得る。しかしながら、当業者は、プロセス500が他のエンティティによって実行されてもよいことを理解されよう。例えば、当業者は、プロセス500の少なくとも一部が、図2に示されるようなコンピューティングデバイス200または図3に示されるようなモバイルデバイス300上でも実装され得ることを理解されよう。いくつかの実施形態では、プロセス500の1つ以上のオペレーションは、図1に示されているように、AI画像処理システム100で実施され得る。いくつかの実施形態では、プロセス500の1つ以上のオペレーションは、命令の形式として記憶デバイス150および/またはストレージ(例えば、ROM230、RAM240など)に格納され、呼び出され、および/またはサーバ140(例えば、サーバ140のAI処理デバイス142、またはサーバ140のAI処理デバイス142のプロセッサ220)によって実行され得る。いくつかの実施形態では、命令は、電子電流または電気信号の形で送信されてもよい。
FIG. 5 is a flow chart illustrating an
510において、AI処理デバイス142(例えば、取得モジュール401)は、ターゲットオブジェクトを含む画像を取得することができる。いくつかの実施形態では、画像は、センサ110(例えば、スマートフォンのカメラ、自律車両のカメラ、インテリジェント防犯カメラ、交通カメラ)によって取り込まれた画像であってもよい。取り込まれた画像は、静止画、動画などでもよい。いくつかの実施形態では、画像は、人、動物(例えば、犬、猫)、車両(例えば、バイク、車、バス、トラック)、植物(例えば、花、木)、建物、風景など、またはそれらの任意の組み合わせの複数のオブジェクトを含み得る。いくつかの実施形態では、画像は、安全ベルト、傾斜した文字など、画像に対して傾斜したオブジェクトを含み得る。いくつかの実施形態では、ターゲットオブジェクトは、画像内で識別および/または検出されるオブジェクトを指す場合がある。例えば、ターゲットオブジェクトは、画像に対して傾斜したオブジェクト(例えば、安全ベルト、傾斜した文字)であってもよい。あるいは、画像内のすべてのオブジェクトを識別および/または検出する必要があり、画像内の各オブジェクトをターゲットオブジェクトと呼ぶ場合がある。 At 510, the AI processing device 142 (eg, acquisition module 401) can acquire an image containing the target object. In some embodiments, the image may be an image captured by a sensor 110 (eg, a smartphone camera, an autonomous vehicle camera, an intelligent security camera, a traffic camera). The captured image may be a still image, a moving image, or the like. In some embodiments, the image is a person, an animal (eg, a dog, a cat), a vehicle (eg, a motorcycle, a car, a bus, a truck), a plant (eg, a flower, a tree), a building, a landscape, or the like. Can contain multiple objects in any combination of. In some embodiments, the image may include objects that are tilted relative to the image, such as safety belts, slanted text, and so on. In some embodiments, the target object may refer to an object identified and / or detected in the image. For example, the target object may be an object tilted with respect to the image (eg, a safety belt, tilted text). Alternatively, all objects in the image need to be identified and / or detected, and each object in the image may be referred to as the target object.
いくつかの実施形態では、AI処理デバイス142は、センサ110、端末130、記憶デバイス(例えば、記憶デバイス150)などの、AI画像処理システム100の1つ以上のコンポーネントから画像を取得することができる。代替的または追加的に、AI処理デバイス142は、ネットワーク120を介して外部ソースから画像を取得することができる。例えば、AI処理デバイス142は、ImageNetなどから画像を取得することができる。
In some embodiments, the
520において、AI処理デバイス142(例えば、特徴マップ決定モジュール403)は、画像を畳み込みニューラルネットワーク(CNN)に入力することにより、複数の特徴マップを生成することができる。複数の特徴マップは、画像の特徴情報を含み得る。いくつかの実施形態では、CNNは、Zeiler&Fergusモデル(ZF)、VGG−16、RestNet 50などに基づいて生成されてもよい。いくつかの実施形態では、CNNは、1つ以上の畳み込み層および1つ以上のプーリング層を含み、全結合層のない訓練されたCNNであってもよい。畳み込み層は、画像(例えば、510で取得された画像)の特徴(または特徴マップ)を抽出するように構成され得る。プーリング層は、画像の特徴マップのサイズを縮小するように構成され得る。いくつかの実施形態では、画像はCNNに入力されてもよく、複数の特徴マップが生成されてもよい。単なる例として、CNNは、ZFモデルに基づいて決定され得る。600×1000のサイズの画像をZFモデルに入力することができ、256個の特徴マップをZFモデルから出力することができる。256個の特徴マップの各々のサイズは、40×60であってもよい。 At 520, the AI processing device 142 (eg, feature map determination module 403) can generate a plurality of feature maps by inputting an image into a convolutional neural network (CNN). The plurality of feature maps may include feature information of the image. In some embodiments, the CNN may be generated based on the Zeyler & Fergus model (ZF), VGG-16, RestNet 50, and the like. In some embodiments, the CNN may be a trained CNN that includes one or more convolutional layers and one or more pooling layers and no fully connected layer. The convolution layer may be configured to extract features (or feature maps) of the image (eg, the image acquired at 510). The pooling layer may be configured to reduce the size of the feature map of the image. In some embodiments, the image may be input to the CNN and multiple feature maps may be generated. As a mere example, the CNN can be determined based on the ZF model. Images with a size of 600 x 1000 can be input to the ZF model, and 256 feature maps can be output from the ZF model. The size of each of the 256 feature maps may be 40x60.
いくつかの実施形態では、CNNは、転移学習に従って生成されてもよい。転移学習は、以前に得られた知識を使用することにより、トレーニング時間を短縮できる可能性がある。具体的には、ベースネットワークは、データセット(例えば、ImageNetデータセット、PASCAL VOC、COCOなど)から得られた複数の第1のトレーニングサンプルに基づいて、事前に訓練された学習済みネットワークであり得る。ベースネットワークは、1つ以上の層(例えば、畳み込み層、プーリング層)および複数の学習済み重みを含み得る。1つ以上の層およびそれに対応する学習済み重みのうちの少なくともいくつかは、ターゲットネットワークに転移され得る。例えば、ベースネットワークは、13の畳み込み層、4つのプーリング層、および3つの全結合層を含むVGG−16であり得る。13の畳み込み層と4つのプーリング層は、ターゲットネットワーク(CNNなど)に転移され得る。いくつかの実施形態では、畳み込み層および/またはプーリング層の学習済み重みは、調整する必要がない場合があり、またはデータセット(例えば、ImageNetデータセット、PASCAL VOC、COCOなど)から得られた複数の第2のトレーニングサンプルに基づいて微調整される場合がある。いくつかの実施形態では、ターゲットネットワークは、転移された層以外の1つ以上の追加の層をさらに含み得る。追加の層の重みは、データセット(ImageNetデータセット、PASCAL VOC、COCOなど)から取得された複数の第3のトレーニングサンプルに従って更新され得る。いくつかの実施形態では、転移学習とは異なり、CNNは、データセット(例えば、ImageNetデータセット、PASCAL VOC、COCOなど)から取得された複数の第4のトレーニングサンプルを使用して予備CNNをトレーニングすることによって直接生成されてもよいことを理解されたい。 In some embodiments, the CNN may be generated according to transfer learning. Transfer learning may reduce training time by using previously acquired knowledge. Specifically, the base network can be a pre-trained trained network based on multiple first training samples obtained from a dataset (eg, ImageNet dataset, PASCAL VOC, COCO, etc.). .. The base network can include one or more layers (eg, convolution layer, pooling layer) and multiple trained weights. At least some of one or more layers and their corresponding trained weights can be transferred to the target network. For example, the base network can be VGG-16 with 13 convolution layers, 4 pooling layers, and 3 fully connected layers. The 13 convolutional layers and 4 pooling layers can be transferred to the target network (such as CNN). In some embodiments, the trained weights of the convolution layer and / or pooling layer may not need to be adjusted, or may be obtained from a dataset (eg, ImageNet dataset, PASCAL VOC, COCO, etc.). May be fine-tuned based on the second training sample of. In some embodiments, the target network may further include one or more additional layers other than the transferred layer. The weights of the additional layers can be updated according to multiple third training samples taken from the dataset (ImageNet dataset, PASCAL VOC, COCO, etc.). In some embodiments, unlike transfer learning, the CNN trains the preliminary CNN using multiple fourth training samples taken from a dataset (eg, ImageNet dataset, PASCAL VOC, COCO, etc.). It should be understood that it may be generated directly by doing so.
530において、AI処理デバイス142(例えば、領域候補決定モジュール405)は、複数の特徴マップに基づいて複数の領域候補を決定することができる。いくつかの実施形態では、AI処理デバイス142は、領域候補ネットワーク(RPN)に従って複数の領域候補を決定することができる。図6に示されるように、RPNは、少なくとも1つの回帰層および少なくとも1つの分類層を含み得る。
In 530, the AI processing device 142 (for example, the area candidate determination module 405) can determine a plurality of area candidates based on a plurality of feature maps. In some embodiments, the
いくつかの実施形態では、AI処理デバイス142は、複数の特徴マップ上でスライディングウィンドウをスライドすることができる。スライディングウィンドウは、例えば3×3、5×5などのサイズを有する畳み込みカーネルとも呼ばれる。複数の特徴マップ上でのスライディングウィンドウのスライディングにより、複数のスライディングウィンドウ位置が決定され得る。単なる例として、スライディングウィンドウのサイズは3×3であってもよく、複数の特徴マップのサイズは40×60であってもよい。複数の特徴マップ上でパディングオペレーション(例えば、パディング=1)を実行することができる。複数の特徴マップ上でスライディングウィンドウをスライドさせると、40×60(2400)のスライディングウィンドウの位置がおおよそ決定され得る。
In some embodiments, the
各スライディングウィンドウ位置で、スライディングウィンドウは、複数の特徴マップのサブ領域と一致し得る。いくつかの実施形態では、AI処理デバイス142は、複数の特徴マップのサブ領域を多次元特徴ベクトルにマッピングすることができる。例えば、256個の特徴マップが存在する場合、256次元の特徴ベクトルがサブ領域で生成され得る。AI処理デバイス142は、510で得られた画像のピクセルにサブ領域の中心ピクセルをマッピングすることによってアンカーを生成することができる。いくつかの実施形態では、アンカーは、画像内のアンカーボックスのセット(例えば、k個のアンカーボックスを含む)に対応し得る。アンカーボックスのセットの各々は、長方形のボックスであり得る。アンカーは、アンカーボックスのセットの中心点であり得る。アンカーボックスのセットの各々は、スケールとアスペクト比に関連していてもよい。単なる例として、3つのスケール(例えば、128、256、512など)および3つのアスペクト比(例えば、1:1、1:2、2:1など)が適用される場合、アンカーボックスのセットの数は9であり得る。いくつかの実施形態では、AI処理デバイス142は、多次元特徴ベクトルおよび/またはアンカーボックスのセットを、少なくとも1つの回帰層および少なくとも1つの分類層にそれぞれ供給することができる。いくつかの実施形態では、少なくとも1つの回帰層は、境界ボックス回帰を実施して、アンカーボックスのセットに対応する予備領域候補のセットを決定するように構成され得る。少なくとも1つの回帰層の出力は、予備領域候補のセットの各々の4つの座標値を含み得る。いくつかの実施形態では、予備領域候補の4つの座標値は、予備領域候補の位置(例えば、対応するアンカーボックスのアンカーの座標(x,y))および予備領域候補のサイズ(例えば、予備領域候補の幅wと高さh)を含み得る。少なくとも1つの分類層は、予備領域候補のセットの各々のカテゴリを決定するように構成され得る。カテゴリは、前景または背景であり得る。少なくとも1つの分類層の出力は、予備領域候補のセットの各々の前景であるという第1のスコア、および背景であるという第2のスコアを含み得る。
At each sliding window position, the sliding window can match sub-regions of multiple feature maps. In some embodiments, the
上述したように、各スライディングウィンドウ位置で、(例えば、9つの)予備領域候補のセットが決定されてもよい。複数のスライディングウィンドウ位置(例えば、おおよそ40×60)があるので、複数(例えば、おおよそ20000)の予備領域候補が、複数のスライディングウィンドウ位置で決定され得る。いくつかの実施形態では、複数の予備領域候補が互いに非常に重複する場合がある。AI処理デバイス142は、複数の予備領域候補の一部を複数の領域候補として選択することができる。いくつかの実施形態では、AI処理デバイス142は、非最大抑制(NMS)を使用して複数の領域候補を選択することができる。具体的には、AI処理デバイス142は、複数の予備領域候補の各々の、前景である第1のスコア、および背景である第2のスコアならびに複数の予備領域候補の各々の4つの座標値に基づいて複数の領域候補を決定することができる。いくつかの実施形態では、AI処理デバイス142は、複数の予備領域候補の各々とグラウンドトゥルースとの間のIntersection−over−Union(IoU)を決定することができる。グラウンドトゥルースは、ターゲットオブジェクトのラベル付けされた境界ボックスであってもよい。AI処理デバイス142は、0.7より大きいIoUを有する予備領域候補をポジティブサンプルとして決定し、0.3未満のIoUを有する予備領域候補をネガティブサンプルとして決定することができる。AI処理デバイス142は、ポジティブサンプルおよびネガティブサンプル以外の予備領域候補を削除することができる。いくつかの実施形態では、AI処理デバイス142は、ポジティブサンプルおよびネガティブサンプルから複数の領域候補を選択することができる。いくつかの実施形態では、AI処理デバイス142は、ポジティブサンプルの各々の、前景であるという第1のスコアに基づいてポジティブサンプルをランク付けし、ランク付けされたポジティブサンプルに基づいて複数のポジティブサンプルを選択することができる。AI処理デバイス142は、ネガティブサンプルの各々の、背景であるという第2のスコアに基づいてネガティブサンプルをランク付けし、ランク付けされたネガティブサンプルに基づいて複数のネガティブサンプルを選択することができる。選択されたポジティブサンプルおよび選択された
ネガティブサンプルは、複数の領域候補を構成することができる。いくつかの実施形態では、AI処理デバイス142は、300の領域候補を選択することができる。選択されたポジティブサンプルの数は、選択されたネガティブサンプルの数と同じであっても異なっていてもよい。いくつかの実施形態では、非最大抑制(NMS)を使用して領域候補を選択する前に、AI処理デバイス142は、まず、画像の境界を越える予備領域候補(境界横断予備領域候補(cross−boundary preliminary region proposal)とも呼ばれる)を削除することができる。
As mentioned above, each sliding window position may determine a set of (eg, nine) reserve region candidates. Since there are multiple sliding window positions (eg, approximately 40x60), multiple (eg, approximately 20000) spare area candidates can be determined at multiple sliding window positions. In some embodiments, multiple reserve region candidates may overlap each other very much. The
540において、AI処理デバイス142(例えば、プーリング領域候補決定モジュール407)は、複数の領域候補および複数の特徴マップに基づいて、複数のプーリング領域候補を決定することができる。いくつかの実施形態では、AI処理デバイス142は、複数の領域候補を複数の特徴マップにマッピングして、複数の候補特徴マップ(関心領域(ROI)とも呼ばれる)を決定することができる。いくつかの実施形態では、複数の候補特徴マップ(またはROI)は、さらなる処理のために分類器に入力される。分類器は、標準サイズ(例えば、7×7)の候補特徴マップのみを受け入れることができる。したがって、AI処理デバイス142は、複数の候補特徴マップを標準サイズにサイズ変更してもよい。AI処理デバイス142は、複数の候補特徴マップ(またはROI)に対してプーリングを実行することにより、複数のプーリング領域候補を決定することができる。いくつかの実施形態では、プーリングは、最大プーリング、平均プーリングなどを含み得る。いくつかの実施形態では、複数のプーリング領域候補は、標準サイズ(例えば、7×7)に対応し得、さらなる処理のために分類器に入力され得る。例えば、プーリング領域候補は、分類器の全結合層に送信される固定長のベクトルとして決定され得る。
In the 540, the AI processing device 142 (for example, the pooling area candidate determination module 407) can determine a plurality of pooling area candidates based on the plurality of area candidates and the plurality of feature maps. In some embodiments, the
550において、AI処理デバイス142(例えば、分類モジュール409)は、分類器によって、複数のプーリング領域候補を1つ以上のオブジェクトカテゴリまたは背景カテゴリに分類することができる。いくつかの実施形態では、分類器は、サポートベクトルマシン(SVM)分類器、Bayer分類器、決定木分類器、ソフトマックス分類器など、またはそれらの任意の組み合わせを含み得る。 At the 550, the AI processing device 142 (eg, classification module 409) can classify a plurality of pooling area candidates into one or more object categories or background categories by means of a classifier. In some embodiments, the classifier may include a Support Vector Machine (SVM) classifier, a Bayer classifier, a decision tree classifier, a Softmax classifier, or any combination thereof.
いくつかの実施形態では、1つ以上のプーリング領域候補が、背景カテゴリに分類され得る。例えば、オペレーション530に関連して説明されたように、領域候補は、複数のポジティブサンプルおよび複数のネガティブサンプルを含み得る。同様に、プーリング領域候補は、複数のポジティブサンプルおよび複数のネガティブサンプルに対応する場合がある。いくつかの実施形態では、プーリング領域候補における複数のネガティブサンプルは、背景カテゴリに分類され得る。プーリング領域候補が背景カテゴリと決定された場合、プーリング領域候補は省略され、さらなる処理が行われない場合がある。
In some embodiments, one or more pooling region candidates may be classified into background categories. For example, as described in connection with
いくつかの実施形態では、ポジティブサンプルに対応するプーリング領域候補は、1つ以上のオブジェクトカテゴリのうちの1つに分類され得る。1つ以上のオブジェクトカテゴリは、AI画像処理システム100のデフォルト設定であり得、および/またはユーザによって調整され得る。1つ以上のオブジェクトカテゴリは、ターゲットオブジェクトのカテゴリを含み得る。複数のプーリング領域候補は、ターゲットオブジェクトに対応する1つ以上のプーリング領域候補を含み得る。AI処理デバイス142は、複数のプーリング領域候補からターゲットオブジェクトに対応する1つ以上のプーリング領域候補を選択することができる。
In some embodiments, the pooling region candidates corresponding to the positive sample can be classified into one of one or more object categories. One or more object categories can be the default settings of the AI image processing system 100 and / or can be adjusted by the user. One or more object categories can include categories of target objects. Multiple pooling area candidates may include one or more pooling area candidates corresponding to the target object. The
560において、AI処理デバイス142(例えば、境界決定モジュール411)は、1つ以上のプーリング領域候補のうちの少なくとも1つに基づいて、画像内のターゲットオブジェクトのターゲット境界を決定することができる。いくつかの実施形態では、ターゲット境界は、例えば四辺形のボックスなどの多角形のボックスであってもよい。 At the 560, the AI processing device 142 (eg, the boundary determination module 411) can determine the target boundary of the target object in the image based on at least one of one or more pooling area candidates. In some embodiments, the target boundary may be a polygonal box, for example a quadrilateral box.
いくつかの実施形態では、1つ以上のプーリング領域候補の各々は、複数の隅(例えば、4つの隅、5つの隅、8つの隅など)を有することができる。プーリング領域候補の場合、AI処理デバイス142は、対応する隅の位置に従って、複数の隅の各隅について複数のクロッピング戦略を決定することができる。単なる例として、AI処理デバイス142は、複数の隅の各々について5つのクロッピング戦略を決定することができる。いくつかの実施形態では、各隅について、AI処理デバイス142は、プーリング領域候補に基づいて、複数(例えば5つ)のクロッピング戦略のうちの1つを隅の所望のクロッピング戦略として決定することができる。単なる例として、AI処理デバイス142は、プーリング領域候補に基づいて、各隅のクロッピング方向およびクロッピング長さを決定することができる。ある隅のクロッピング方向は、その隅の複数のクロッピング戦略の1つに限定してもよい。いくつかの実施形態では、AI処理デバイス142は、例えば、クロッピング方向およびクロッピング長さに基づいて、所望のクロッピング戦略に従って複数の隅の各々をクロッピングすることにより、プーリング領域候補をトリミングすることができる。いくつかの実施形態では、各隅の複数のクロッピング戦略は、偽値(false)のクロッピング戦略および/またはターゲット位置のクロッピング戦略を含み得る。隅の偽値のクロッピング戦略は、隅がターゲットオブジェクト内のポイントに対応し得ることを示すことができる。隅のターゲット位置のクロッピング戦略は、隅がターゲットオブジェクトの境界ポイントに対応し得ることを示すことができる。隅のクロッピング方向が偽値のクロッピング戦略に対応する場合、AI処理デバイス142は、隅のクロッピングを停止して、プーリング領域候補を放棄することができる。隅のクロッピング方向がターゲット位置のクロッピング戦略に対応する場合、AI処理デバイス142は、隅のクロッピングを停止することができる。各隅のクロッピング方向がターゲット位置のクロッピング戦略に対応する場合、AI処理デバイス142は、クロッピングされた複数の隅に基づいてトリミングされたプーリング領域候補に対する境界を識別し、その境界を画像にマッピングしてターゲットオブジェクトの境界を決定することができる。境界の決定に関する詳細
は、本開示の他の箇所(例えば、図7およびその説明)で見られる。
In some embodiments, each of the one or more pooling region candidates can have multiple corners (eg, 4 corners, 5 corners, 8 corners, etc.). For pooling area candidates, the
いくつかの実施形態では、AI処理デバイス142は、1つ以上のプーリング領域候補に基づいて、ターゲットオブジェクトに対応する1つ以上の境界を決定することができる。1つ以上の境界の各々は、プロセス700に従って決定されてもよく、その説明は本明細書では繰り返されない。AI処理デバイス142は、1つ以上の境界の各々とグラウンドトゥルースとの間のIoUを決定することができる。いくつかの実施形態では、グラウンドトゥルースは、ターゲットオブジェクトのラベル付けされた境界ボックスを示し得る。境界とグラウンドトゥルースとの間のIoUは、境界とグラウンドトゥルースとの重なりの度合いを反映し得る。AI処理デバイス142は、1つ以上の境界に関連する1つ以上の決定されたIoUを比較し、最大のIoUを有する境界を、ターゲットオブジェクトに対応するターゲット境界として決定することができる。
In some embodiments, the
本開示では、プーリング領域候補の場合、プーリング領域候補の各隅は、対応する隅に関連する情報を考慮したそのクロッピング戦略の1つに従ってクロッピングされ得る。加えて、プーリング領域候補の特徴を考慮したプーリング領域候補に基づいて、プーリング領域候補の各隅のクロッピング方向および/またはクロッピング長さを決定することができる。したがって、本開示で開示されるプロセスに従って決定されたターゲットオブジェクトの境界は、ターゲットオブジェクト、特に、傾斜したターゲットオブジェクトにより適しており、ターゲットオブジェクトの検出および/または位置特定の精度を向上させることができる。本開示で開示されるように、ターゲットオブジェクトについて、1つ以上の境界が決定され得る。1つ以上の境界の中で最大のIoUを有する境界が、ターゲット境界として決定され得る。すなわち、グラウンドトゥルースとの重なりの度合いが最も大きい境界をターゲット境界として決定することができ、これにより、ターゲットオブジェクトの検出および/または位置特定の精度をさらに向上させることができる。 In the present disclosure, in the case of a pooling region candidate, each corner of the pooling region candidate can be cropped according to one of its cropping strategies that takes into account the information associated with the corresponding corner. In addition, the cropping direction and / or the cropping length of each corner of the pooling region candidate can be determined based on the pooling region candidate considering the characteristics of the pooling region candidate. Therefore, the boundaries of the target object determined according to the process disclosed in the present disclosure are better suited for the target object, especially the tilted target object, which can improve the accuracy of target object detection and / or positioning. .. As disclosed in this disclosure, one or more boundaries may be determined for the target object. The boundary with the highest IoU of one or more boundaries can be determined as the target boundary. That is, the boundary having the largest degree of overlap with the ground truth can be determined as the target boundary, which can further improve the accuracy of detecting and / or locating the target object.
プロセス500に関する上記の説明は単に例示の目的で提供されており、本開示の範囲を限定することを意図していないことに留意されたい。当業者であれば、本開示の教示の下で複数の変更および修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱するものではない。いくつかの実施形態では、560において、AI処理デバイス142は、ターゲットオブジェクトに対応する複数の境界を決定する必要がない場合がある。AI処理デバイス142がターゲットオブジェクトの境界を決定すると、AI処理デバイス142は、境界をターゲット境界として決定することができ、オペレーション560は終了することができる。いくつかの実施形態では、プロセス500に従って、画像内の1つ以上のターゲットオブジェクト(例えば、すべてのオブジェクト)の境界が同時に決定され得る。いくつかの実施形態では、プロセス500を繰り返して、複数の異なる画像内のターゲットオブジェクトの境界を決定することができる。
It should be noted that the above description of
図6は、本開示のいくつかの実施形態による例示的な領域候補ネットワーク(RPN)を示す概略図である。図6に示すように、RPNはスライディングウィンドウを導入する。スライディングウィンドウは、複数の特徴マップ上をスライドするように構成されている。図6に示すように、スライディングウィンドウは、特定のスライディングウィンドウ位置での複数の特徴マップのサブ領域と一致する。スライディングウィンドウのサイズは3×3である。サブ領域は、多次元の特徴ベクトル、例えば中間層に示される256次元(256−d)の特徴ベクトルにマッピングされる。加えて、サブ領域の中心ピクセルOが画像のピクセルにマッピングされ、アンカーO’が生成される。アンカーボックスのセット(k個のアンカーボックスなど)は、アンカーO’に基づいて決定される。アンカーボックスのセットの各々は長方形のボックスであり、アンカーO’はアンカーボックスのセットの中心点である。いくつかの実施形態では、3つのスケールおよび3つのアスペクト比があり得、9つのアンカーボックスが画像上で決定され得る。 FIG. 6 is a schematic diagram showing an exemplary region candidate network (RPN) according to some embodiments of the present disclosure. As shown in Figure 6, RPN introduces a sliding window. The sliding window is configured to slide over multiple feature maps. As shown in FIG. 6, the sliding window coincides with multiple feature map sub-regions at a particular sliding window position. The size of the sliding window is 3x3. The subregion is mapped to a multidimensional feature vector, eg, a 256-dimensional (256-d) feature vector shown in the intermediate layer. In addition, the center pixel O of the subregion is mapped to the pixels of the image and an anchor O'is generated. The set of anchor boxes (such as k anchor boxes) is determined based on the anchor O'. Each set of anchor boxes is a rectangular box, and anchor O'is the center point of the set of anchor boxes. In some embodiments, there can be 3 scales and 3 aspect ratios, and 9 anchor boxes can be determined on the image.
図6に示されるように、RPNは、(reg層として示される)回帰層および(cls層として示される)分類層を含む。回帰層は、境界ボックス回帰を実施して、アンカーボックスに対応する予備領域候補を決定するように構成され得る。分類層は、予備領域候補のカテゴリを決定するように構成され得る。図示されるように、多次元特徴ベクトル(すなわち、256−d特徴ベクトル)および/またはアンカーボックスのセット(すなわち、k個のアンカーボックス)は、それぞれ回帰層および分類層に供給される。回帰層の出力は、予備領域候補のセットの各々の4つの座標値(4つの座標とも呼ばれる)を含む。予備領域候補の4つの座標値は、予備領域候補の位置(例えば、対応するアンカーボックスのアンカーの座標(x,y))と予備領域候補のサイズ(例えば、予備領域候補の幅wおよび高さh)を含み得る。分類層の出力は、前景であるという第1のスコアと背景であるという第2のスコアを含む、予備領域候補の各セットの2つのスコアを含む。 As shown in FIG. 6, the RPN includes a regression layer (shown as the reg layer) and a classification layer (shown as the cls layer). The regression layer may be configured to perform boundary box regression to determine the reserve region candidates corresponding to the anchor box. The classification layer may be configured to determine the category of reserve area candidates. As shown, a multidimensional feature vector (ie, 256-d feature vector) and / or a set of anchor boxes (ie, k anchor boxes) are fed to the regression layer and the classification layer, respectively. The output of the regression layer contains four coordinate values (also called four coordinates) for each of the set of reserve region candidates. The four coordinate values of the spare area candidate are the position of the spare area candidate (eg, the coordinates of the anchors of the corresponding anchor box (x, y)) and the size of the spare area candidate (eg, the width w and height of the spare area candidate). h) may be included. The output of the classification layer contains two scores for each set of reserve region candidates, including a first score for the foreground and a second score for the background.
上記のように、一連の予備領域候補が特定のスライディングウィンドウ位置で決定される。複数の特徴マップ上でのスライディングウィンドウのスライディングにより、複数の予備領域候補が複数のスライディングウィンドウ位置で決定され得る。いくつかの実施形態では、RPNは、さらなる処理のための領域候補として、複数の予備領域候補の一部を選択することができる。領域候補の選択に関するさらなる説明は、本開示の他の箇所(例えば、プロセス500のオペレーション530およびその関連する説明)で見られる。
As described above, a series of spare area candidates is determined at a particular sliding window position. By sliding a sliding window on a plurality of feature maps, a plurality of spare area candidates can be determined at a plurality of sliding window positions. In some embodiments, the RPN can select some of the plurality of reserve region candidates as region candidates for further processing. Further discussion of region candidate selection can be found elsewhere in the disclosure (eg,
図7は、本開示のいくつかの実施形態による、プーリング領域候補に基づいてターゲットオブジェクトの境界を決定するための例示的なプロセス700を示すフローチャートである。例示のみを目的として、AI処理デバイス142は、プロセス700を実行する対象として説明され得る。しかしながら、当業者は、プロセス700が他のエンティティによって実行されてもよいことを理解されよう。例えば、当業者は、プロセス700の少なくとも一部が、図2に示されるようなコンピューティングデバイス200または図3に示されるようなモバイルデバイス300上で実装されてもよいことを理解されよう。いくつかの実施形態では、プロセス700の1つ以上のオペレーションは、図1に示されているように、AI画像処理システム100で実施され得る。いくつかの実施形態では、プロセス700の1つ以上のオペレーションは、命令の形式として記憶デバイス150および/またはストレージ(例えば、ROM230、RAM240など)に格納され、呼び出され、および/またはサーバ140(例えば、サーバ140のAI処理デバイス142、またはサーバ140のAI処理デバイス142のプロセッサ220)によって実行され得る。いくつかの実施形態では、命令は、電子電流または電気信号の形で送信されてもよい。いくつかの実施形態では、プロセス500のオペレーション560の一部は、プロセス700に従って実行されてもよい。
FIG. 7 is a flow chart illustrating an
いくつかの実施形態では、プーリング領域候補は、複数の隅を有し得る。710において、AI処理デバイス142(例えば、境界決定モジュール411)は、複数の隅の各々の位置に従って、プーリング領域候補の複数の隅の各々について複数のクロッピング戦略を決定することができる。 In some embodiments, the pooling region candidate may have multiple corners. In the 710, the AI processing device 142 (eg, the boundary determination module 411) can determine a plurality of cropping strategies for each of the plurality of corners of the pooling region candidate according to the respective positions of the plurality of corners.
いくつかの実施形態では、隅の位置は、他の隅の位置に対する隅の位置を指すことができる。特定の実施形態では、プーリング領域候補は、長方形のボックスであり得、四隅を含み得る。四隅は、左上隅、右上隅、左下隅、および右下隅を含み得る。AI処理デバイス142は、四隅の各々の位置に基づいて、四隅の各々について複数のクロッピング戦略を決定することができる。具体的には、AI処理デバイス142は、左上隅のための複数のクロッピング戦略を決定することができる。左上隅の複数のクロッピング戦略は、右へのクロッピング、下へのクロッピング、右下へのクロッピング、ターゲット位置、偽値など、またはそれらの任意の組み合わせを含み得る。AI処理デバイス142は、右上隅のための複数のクロッピング戦略を決定することができる。右上隅の複数のクロッピング戦略は、左へのクロッピング、下へのクロッピング、左下へのクロッピング、ターゲット位置、偽値など、またはそれらの任意の組み合わせを含み得る。AI処理デバイス142は、左下隅のための複数のクロッピング戦略を決定することができる。左下隅の複数のクロッピング戦略は、右へのクロッピング、上へのクロッピング、右上へのクロッピング、ターゲット位置、または偽値を含み得る。AI処理デバイス142は、右下隅のための複数のクロッピング戦略を決定することができる。右下隅の複数のクロッピング戦略は、左へのクロッピング、上へのクロッピング、左上へのクロッピング、ターゲット位置、偽値など、またはそれらの任意の組み合わせを含み得る。上記から分かるように、各隅の複数のクロッピング戦略は、偽値のクロッピング戦略および/またはターゲット位置のクロッピング戦略を含み得る。隅の偽値のクロッピング戦略は、隅がターゲットオブジェクト内のポイントに対応し得ることを示すことができる。隅のターゲット位置のクロッピング戦略は、隅がターゲットオブジェクトの境界ポイントに対応し得ることを示すことができる。各隅のクロッピング戦略および隅の数は、単に例示の目的で提供されており、本開示の範囲を限定することを意図していないことに留意されたい。
In some embodiments, the corner position can refer to the corner position relative to the other corner position. In certain embodiments, the pooling region candidate can be a rectangular box and can include four corners. The four corners may include an upper left corner, an upper right corner, a lower left corner, and a lower right corner. The
720において、AI処理デバイス142(例えば、境界決定モジュール411)は、プーリング領域候補に基づいて、複数のクロッピング戦略から複数の隅の各々のクロッピング戦略を決定することができる。いくつかの実施形態では、AI処理デバイス142は、プーリング領域候補に基づいて、各隅のクロッピング方向およびクロッピング長さを決定することができる。例えば、AI処理デバイス142は、プーリング領域候補におけるピクセル(例えば、ターゲットオブジェクトを表すピクセル、背景を表すピクセル)の特徴を分析し、分析結果に基づいてクロッピング方向および/またはクロッピング長さを決定することができる。クロッピング方向は、複数のクロッピング戦略の1つに制限され得る。クロッピング長さは、数ピクセルの長さ、例えば、0〜10ピクセルを含む長さであり得る。
At 720, the AI processing device 142 (eg, the boundary determination module 411) can determine each cropping strategy of the plurality of corners from the plurality of cropping strategies based on the pooling area candidate. In some embodiments, the
730において、AI処理デバイス142(例えば、境界決定モジュール411)は、複数の隅のうちの1つが偽値のクロッピング戦略に対応するか否かを決定することができる。いくつかの実施形態では、決定された隅のクロッピング方向が偽値のクロッピング戦略に対応する場合、隅はターゲットオブジェクト内のポイントに対応することができる。つまり、プーリング領域候補には、ターゲットオブジェクト全体が含まれていない。決定された隅のクロッピング方向がターゲット位置のクロッピング戦略に対応している場合、隅はターゲットオブジェクトの境界ポイントに対応することができる。それ以外の場合、決定された隅のクロッピング方向が偽値のクロッピング戦略とターゲット位置のクロッピング戦略以外の他のクロッピング戦略に対応している場合、隅はオブジェクトからの距離を有するポイントに対応することができる。複数の隅の少なくとも1つが偽値のクロッピング戦略に対応するという決定に応じて、AI処理デバイス142は、オペレーション740に進むことができる。複数の隅の各々が偽値のクロッピング戦略に対応しないという決定に応じて、AI処理デバイス142は、オペレーション750に進むことができる。
At the 730, the AI processing device 142 (eg, the demarcation module 411) can determine whether one of the corners corresponds to a false cropping strategy. In some embodiments, the corner can correspond to a point in the target object if the determined corner cropping direction corresponds to a false cropping strategy. That is, the pooling area candidates do not include the entire target object. If the determined corner cropping direction corresponds to the target position cropping strategy, the corner can correspond to the boundary point of the target object. Otherwise, if the determined corner cropping direction corresponds to a false cropping strategy and other cropping strategies other than the target position cropping strategy, the corner corresponds to a point that has a distance from the object. Can be done. The
740において、AI処理デバイス142(例えば、境界決定モジュール411)は、プーリング領域候補を放棄することができる。プーリング領域候補にはターゲットオブジェクト全体が含まれないため、プーリング領域候補に基づいてターゲットオブジェクトの境界を決定することはできない。したがって、AI処理デバイス142は、プーリング領域候補を放棄することができる。
At 740, AI processing device 142 (eg, boundary determination module 411) can abandon pooling region candidates. Since the pooling area candidate does not include the entire target object, it is not possible to determine the boundary of the target object based on the pooling area candidate. Therefore, the
750において、AI処理デバイス142(例えば、境界決定モジュール411)は、複数の隅の各々がターゲット位置のクロッピング戦略に対応するか否かを決定することができる。複数の隅の少なくとも1つがターゲット位置のクロッピング戦略に対応しないという決定に応じて、AI処理デバイス142は、オペレーション760に進むことができる。
At the 750, the AI processing device 142 (eg, the boundary determination module 411) can determine whether each of the plurality of corners corresponds to the cropping strategy of the target position. The
760において、AI処理デバイス142(例えば、境界決定モジュール411)は、少なくとも1つの隅の決定されたクロッピング戦略に従って少なくとも1つの隅をクロッピングすることによってプーリング領域候補をトリミングすることができる。すなわち、隅がターゲット位置のクロッピング戦略および偽値のクロッピング戦略に対応しない場合、AI処理デバイス142は、720で決定された隅のクロッピング戦略に基づいて隅をクロッピングすることができる。少なくとも1つの隅がクロッピング戦略に従ってクロッピングされると、トリミングされたプーリング領域候補が決定され得る。
At 760, AI processing device 142 (eg, boundary determination module 411) can trim pooling region candidates by cropping at least one corner according to a determined cropping strategy for at least one corner. That is, if the corner does not correspond to the target position cropping strategy and the false value cropping strategy, the
単なる例として、プーリング領域候補の右上隅について、決定されたクロッピング方向が左へのクロッピングのクロッピング戦略に対応する場合、AI処理デバイス142は、右上隅を左に向かってクロッピングして、右上隅の位置を更新することができる。別の例として、プーリング領域候補の左上隅について、決定されたクロッピング方向が右へのクロッピングのクロッピング戦略に対応する場合、AI処理デバイス142は、左上隅を右に向かってクロッピングして、右上隅の位置を更新することができる。さらなる例として、プーリング領域候補の左下隅について、決定されたクロッピング方向が右上へのクロッピングのクロッピング戦略に対応する場合、AI処理デバイス142は、左下隅を右上に向かってクロッピングして、左下隅の位置を更新することができる。
As a mere example, for the upper right corner of the pooling area candidate, if the determined cropping direction corresponds to the cropping strategy of left cropping, the
770において、AI処理デバイス142(例えば、境界決定モジュール411)は、長方形のボックスを決定するために、クロッピングされた複数の隅に基づいて境界マッピングを実行することができる。特定の実施形態では、上述のように、プーリング領域候補は、長方形のボックスであり得、四隅を含み得る。隅ごとに異なるクロッピング戦略が適用されるため、トリミングされたプーリング領域候補は、長方形のボックス以外の四辺形のボックスになり得る。いくつかの実施形態では、上記のクロッピング戦略は、(トリミングされた)プーリング領域候補が長方形のボックスである場合にのみ使用できる。したがって、AI処理デバイス142は、トリミングされたプーリング領域候補に対して境界マッピングを実行することができる。具体的には、AI処理デバイス142は、四隅に基づいて2つの対角線を決定し、より長い対角線をターゲット対角線として決定することができる。AI処理デバイス142は、ターゲット対角線に基づいて長方形のボックスを決定することができる。
In the 770, the AI processing device 142 (eg, the boundary determination module 411) can perform boundary mapping based on a plurality of cropped corners to determine a rectangular box. In certain embodiments, as mentioned above, the pooling region candidate can be a rectangular box and can include four corners. Because different cropping strategies are applied to each corner, the trimmed pooling area candidate can be a quadrilateral box other than a rectangular box. In some embodiments, the cropping strategy described above can only be used if the (trimmed) pooling area candidate is a rectangular box. Therefore, the
780において、AI処理デバイス142(例えば、境界決定モジュール411)は、更新されたプーリング領域候補を決定するために、長方形のボックスを標準サイズにサイズ変更する。いくつかの実施形態では、AI処理デバイス142は、更新されたプーリング領域候補を決定するために、プーリングを実行することによって長方形のボックスをサイズ変更することができる。更新されたプーリング領域候補は、標準サイズであり、分類器によって受け入れられてもよい。更新されたプーリング領域候補が決定された後、AI処理デバイス142は、オペレーション720から780に進み、次の反復を開始することができる。オペレーション720から770の説明は、本開示の他の箇所で見られ、その説明は繰り返されない。AI処理デバイス142は、複数の隅の各々がターゲット位置のクロッピング戦略に対応するまで、オペレーション720から780を繰り返すことができる。
In the 780, the AI processing device 142 (eg, the boundary determination module 411) resizes the rectangular box to a standard size to determine the updated pooling area candidates. In some embodiments, the
730において、複数の隅の各々が偽値のクロッピング戦略に対応しないという決定に応じて、AI処理デバイス142は、オペレーション750に進むことができる。750において、AI処理デバイス142は、複数の隅の各々がターゲット位置のクロッピング戦略に対応するか否かを決定することができる。複数の隅の各々がターゲット位置のクロッピング戦略に対応するという決定に応じて、AI処理デバイス142は、複数の隅のクロッピングを停止することができる。AI処理デバイス142は、オペレーション790に進むことができる。
At 730, the
790において、AI処理デバイス142(例えば、境界決定モジュール411)は、クロッピングされた複数の隅に基づいて、トリミングされたプーリング領域候補に対する境界を識別することができる。特定の実施形態では、(トリミングされた)プーリング領域候補は、四隅を含み得る。AI処理デバイス142は、四隅を接続して、特徴マップ上の境界を決定することができる。
In the 790, the AI processing device 142 (eg, the boundary determination module 411) can identify the boundary for the trimmed pooling area candidate based on the cropped corners. In certain embodiments, the (trimmed) pooling region candidate may include four corners. The
795において、AI処理デバイス142(例えば、境界決定モジュール411)は、ターゲットオブジェクトの境界を決定するために、画像に境界をマッピングすることができる。いくつかの実施形態では、ターゲットオブジェクトの境界は四辺形のボックスであり得る。 At 795, the AI processing device 142 (eg, the boundary determination module 411) can map the boundary to the image to determine the boundary of the target object. In some embodiments, the boundaries of the target object can be a quadrilateral box.
本開示では、プーリング領域候補の各隅について、対応する隅の位置に基づいて複数のクロッピング戦略を決定することができる。さらに、各隅のクロッピング方向および/またはクロッピング長さは、プーリング領域候補におけるピクセルの特徴に基づいて決定され得る。つまり、隅をクロッピングするために、隅の位置および/またはプーリング領域候補の特徴が考慮されている。したがって、本開示で開示されるプロセスに従って決定されたターゲットオブジェクトの境界は、ターゲットオブジェクト、特に、傾斜したターゲットオブジェクトにより適しており、ターゲットオブジェクトの検出および/または位置特定の精度を向上させることができる。例えば、図9Cに示されるように、傾斜したターゲットオブジェクト(例えば、傾斜した文字)の場合、本開示は、傾斜したターゲットオブジェクトに適切な境界を提供し、傾斜したターゲットオブジェクトの検出および/または位置特定の精度をさらに改善し得る。 In the present disclosure, for each corner of the pooling region candidate, a plurality of cropping strategies can be determined based on the position of the corresponding corner. Further, the cropping direction and / or cropping length of each corner can be determined based on the characteristics of the pixels in the pooling area candidate. That is, in order to crop the corner, the position of the corner and / or the characteristics of the pooling area candidate are taken into consideration. Therefore, the boundaries of the target object determined according to the process disclosed in the present disclosure are better suited for the target object, especially the tilted target object, which can improve the accuracy of target object detection and / or positioning. .. For example, in the case of a tilted target object (eg, tilted text), as shown in FIG. 9C, the present disclosure provides a suitable boundary for the tilted target object to detect and / or position the tilted target object. Certain accuracy can be further improved.
プロセス700に関する上記の説明は単に例示の目的で提供されており、本開示の範囲を限定することを意図していないことに留意されたい。当業者であれば、本開示の教示の下で複数の変更および修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱するものではない。例えば、オペレーション730および750は同時に実行されてもよい。別の例として、オペレーション750は、オペレーション730の前に実行されてもよい。いくつかの実施形態では、AI処理デバイス142は、プロセス700を繰り返して、ターゲットオブジェクトに対応する1つ以上の境界を決定することができる。
It should be noted that the above description of
図8は、本開示のいくつかの実施形態による、ターゲットオブジェクトの境界を決定するための例示的なプロセスを示す概略図である。図8に示すように、畳み込みニューラルネットワーク(CNN)に画像が入力される。いくつかの実施形態では、画像は、1つ以上のターゲットオブジェクト(例えば、検出されるオブジェクト)を含み得る。いくつかの実施形態では、CNNは、ZFモデル、VGG−16、RestNet 50などに基づいて生成されてもよい。いくつかの実施形態では、CNNは、1つ以上の畳み込み層、1つ以上のプーリング層を含み、全結合層がなくてもよい。画像をCNNに入力することにより、複数の特徴マップを生成することができる。複数の特徴マップは、画像の特徴情報を含み得る。特徴マップの生成に関する詳細は、本開示の他の箇所(例えば、オペレーション510および520、ならびにそれらの説明)で見られる。
FIG. 8 is a schematic diagram illustrating an exemplary process for determining the boundaries of a target object, according to some embodiments of the present disclosure. As shown in FIG. 8, the image is input to the convolutional neural network (CNN). In some embodiments, the image may include one or more target objects (eg, objects to be detected). In some embodiments, the CNN may be generated based on the ZF model, VGG-16, RestNet 50, and the like. In some embodiments, the CNN comprises one or more convolutional layers, one or more pooling layers, and may be free of fully connected layers. Multiple feature maps can be generated by inputting images into the CNN. The plurality of feature maps may include feature information of the image. Details regarding the generation of feature maps can be found elsewhere in the disclosure (eg,
図8に示すように、複数の特徴マップは、領域候補ネットワーク(RPN)に入力され得る。RPNでは、スライディングウィンドウが複数の特徴マップ上をスライドすることができる。複数の特徴マップ上でのスライディングウィンドウのスライディングにより、複数のスライディングウィンドウ位置が決定され得る。各スライディングウィンドウ位置で、多次元特徴ベクトル(例えば、256次元特徴ベクトル)が生成されてもよく、および/または画像内のアンカーが決定されてもよい。アンカーは、アンカーボックスのセットに対応することができ、各々のアンカーボックスは、スケールおよびアスペクト比に関連付けられ得る。図8に示すように、RPNは、少なくとも1つの回帰層と少なくとも1つの分類層を含む。多次元特徴ベクトルおよび/またはアンカーボックスのセットは、少なくとも1つの回帰層および少なくとも1つの分類層に供給される。少なくとも1つの回帰層の出力は、予備領域候補のセットの各々の4つの座標値を含み得る。少なくとも1つの分類層の出力は、予備領域候補のセットの各々の前景であるという第1のスコア、および背景であるという第2のスコアを含み得る。同様に、複数のスライディングウィンドウで、複数の予備領域候補が決定され得る。いくつかの実施形態では、複数の予備領域候補の一部が、複数の領域候補として選択され得る。複数の領域候補は、ポジティブサンプル(例えば、前景)およびネガティブサンプル(例えば、背景)を含み得る。複数の領域候補をさらに処理することができる。領域候補の決定に関する詳細は、本開示の他の箇所(例えば、プロセス500のオペレーション530)で見られる。
As shown in FIG. 8, a plurality of feature maps can be input to the region candidate network (RPN). RPN allows sliding windows to slide over multiple feature maps. Sliding window sliding on multiple feature maps can determine multiple sliding window positions. At each sliding window position, a multidimensional feature vector (eg, a 256-dimensional feature vector) may be generated and / or an anchor in the image may be determined. Anchors can correspond to a set of anchor boxes, and each anchor box can be associated with scale and aspect ratio. As shown in FIG. 8, the RPN contains at least one regression layer and at least one classification layer. A set of multidimensional feature vectors and / or anchor boxes is fed to at least one regression layer and at least one classification layer. The output of at least one regression layer may contain four coordinate values for each of the set of preliminary region candidates. The output of at least one classification layer may include a first score of being the foreground and a second score of being the background for each set of reserve region candidates. Similarly, multiple sliding windows may determine multiple reserve region candidates. In some embodiments, some of the plurality of reserve region candidates may be selected as the plurality of region candidates. Multiple region candidates may include a positive sample (eg, foreground) and a negative sample (eg, background). Multiple region candidates can be further processed. Details regarding the determination of region candidates can be found elsewhere in this disclosure (eg,
図8に示すように、ROIプーリングオペレーションは、複数の特徴マップおよび複数の領域候補に基づいて実行される。具体的には、複数の領域候補を複数の特徴マップにマッピングして、複数の候補特徴マップ(ROIとも呼ばれる)を決定することができる。複数のROIは、複数のROIに対してプーリングを実行することにより、標準サイズ(例えば、7×7)にサイズ変更され得る。次に、複数のプーリング領域候補を決定することができる。複数のプーリング領域候補は、さらに処理するために分類器に入れることができる。 As shown in Figure 8, the ROI pooling operation is performed based on multiple feature maps and multiple region candidates. Specifically, a plurality of candidate feature maps (also referred to as ROI) can be determined by mapping a plurality of region candidates to a plurality of feature maps. Multiple ROIs can be resized to a standard size (eg, 7x7) by performing pooling on the multiple ROIs. Next, a plurality of pooling area candidates can be determined. Multiple pooling region candidates can be placed in a classifier for further processing.
複数のプーリング領域候補は、分類器によって、1つ以上のオブジェクトカテゴリ(例えば、K個のカテゴリ)または背景カテゴリに分類され得る。プーリング領域候補が背景カテゴリとして決定された場合、プーリング領域候補は省略および/または削除され得る。複数のプーリング領域候補は、ターゲットオブジェクトに対応する1つ以上のプーリング領域候補を含み得る。プーリング領域候補の場合、画像内のターゲットオブジェクトの境界は、プーリング領域候補に基づいて決定され得る。ターゲットオブジェクトの境界を決定するために、プーリング領域候補が1回以上トリミングされ得る。いくつかの実施形態では、プーリング領域候補は、複数の隅を含み得る。図8に示すように、プーリング領域候補は、四隅、すなわち、左上(TL)隅、右上(TR)隅、左下(BL)隅、および右下(BR)隅を含む。四隅の各々には5つのクロッピング戦略が含まれている。具体的には、左上隅の5つの戦略は、右へのクロッピング(→)、右下へのクロッピング(右下矢印)、下へのクロッピング(↓)、ターゲット位置(T)、および偽値(F)を含む。右上隅の5つの戦略は、左へのクロッピング(←)、左下へのクロッピング(左下矢印)、下へのクロッピング(↓)、ターゲット位置(T)、および偽値(F)を含む。左下隅の5つの戦略は、右へのクロッピング(→)、右上へのクロッピング(右上矢印)、上へのクロッピング(↑)、ターゲット位置(T)、および偽値(F)を含む。右下隅の5つの戦略は、左へのクロッピング(←)、左上へのクロッピング(左上矢印)、上へのクロッピング(↑)、ターゲット位置(T)、および偽値(F)を含む。四隅の各々のクロッピング戦略は、プーリング領域候補のピクセルの特徴に基づいて決定され得る。四隅のいずれかが偽値のクロッピング戦略に対応するか否かを決定することができる。四隅の少なくとも1つが偽値のクロッピング戦略に対応している場合、ターゲットオブジェクト全体を含まないプーリング領域候補であると決定される場合があり、プーリング領域候補が放棄または拒否され得る。四隅の各々が偽値のクロッピング戦略に対応しない場合、四隅の各々がターゲット位置のクロッピング戦略に対応するか否かを決定することができる。ある隅がターゲット位置のクロッピング戦略に対応していない場合、決定されたクロッピング戦略に基づいてこの隅をクロッピングすることができる。各隅がその隅のクロッピング戦略に従ってクロッピングされると、トリミングされたプーリング領域候補が決定される。長方形のボックスを決定するために、クロッピングされた四隅に基づいて境界マッピングを実行できる。長方形のボックスは標準サイズにサイズ変更され、更新されたプーリング領域候補が決定される。更新されたプーリング領域候補はさらにトリミングされ得、次の反復が実行され得る。四隅の各々がターゲット位置のクロッピング戦略に対応している場合、四隅の各々がクロッピングされない場合がある。(トリミングされた)プーリング領域候補の境界を識別できる。境界を画像にマッピングして、ターゲットオブジェクトの境界を決定できる。ターゲットオブジェクトの境界の決定のさらなる説明は、本開示の他の箇所(例えば、図7およびその説明)で見られる。 Multiple pooling area candidates can be classified by a classifier into one or more object categories (eg, K categories) or background categories. If the pooling area candidate is determined as the background category, the pooling area candidate may be omitted and / or deleted. Multiple pooling area candidates may include one or more pooling area candidates corresponding to the target object. In the case of pooling area candidates, the boundaries of the target object in the image can be determined based on the pooling area candidates. Pooling area candidates can be trimmed more than once to determine the boundaries of the target object. In some embodiments, the pooling region candidate may include multiple corners. As shown in FIG. 8, pooling region candidates include four corners, namely the upper left (TL) corner, the upper right (TR) corner, the lower left (BL) corner, and the lower right (BR) corner. Each of the four corners contains five cropping strategies. Specifically, the five strategies in the upper left corner are cropping to the right (→), cropping to the lower right (lower right arrow), cropping down (↓), target position (T), and false value (T). Including F). The five strategies in the upper right corner include cropping to the left (←), cropping to the lower left (lower left arrow), cropping down (↓), target position (T), and false value (F). The five strategies in the lower left corner include cropping to the right (→), cropping to the upper right (upper right arrow), cropping up (↑), target position (T), and false value (F). The five strategies in the lower right corner include cropping to the left (←), cropping to the upper left (upper left arrow), cropping up (↑), target position (T), and false value (F). The cropping strategy for each of the four corners can be determined based on the pixel characteristics of the pooling area candidate. It is possible to determine whether any of the four corners corresponds to a false cropping strategy. If at least one of the four corners supports a false cropping strategy, it may be determined to be a pooling area candidate that does not include the entire target object, and the pooling area candidate may be abandoned or rejected. If each of the four corners does not correspond to a false cropping strategy, it can be determined whether each of the four corners corresponds to the target position cropping strategy. If a corner does not correspond to the target position cropping strategy, this corner can be cropped based on the determined cropping strategy. When each corner is cropped according to its corner cropping strategy, trimmed pooling area candidates are determined. Boundary mapping can be performed based on the cropped four corners to determine the rectangular box. The rectangular box is resized to standard size to determine updated pooling area candidates. The updated pooling area candidates can be further trimmed and the next iteration can be performed. If each of the four corners corresponds to the target position cropping strategy, each of the four corners may not be cropped. The boundaries of (trimmed) pooling area candidates can be identified. You can map the boundaries to the image to determine the boundaries of the target object. Further description of determining the boundaries of the target object can be found elsewhere in the disclosure (eg, FIG. 7 and its description).
図9A〜図9Cは、本開示のいくつかの実施形態による画像を示す概略図である。図9A〜図9Cに示すように、画像は、ターゲットオブジェクト、すなわち、傾斜した文字「CHANEL」を含み得る。図9Bは、Faster−RCNNアルゴリズムに従って決定される「CHANEL」の境界902(境界ボックスとも呼ばれる)を示している。図9Cは、本開示で説明されるプロセスに従って決定される「CHANEL」の境界904を示している。境界902は、ターゲットオブジェクトよりも多くの背景を含み、ターゲットオブジェクトの位置を正確に決定することができない。境界904は、より少ない背景を含み、これは、ターゲットオブジェクトの正確な位置特定を実装することができる。したがって、本開示で説明するプロセスは、オブジェクト検出の精度を向上させることができる。
9A-9C are schematics showing images according to some embodiments of the present disclosure. As shown in FIGS. 9A-9C, the image may include a target object, i.e. the tilted letter "CHANEL". Figure 9B shows the “CHANEL” boundary 902 (also known as the boundary box) determined according to the Faster-RCNN algorithm. Figure 9C shows the “CHANEL”
基本的な概念をこのように説明してきたが、この詳細な開示を読んだ後、前述の詳細な開示は例としてのみ提示されることを意図しており、限定的ではないことが当業者には明らかであろう。本明細書では明示的に述べられていないが、様々な変更、改良、および修正が行われる可能性があり、当業者を対象とする。これらの変更、改良、および修正は、本開示によって示唆されることが意図されており、本開示の例示的な実施形態の趣旨および範囲内にある。 Although the basic concept has been explained in this way, after reading this detailed disclosure, the above detailed disclosure is intended to be presented as an example only and is not limited to those skilled in the art. Will be clear. Although not explicitly stated herein, various changes, improvements, and modifications may be made to those skilled in the art. These changes, improvements, and modifications are intended to be implied by the present disclosure and are within the spirit and scope of the exemplary embodiments of the present disclosure.
さらに、本開示の実施形態を説明するために特定の用語が使用されている。例えば、「一実施形態」、「実施形態」、および/または「いくつかの実施形態」という用語は、実施形態に関連して説明される特定の特徴、構造または特性が本開示の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書の様々な部分における「実施形態」または「一実施形態」または「代替実施形態」への2つ以上の言及は、必ずしもすべてが同じ実施形態を指すとは限らないことを強調し、理解されたい。さらに、特定の特徴、構造、または特性は、本開示の1つ以上の実施形態において適切であるように組み合わせることができる。 In addition, certain terms are used to describe embodiments of the present disclosure. For example, the terms "one embodiment", "embodiment", and / or "some embodiments" have at least one particular feature, structure, or property described in connection with an embodiment of the present disclosure. It means that it is included in the embodiment. Therefore, it is emphasized that two or more references to "embodiments" or "one embodiment" or "alternative embodiments" in various parts of the specification do not necessarily refer to the same embodiment. And want to be understood. In addition, specific features, structures, or properties can be combined as appropriate in one or more embodiments of the present disclosure.
さらに、当業者には理解されるように、本開示の態様は、新規かつ有用なプロセス、機械、製造、または物質の組成、またはそれらの新規かつ有用な改良を含む、いくつかの特許可能なクラスまたはコンテキストのいずれかで、本明細書において例示および説明され得る。したがって、本開示の態様は、完全にハードウェア、完全にソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または本明細書で「ユニット」、「モジュール」、または「システム」と総称され得るソフトウェアおよびハードウェア実装の組み合わせで実装され得る。さらに、本開示の態様は、コンピュータ可読プログラムコードがその上に実現される1つ以上のコンピュータ可読媒体で実現されるコンピュータプログラム製品の形態をとることができる。 Moreover, as will be appreciated by those skilled in the art, aspects of the present disclosure include several patentable aspects, including novel and useful processes, machines, manufactures, or composition of substances, or new and useful improvements thereof. It can be illustrated and illustrated herein, either in class or in context. Accordingly, aspects of this disclosure may be collectively referred to as hardware, software entirely (including firmware, resident software, microcode, etc.), or "units," "modules," or "systems" herein. It can be implemented with a combination of software and hardware implementations. Further, aspects of the present disclosure may take the form of a computer program product implemented on one or more computer-readable media on which the computer-readable program code is implemented.
コンピュータ可読信号媒体は、例えば、ベースバンド内または搬送波の一部として、コンピュータ可読プログラムコードがその中に実現された伝搬データ信号を含み得る。そのような伝搬信号は、電磁、光学など、またはそれらの任意の適切な組み合わせを含む、様々な形態のいずれかをとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、デバイス、もしくはデバイスによって、またはそれらに関連して使用するためのプログラムを通信、伝播、または移送することができる任意のコンピュータ可読媒体とすることができる。コンピュータ可読信号媒体上で実現されたプログラムコードは、無線、有線、光ファイバケーブル、RFなど、またはそれらの任意の適切な組み合わせを含む、任意の適切な媒体を使用して送信され得る。 The computer-readable signal medium may include, for example, a propagated data signal in which the computer-readable program code is implemented, either within the baseband or as part of a carrier wave. Such propagating signals can take any of various forms, including electromagnetic, optical, etc., or any suitable combination thereof. A computer-readable signal medium is not a computer-readable storage medium, but any computer-readable medium capable of communicating, propagating, or transporting programs for use by or in connection with an instruction execution system, device, or device. Can be. Program code implemented on a computer-readable signal medium may be transmitted using any suitable medium, including wireless, wired, fiber optic cables, RF, etc., or any suitable combination thereof.
本開示の態様のオペレーションを実行するためのコンピュータプログラムコードは、Java(登録商標)、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Pythonなどのオブジェクト指向プログラミング言語、「C」プログラミング言語、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAPなどの従来の手続き型プログラミング言語、Python、Ruby、Groovyなどの動的プログラミング言語、またはその他のプログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合わせで書かれてもよい。プログラムコードは、完全にユーザのコンピュータで、一部はユーザのコンピュータで、スタンドアロンソフトウェアパッケージとして、一部はユーザのコンピュータおよび一部はリモートコンピュータで、または完全にリモートコンピュータまたはサーバで実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、接続は、外部コンピュータに(例えば、インターネット経由でインターネットサービスプロバイダを使用して)、もしくはクラウドコンピューティング環境で作られてもよく、またはサービスとしてのソフトウェア(SaaS)などのサービスとして提供されてもよい。 Computer program code for performing the operations of aspects of the present disclosure may be described in Java®, Scala, Smalltalk, Eiffel, JADE, Emerald, C ++, C #, VB. Object-oriented programming languages such as NET and Python, "C" programming languages, traditional procedural programming languages such as Visual Basic, Fortran 2003, Perl, COBOL 2002, PHP and ABAP, and dynamic programming languages such as Python, Ruby and Groovy. , Or any combination of one or more programming languages, including other programming languages. The program code may run entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on the remote computer, or entirely on the remote computer or server. good. In the latter scenario, the remote computer may be connected to the user's computer via any type of network, including a local area network (LAN) or wide area network (WAN), and the connection to an external computer (eg, for example). , Using an Internet service provider over the Internet), or may be created in a cloud computing environment, or may be provided as a service such as software as a service (SaaS).
さらに、処理要素もしくはシーケンスの列挙された順序、または数字、文字、もしくは他の指定の使用は、したがって、特許請求されたプロセスおよび方法を、請求項で指定され得る場合を除いて任意の順序に限定することを意図しない。上記の開示は、開示の様々な有用な実施形態であると現在考えられるものを様々な例を通して説明しているが、そのような詳細は単にその目的のためであり、添付の特許請求の範囲は開示された実施形態に限定されないが、反対に、開示された実施形態の趣旨および範囲内にある修正および同等の配置をカバーすることを意図していることを理解されたい。例えば、上記の様々なコンポーネントの実装はハードウェアデバイスで実現されてもよいが、ソフトウェアのみのソリューション、例えば既存のサーバもしくはモバイルデバイスへのインストールとして実装されてもよい。 In addition, the enumerated order of processing elements or sequences, or the use of numbers, letters, or other designations, therefore, puts the claimed processes and methods in any order, except where can be specified in the claims. Not intended to be limited. The above disclosure describes through various examples what is currently considered to be various useful embodiments of the disclosure, but such details are solely for that purpose and the appended claims. Is not limited to the disclosed embodiments, but on the contrary, it should be understood that is intended to cover modifications and equivalent arrangements within the spirit and scope of the disclosed embodiments. For example, the implementation of the various components described above may be implemented on a hardware device, but may also be implemented as a software-only solution, eg, an installation on an existing server or mobile device.
同様に、本開示の実施形態の前述の説明では、様々な実施形態の1つ以上の理解を助ける開示を簡素化する目的で、様々な特徴が、単一の実施形態、図、またはその説明にまとめられている。しかしながら、この開示の方法は、特許請求される主題が各請求項で明示的に列挙されるよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、特許請求される主題は、前述の単一の開示された実施形態のすべての特徴より少ない場合がある。 Similarly, in the aforementioned description of embodiments of the present disclosure, various features may be a single embodiment, diagram, or description thereof, for the purpose of simplifying the disclosure to aid in understanding one or more of the various embodiments. It is summarized in. However, this method of disclosure should not be construed as reflecting the intent that the claimed subject matter requires more features than explicitly listed in each claim. Rather, the claimed subject matter may be less than all the features of the single disclosed embodiment described above.
100 AI画像処理システム
110 センサ
120 ネットワーク
130 端末
140 サーバ
142 AI処理デバイス
150 記憶デバイス
200 コンピューティングデバイス
210 内部通信バス
220 プロセッサ
230 ROM
250 COMポート
260 Oデバイス
270 ディスク
300 モバイルデバイス
310 通信プラットフォーム
320 ディスプレイ
360 メモリ
370 モバイルオペレーティングシステム
380 アプリケーション
390 ストレージ
401 取得モジュール
403 特徴マップ決定モジュール
405 領域候補決定モジュール
407 プーリング領域候補決定モジュール
409 分類モジュール
411 境界決定モジュール
500 プロセス
510、530、560 オペレーション
700 プロセス
720、730、750、760、790 オペレーション
902、904 境界
100 AI image processing system
110 sensor
120 networks
130 terminals
140 server
142 AI processing device
150 storage device
200 computing devices
210 Internal communication bus
220 processor
230 ROM
250 COM port
260 O device
270 disc
300 mobile devices
310 communication platform
320 display
360 memory
370 mobile operating system
380 application
390 storage
401 acquisition module
403 Feature map determination module
405 Area Candidate Determination Module
407 Pooling area candidate determination module
409 Classification module
411 Boundary determination module
500 processes
510, 530, 560 operations
700 process
720, 730, 750, 760, 790 operations
902, 904 boundary
Claims (28)
画像内のオブジェクトに対応する境界を決定するための命令セットを含む少なくとも1つの記憶デバイスと、
前記少なくとも1つの記憶デバイスと通信する少なくとも1つのプロセッサであって、前記命令セットを実行すると、
ターゲットオブジェクトを含む画像を取得し、
前記画像を畳み込みニューラルネットワーク(CNN)に入力することにより、複数の特徴マップを生成し、
前記複数の特徴マップに基づいて複数の領域候補を決定し、
前記複数の領域候補および前記複数の特徴マップに基づいて、複数のプーリング領域候補を決定し、
分類器によって、前記複数のプーリング領域候補を1つ以上のオブジェクトカテゴリまたは背景カテゴリに分類し、前記1つ以上のオブジェクトカテゴリは前記ターゲットオブジェクトのカテゴリを含み、前記複数のプーリング領域候補は前記ターゲットオブジェクトに対応する1つ以上のプーリング領域候補を含み、前記1つ以上のプーリング領域候補の各々は複数の隅を有し、
前記ターゲットオブジェクトに対応する前記1つ以上のプーリング領域候補の各々について、
前記プーリング領域候補の前記複数の隅の各隅について、前記対応する隅の位置に従って複数のクロッピング戦略を決定し、
前記複数のクロッピング戦略の1つに従って前記複数の隅の各々をクロッピングすることにより、前記プーリング領域候補をトリミングし、
前記クロッピングされた複数の隅に基づいて、前記トリミングされたプーリング領域候補に対する境界を識別し、
前記ターゲットオブジェクトの境界を決定するために前記境界を前記画像にマッピングする
ように指示される少なくとも1つのプロセッサと
を備える、オブジェクト検出のための人工知能画像処理システム。 An artificial intelligence image processing system for object detection
With at least one storage device that contains a set of instructions to determine the boundaries corresponding to the objects in the image,
When the instruction set is executed by at least one processor communicating with the at least one storage device,
Get the image containing the target object and
By inputting the image into a convolutional neural network (CNN), multiple feature maps are generated.
A plurality of region candidates are determined based on the plurality of feature maps, and a plurality of region candidates are determined.
Based on the plurality of region candidates and the plurality of feature maps, a plurality of pooling region candidates are determined, and a plurality of pooling region candidates are determined.
The classifier classifies the plurality of pooling area candidates into one or more object categories or background categories, the one or more object categories include the target object category, and the plurality of pooling area candidates include the target object. Containing one or more pooling region candidates corresponding to, each of the one or more pooling region candidates has a plurality of corners.
For each of the one or more pooling area candidates corresponding to the target object
For each corner of the plurality of corners of the pooling region candidate, a plurality of cropping strategies are determined according to the positions of the corresponding corners.
The pooling region candidate is trimmed by cropping each of the plurality of corners according to one of the plurality of cropping strategies.
Boundaries for the trimmed pooling region candidate are identified based on the cropped corners.
An artificial intelligence image processing system for object detection, comprising at least one processor instructed to map the boundaries to the image to determine the boundaries of the target object.
スライディングウィンドウを前記複数の特徴マップ上でスライドさせ、
各スライディングウィンドウ位置であって、前記スライディングウィンドウが前記複数の特徴マップのサブ領域と一致する各スライディングウィンドウ位置で、
前記複数の特徴マップの前記サブ領域を多次元特徴ベクトルにマッピングし、
前記サブ領域の中心ピクセルを前記画像のピクセルにマッピングすることによってアンカーを生成し、前記アンカーは、前記画像内のアンカーボックスのセットに対応し、前記アンカーボックスのセットの各々は、スケールおよびアスペクト比に関連付けられており、
前記多次元特徴ベクトルを、前記少なくとも1つの回帰層と前記少なくとも1つの分類層とにそれぞれ供給し、
前記少なくとも1つの回帰層は、前記アンカーボックスのセットに対応する予備領域候補のセットを決定するために、境界ボックス回帰を実行するように構成され、前記少なくとも1つの回帰層の前記出力は、前記予備領域候補のセットの各々の4つの座標値を含み、
前記少なくとも1つの分類層は、前記予備領域候補のセットの各々のカテゴリを決定するように構成され、前記カテゴリは前景または背景であり、前記少なくとも1つの分類層の前記出力は、前記予備領域候補のセットの各々の、前景であるという第1のスコア、および背景であるという第2のスコアを含み、
前記複数の予備領域候補の各々の、前景であるという前記第1のスコア、および背景であるという前記第2のスコア、ならびに前記複数の予備領域候補の各々の4つの座標値に基づいて、前記複数の予備領域候補の一部を前記複数の領域候補として選択する
ように指示される、請求項3に記載の人工知能画像処理システム。 The RPN comprises at least one regression layer and at least one classification layer, and the at least one processor determines the plurality of region candidates.
Slide the sliding window over the multiple feature maps to
At each sliding window position, at each sliding window position where the sliding window coincides with the sub-regions of the plurality of feature maps.
The sub-region of the plurality of feature maps is mapped to the multidimensional feature vector, and the sub-region is mapped to the multidimensional feature vector.
Anchors are generated by mapping the center pixel of the subregion to the pixels of the image, the anchors correspond to a set of anchor boxes in the image, and each of the sets of anchor boxes has a scale and aspect ratio. Associated with
The multidimensional feature vector is supplied to the at least one regression layer and the at least one classification layer, respectively.
The at least one regression layer is configured to perform a boundary box regression to determine a set of reserve region candidates corresponding to the set of anchor boxes, and the output of the at least one regression layer is said to be said. Contains four coordinate values for each of the set of spare region candidates
The at least one classification layer is configured to determine each category of the set of reserve region candidates, the category is a foreground or background, and the output of the at least one classification layer is the reserve region candidate. Includes a first score of being in the foreground and a second score of being in the background for each of the sets of
Based on the first score of each of the plurality of reserve region candidates, the second score of the background, and the four coordinate values of each of the plurality of reserve region candidates. The artificial intelligence image processing system according to claim 3, wherein a part of a plurality of preliminary region candidates is instructed to be selected as the plurality of region candidates.
非最大抑制(NMS)を使用して前記複数の領域候補を選択する
ように指示される、請求項4に記載の人工知能画像処理システム。 In order to select a part of the plurality of spare region candidates as the plurality of region candidates, the at least one processor
The artificial intelligence image processing system according to claim 4, wherein the plurality of region candidates are instructed to be selected using non-maximum suppression (NMS).
複数の候補特徴マップを決定するために、前記複数の領域候補を前記複数の特徴マップにマッピングし、
前記複数の候補特徴マップでプーリングを実行することにより、前記複数のプーリング領域候補を決定する
ようにさらに指示される、請求項1から5のいずれか一項に記載の人工知能画像処理システム。 The plurality of pooling area candidates correspond to a standard size, and the at least one processor determines the plurality of pooling area candidates.
In order to determine a plurality of candidate feature maps, the plurality of region candidates are mapped to the plurality of feature maps.
The artificial intelligence image processing system according to any one of claims 1 to 5, further instructed to determine the plurality of pooling region candidates by performing pooling on the plurality of candidate feature maps.
前記左上隅の前記複数のクロッピング戦略は、右へのクロッピング、下へのクロッピング、右下へのクロッピング、ターゲット位置、または偽値の少なくとも1つを含み、
前記右上隅の前記複数のクロッピング戦略は、左へのクロッピング、下へのクロッピング、左下へのクロッピング、ターゲット位置、または偽値の少なくとも1つを含み、
前記左下隅の前記複数のクロッピング戦略は、右へのクロッピング、上へのクロッピング、右上へのクロッピング、ターゲット位置、または偽値の少なくとも1つを含み、
前記右下隅の前記複数のクロッピング戦略は、左へのクロッピング、上へのクロッピング、左上へのクロッピング、ターゲット位置、または偽値の少なくとも1つを含む、請求項1に記載の人工知能画像処理システム。 The plurality of corners include the upper left corner, the upper right corner, the lower left corner, and the lower right corner.
The plurality of cropping strategies in the upper left corner include at least one of cropping to the right, cropping down, cropping to the lower right, target position, or false value.
The plurality of cropping strategies in the upper right corner include at least one of left cropping, bottom cropping, bottom left cropping, target position, or false value.
The plurality of cropping strategies in the lower left corner include at least one of cropping to the right, cropping up, cropping to the upper right, target position, or false value.
The artificial intelligence image processing system according to claim 1, wherein the plurality of cropping strategies in the lower right corner include at least one of left cropping, top cropping, top left cropping, target position, or false value. ..
前記隅がターゲット位置のクロッピング戦略に対応する場合、前記複数の隅の1つのクロッピングを停止する
ようにさらに指示される、請求項7に記載の人工知能画像処理システム。 The at least one processor
The artificial intelligence image processing system according to claim 7, wherein if the corner corresponds to a target position cropping strategy, the cropping of one of the plurality of corners is further instructed to stop.
前記プーリング領域候補に基づいて、前記複数の隅の各々のクロッピング方向とクロッピング長さを決定し、前記複数の隅の各々の前記クロッピング方向は、前記対応する隅の前記複数のクロッピング戦略の1つに制限され、
前記クロッピング方向と前記クロッピング長さに基づいて、前記複数の隅の各々をクロッピングする
ように指示される、請求項7に記載の人工知能画像処理システム。 Cropping each of the plurality of corners causes the at least one processor to
Based on the pooling region candidate, the cropping direction and cropping length of each of the plurality of corners are determined, and the cropping direction of each of the plurality of corners is one of the plurality of cropping strategies of the corresponding corners. Limited to
The artificial intelligence image processing system according to claim 7, wherein each of the plurality of corners is instructed to crop based on the cropping direction and the cropping length.
1回以上の反復を実行し、
前記1回以上の反復の各々において、
前記複数のクロッピング戦略から、前記プーリング領域候補に基づいて前記複数の隅の各々のクロッピング戦略を決定し、
前記複数の隅の1つが偽値のクロッピング戦略に対応するか否かを決定し、
前記複数の隅の各々が前記偽値のクロッピング戦略に対応しないという決定に応じて、前記複数の隅の各々がターゲット位置のクロッピング戦略に対応するか否かを決定し、
前記複数の隅の少なくとも1つが前記ターゲット位置のクロッピング戦略に対応していないという決定に応じて、前記複数の隅の少なくとも1つの、前記決定されたクロッピング戦略に従って、前記複数の隅の少なくとも1つをクロッピングし、
前記クロッピングされた複数の隅に基づいて、長方形のボックスを決定するための境界マッピングを実行し、
前記長方形のボックスのサイズを標準サイズにサイズ変更し、
前記複数の隅の各々が前記ターゲット位置のクロッピング戦略に対応するという決定に応じて、前記複数の隅のクロッピングを停止する
ように指示される、請求項7に記載の人工知能画像処理システム。 To trim the pooling region candidate by cropping each of the plurality of corners, the at least one processor
Perform one or more iterations and
In each of the one or more iterations
From the plurality of cropping strategies, the cropping strategy of each of the plurality of corners is determined based on the pooling region candidate.
Determine if one of the multiple corners corresponds to a false cropping strategy
In response to the determination that each of the plurality of corners does not correspond to the cropping strategy of the false value, it is determined whether or not each of the plurality of corners corresponds to the cropping strategy of the target position.
At least one of the plurality of corners according to the determined cropping strategy of at least one of the plurality of corners in response to the determination that at least one of the plurality of corners does not correspond to the cropping strategy of the target position. Cropping,
Perform boundary mapping to determine the rectangular box based on the cropped corners,
Resize the rectangular box to the standard size and
The artificial intelligence image processing system according to claim 7, wherein each of the plurality of corners is instructed to stop the cropping of the plurality of corners in response to the determination that the cropping strategy of the target position corresponds to the cropping strategy.
前記複数の隅のうちの少なくとも1つが前記偽値のクロッピング戦略に対応するという決定に応じて、前記プーリング領域候補を放棄する
ようにさらに指示される、請求項10に記載の人工知能画像処理システム。 The at least one processor
The artificial intelligence image processing system of claim 10, further instructed to abandon the pooling region candidate in response to a decision that at least one of the plurality of corners corresponds to the false value cropping strategy. ..
前記ターゲットオブジェクトに対応する1つ以上の境界を決定し、
前記1つ以上の境界の各々とグラウンドトゥルースとの間のIntersection−over−Union(IoU)を決定し、
最大のIoUを有する前記1つ以上の境界の1つを、前記ターゲットオブジェクトに対応するターゲット境界として決定する
ようにさらに指示される、請求項1から11のいずれか一項に記載の人工知能画像処理システム。 The at least one processor
Determine one or more boundaries corresponding to the target object
Determine the Intersection-over-Union (IoU) between each of the one or more boundaries and the ground truth.
The artificial intelligence image according to any one of claims 1 to 11, further instructed to determine one of the one or more boundaries having the highest IoU as the target boundary corresponding to the target object. Processing system.
ターゲットオブジェクトを含む画像を取得するステップと、
前記画像を畳み込みニューラルネットワーク(CNN)に入力することにより、複数の特徴マップを生成するステップと、
前記複数の特徴マップに基づいて複数の領域候補を決定するステップと、
前記複数の領域候補および前記複数の特徴マップに基づいて、複数のプーリング領域候補を決定するステップと、
分類器によって、前記複数のプーリング領域候補を1つ以上のオブジェクトカテゴリまたは背景カテゴリに分類するステップであって、前記1つ以上のオブジェクトカテゴリは前記ターゲットオブジェクトのカテゴリを含み、前記複数のプーリング領域候補は前記ターゲットオブジェクトに対応する1つ以上のプーリング領域候補を含み、前記1つ以上のプーリング領域候補の各々は複数の隅を有する、分類するステップと、
前記ターゲットオブジェクトに対応する前記1つ以上のプーリング領域候補の各々について、
前記プーリング領域候補の前記複数の隅の各隅について、前記対応する隅の位置に従って複数のクロッピング戦略を決定するステップと、
前記複数のクロッピング戦略の1つに従って前記複数の隅の各々をクロッピングすることにより、前記プーリング領域候補をトリミングするステップと、
前記クロッピングされた複数の隅に基づいて、前記トリミングされたプーリング領域候補に対する境界を識別するステップと、
前記ターゲットオブジェクトの境界を決定するために前記境界を前記画像にマッピングするステップと
を含む人工知能画像処理方法。 An artificial intelligence image processing method implemented on a computing device with at least one processor, at least one computer-readable storage medium, and a networked communication platform.
Steps to get the image containing the target object,
Steps to generate multiple feature maps by inputting the image into a convolutional neural network (CNN), and
A step of determining a plurality of region candidates based on the plurality of feature maps, and
A step of determining a plurality of pooling region candidates based on the plurality of region candidates and the plurality of feature maps, and
A step of classifying the plurality of pooling area candidates into one or more object categories or background categories by a classifier, wherein the one or more object categories include the target object category and the plurality of pooling area candidates. Includes one or more pooling area candidates corresponding to the target object, and each of the one or more pooling area candidates has a plurality of corners, and a classification step.
For each of the one or more pooling area candidates corresponding to the target object
For each corner of the plurality of corners of the pooling region candidate, a step of determining a plurality of cropping strategies according to the positions of the corresponding corners, and
A step of trimming the pooling region candidate by cropping each of the plurality of corners according to one of the plurality of cropping strategies.
A step of identifying boundaries for the trimmed pooling region candidate based on the cropped corners, and
An artificial intelligence image processing method comprising the step of mapping the boundary to the image to determine the boundary of the target object.
スライディングウィンドウを前記複数の特徴マップ上でスライドさせるステップと、
各スライディングウィンドウ位置であって、前記スライディングウィンドウは前記複数の特徴マップのサブ領域と一致する書くスライディングウィンドウ位置で、
前記複数の特徴マップの前記サブ領域を多次元特徴ベクトルにマッピングするステップと、
前記サブ領域の中心ピクセルを前記画像のピクセルにマッピングすることによってアンカーを生成するステップであって、前記アンカーは、前記画像内のアンカーボックスのセットに対応し、前記アンカーボックスのセットの各々は、スケールおよびアスペクト比に関連付けられている、生成するステップと、
前記多次元特徴ベクトルを、前記少なくとも1つの回帰層と前記少なくとも1つの分類層とにそれぞれ供給するステップであって、
前記少なくとも1つの回帰層は、前記アンカーボックスのセットに対応する予備領域候補のセットを決定するために、境界ボックス回帰を実行するように構成され、前記少なくとも1つの回帰層の前記出力は、前記予備領域候補のセットの各々の4つの座標値を含み、
前記少なくとも1つの分類層は、前記予備領域候補のセットの各々のカテゴリを決定するように構成され、前記カテゴリは前景または背景であり、前記少なくとも1つの分類層の前記出力は、前記予備領域候補のセットの各々の、前景であるという第1のスコア、および背景であるという第2のスコアを含む、供給するステップと、
前記複数の予備領域候補の各々の、前景であるという前記第1のスコア、および背景であるという前記第2のスコア、ならびに前記複数の予備領域候補の各々の4つの座標値に基づいて、前記複数の予備領域候補の一部を前記複数の領域候補として選択するステップと
をさらに含む請求項16に記載の人工知能画像処理方法。 The RPN comprises at least one regression layer and at least one classification layer, and the step of determining the plurality of region candidates is
The step of sliding the sliding window on the multiple feature maps,
At each sliding window position, the sliding window is a writing sliding window position that coincides with the sub-regions of the plurality of feature maps.
A step of mapping the sub-region of the plurality of feature maps to a multidimensional feature vector,
A step of generating an anchor by mapping the central pixel of the sub-region to a pixel of the image, wherein the anchor corresponds to a set of anchor boxes in the image, and each of the sets of anchor boxes With the steps to generate, associated with scale and aspect ratio,
A step of supplying the multidimensional feature vector to the at least one regression layer and the at least one classification layer, respectively.
The at least one regression layer is configured to perform a boundary box regression to determine a set of reserve region candidates corresponding to the set of anchor boxes, and the output of the at least one regression layer is said to be said. Contains four coordinate values for each of the set of spare region candidates
The at least one classification layer is configured to determine each category of the set of reserve region candidates, the category is a foreground or background, and the output of the at least one classification layer is the reserve region candidate. Each of the sets of supplies, including a first score of being in the foreground and a second score of being in the background,
Based on the first score of each of the plurality of reserve region candidates, the second score of the background, and the four coordinate values of each of the plurality of reserve region candidates. The artificial intelligence image processing method according to claim 16, further comprising a step of selecting a part of a plurality of preliminary region candidates as the plurality of region candidates.
非最大抑制(NMS)を使用して前記複数の領域候補を選択するステップ
を含む、請求項17に記載の人工知能画像処理方法。 The step of selecting a part of the plurality of preliminary region candidates as the plurality of region candidates is
The artificial intelligence image processing method according to claim 17, comprising the step of selecting the plurality of region candidates using non-maximum suppression (NMS).
複数の候補特徴マップを決定するために、前記複数の領域候補を前記複数の特徴マップにマッピングするステップと、
前記複数の候補特徴マップでプーリングを実行することにより、前記複数のプーリング領域候補を決定するステップと
をさらに含む、請求項14から18のいずれか一項に記載の人工知能画像処理方法。 The step in which the plurality of pooling area candidates correspond to the standard size and the plurality of pooling area candidates are determined is
In order to determine a plurality of candidate feature maps, a step of mapping the plurality of region candidates to the plurality of feature maps, and
The artificial intelligence image processing method according to any one of claims 14 to 18, further comprising a step of determining the plurality of pooling region candidates by performing pooling on the plurality of candidate feature maps.
前記左上隅の前記複数のクロッピング戦略は、右へのクロッピング、下へのクロッピング、右下へのクロッピング、ターゲット位置、または偽値(false)の少なくとも1つを含み、
前記右上隅の前記複数のクロッピング戦略は、左へのクロッピング、下へのクロッピング、左下へのクロッピング、ターゲット位置、または偽値の少なくとも1つを含み、
前記左下隅の前記複数のクロッピング戦略は、右へのクロッピング、上へのクロッピング、右上へのクロッピング、ターゲット位置、または偽値の少なくとも1つを含み、
前記右下隅の前記複数のクロッピング戦略は、左へのクロッピング、上へのクロッピング、左上へのクロッピング、ターゲット位置、または偽値の少なくとも1つを含む、
請求項14に記載の人工知能画像処理方法。 The plurality of corners include the upper left corner, the upper right corner, the lower left corner, and the lower right corner.
The plurality of cropping strategies in the upper left corner include at least one of right cropping, bottom cropping, bottom right cropping, target position, or false value.
The plurality of cropping strategies in the upper right corner include at least one of left cropping, bottom cropping, bottom left cropping, target position, or false value.
The plurality of cropping strategies in the lower left corner include at least one of cropping to the right, cropping up, cropping to the upper right, target position, or false value.
The plurality of cropping strategies in the lower right corner include at least one of left cropping, top cropping, top left cropping, target position, or false value.
The artificial intelligence image processing method according to claim 14.
請求項20に記載の人工知能画像処理方法。 The artificial intelligence image processing method according to claim 20, further comprising a step of stopping one cropping of the plurality of corners when the corner corresponds to a cropping strategy of the target position.
前記プーリング領域候補に基づいて、前記複数の隅の各々のクロッピング方向とクロッピング長さを決定するステップであって、前記複数の隅の各々の前記クロッピング方向は、前記対応する隅の前記複数のクロッピング戦略の1つに制限される、決定するステップと、
前記クロッピング方向と前記クロッピング長さに基づいて、前記複数の隅の各々をクロッピングするステップと
を含む、請求項20に記載の人工知能画像処理方法。 The step of cropping each of the plurality of corners is
A step of determining the cropping direction and the cropping length of each of the plurality of corners based on the pooling region candidate, wherein the cropping direction of each of the plurality of corners is the plurality of cropping of the corresponding corners. Steps to decide, limited to one of the strategies,
The artificial intelligence image processing method according to claim 20, further comprising a step of cropping each of the plurality of corners based on the cropping direction and the cropping length.
1回以上の反復を実行するステップと、
前記1回以上の反復の各々において、
前記複数のクロッピング戦略から、前記プーリング領域候補に基づいて前記複数の隅の各々のクロッピング戦略を決定するステップと、
前記複数の隅の1つが偽値のクロッピング戦略に対応するか否かを決定するステップと、
前記複数の隅の各々が前記偽値のクロッピング戦略に対応しないという決定に応じて、前記複数の隅の各々がターゲット位置のクロッピング戦略に対応するか否かを決定するステップと、
前記複数の隅の少なくとも1つが前記ターゲット位置のクロッピング戦略に対応していないという決定に応じて、前記複数の隅の少なくとも1つの、前記決定されたクロッピング戦略に従って、前記複数の隅の少なくとも1つをクロッピングするステップと、
前記クロッピングされた複数の隅に基づいて、長方形のボックスを決定するための境界マッピングを実行するステップと、
前記長方形のボックスのサイズを標準サイズにサイズ変更するステップと、
前記複数の隅の各々が前記ターゲット位置のクロッピング戦略に対応するという決定に応じて、前記複数の隅のクロッピングを停止するステップとを
含む、請求項20に記載の人工知能画像処理方法。 The step of trimming the pooling region candidate by cropping each of the plurality of corners is
Steps to perform one or more iterations, and
In each of the one or more iterations
From the plurality of cropping strategies, a step of determining each cropping strategy of the plurality of corners based on the pooling region candidate, and
The step of determining whether one of the multiple corners corresponds to a false cropping strategy, and
In response to the determination that each of the plurality of corners does not correspond to the cropping strategy of the false value, a step of determining whether or not each of the plurality of corners corresponds to the cropping strategy of the target position, and
At least one of the plurality of corners according to the determined cropping strategy of at least one of the plurality of corners in response to the determination that at least one of the plurality of corners does not correspond to the cropping strategy of the target position. And the steps to crop
A step of performing boundary mapping to determine a rectangular box based on the cropped corners, and
Steps to resize the rectangular box to standard size,
The artificial intelligence image processing method according to claim 20, comprising a step of stopping the cropping of the plurality of corners in response to a determination that each of the plurality of corners corresponds to the cropping strategy of the target position.
前記1つ以上の境界の各々とグラウンドトゥルースとの間のIntersection−over−Union(IoU)を決定するステップと、
最大のIoUを有する前記1つ以上の境界の1つを、前記ターゲットオブジェクトに対応するターゲット境界として決定するステップと
をさらに含む請求項14から24のいずれか一項に記載の人工知能画像処理方法。 The step of determining one or more boundaries corresponding to the target object,
The step of determining the Intersection-over-Union (IoU) between each of the one or more boundaries and the ground truth,
The artificial intelligence image processing method according to any one of claims 14 to 24, further comprising a step of determining one of the one or more boundaries having the maximum IoU as a target boundary corresponding to the target object. ..
ターゲットオブジェクトを含む画像を取得する動作と、
前記画像を畳み込みニューラルネットワーク(CNN)に入力することにより、複数の特徴マップを生成する動作と、
前記複数の特徴マップに基づいて複数の領域候補を決定する動作と、
前記複数の領域候補および前記複数の特徴マップに基づいて、複数のプーリング領域候補を決定する動作と、
分類器によって、前記複数のプーリング領域候補を1つ以上のオブジェクトカテゴリまたは背景カテゴリに分類する動作であって、前記1つ以上のオブジェクトカテゴリは前記ターゲットオブジェクトのカテゴリを含み、前記複数のプーリング領域候補は前記ターゲットオブジェクトに対応する1つ以上のプーリング領域候補を含み、前記1つ以上のプーリング領域候補の各々は複数の隅を有する、分類する動作と、
前記ターゲットオブジェクトに対応する前記1つ以上のプーリング領域候補の各々について、
前記プーリング領域候補の前記複数の隅の各隅について、前記対応する隅の位置に従って複数のクロッピング戦略を決定する動作と、
前記複数のクロッピング戦略の1つに従って前記複数の隅の各々をクロッピングすることにより、前記プーリング領域候補をトリミングする動作と、
前記クロッピングされた複数の隅に基づいて、前記トリミングされたプーリング領域候補に対する境界を識別する動作と、
前記ターゲットオブジェクトの境界を決定するために前記境界を前記画像にマッピングする動作と
を実行するように前記少なくとも1つのプロセッサに指示する、非一時的なコンピュータ可読記憶媒体。 A non-temporary computer-readable storage medium with at least one instruction set for detecting artificial intelligence objects, said at least one instruction set when executed by at least one processor of a computing device.
The operation to get the image including the target object and
The operation of generating multiple feature maps by inputting the image into a convolutional neural network (CNN), and
The operation of determining a plurality of region candidates based on the plurality of feature maps, and
An operation of determining a plurality of pooling area candidates based on the plurality of area candidates and the plurality of feature maps, and
An operation of classifying the plurality of pooling area candidates into one or more object categories or background categories by a classifier, wherein the one or more object categories include the target object category and the plurality of pooling area candidates. Contains one or more pooling area candidates corresponding to the target object, and each of the one or more pooling area candidates has a plurality of corners.
For each of the one or more pooling area candidates corresponding to the target object
For each corner of the plurality of corners of the pooling region candidate, an operation of determining a plurality of cropping strategies according to the positions of the corresponding corners, and
An operation of trimming the pooling area candidate by cropping each of the plurality of corners according to one of the plurality of cropping strategies.
The action of identifying the boundary for the trimmed pooling area candidate based on the cropped corners, and
A non-transitory computer-readable storage medium that instructs the at least one processor to perform an operation of mapping the boundaries to the image to determine the boundaries of the target object.
ターゲットオブジェクトを含む画像を取得するように構成された取得モジュールと、
前記画像を畳み込みニューラルネットワーク(CNN)に入力することにより、複数の特徴マップを生成するように構成された特徴マップ決定モジュールと、
前記複数の特徴マップに基づいて複数の領域候補を決定するように構成された領域候補決定モジュールと、
前記複数の領域候補および前記複数の特徴マップに基づいて、複数のプーリング領域候補を決定するように構成されたプーリング領域候補決定モジュールと、
分類器によって、前記複数のプーリング領域候補を1つ以上のオブジェクトカテゴリまたは背景カテゴリに分類し、前記1つ以上のオブジェクトカテゴリは前記ターゲットオブジェクトのカテゴリを含み、前記複数のプーリング領域候補は前記ターゲットオブジェクトに対応する1つ以上のプーリング領域候補を含み、前記1つ以上のプーリング領域候補の各々は複数の隅を有する、ように構成された分類モジュールと
を備え、
前記ターゲットオブジェクトに対応する前記1つ以上のプーリング領域候補の各々について、
前記プーリング領域候補の前記複数の隅の各隅について、前記対応する隅の位置に従って複数のクロッピング戦略を決定するように構成された境界決定モジュールを備え、
前記境界決定モジュールが、前記複数のクロッピング戦略の1つに従って前記複数の隅の各々をクロッピングすることにより、前記プーリング領域候補をトリミングするように構成され、
前記境界決定モジュールが、前記クロッピングされた複数の隅に基づいて、前記トリミングされたプーリング領域候補に対する境界を識別するように構成され、
前記境界決定モジュールが、前記ターゲットオブジェクトの境界を決定するために前記境界を前記画像にマッピングするように構成されている、
人工知能画像処理システム。 An artificial intelligence image processing system for object detection
An acquisition module configured to acquire an image containing a target object,
A feature map determination module configured to generate multiple feature maps by inputting the image into a convolutional neural network (CNN).
An area candidate determination module configured to determine a plurality of area candidates based on the plurality of feature maps, and an area candidate determination module.
A pooling area candidate determination module configured to determine a plurality of pooling area candidates based on the plurality of area candidates and the plurality of feature maps.
The classifier classifies the plurality of pooling area candidates into one or more object categories or background categories, the one or more object categories include the target object category, and the plurality of pooling area candidates include the target object. The classification module is configured to include one or more pooling region candidates corresponding to, and each of the one or more pooling region candidates has a plurality of corners.
For each of the one or more pooling area candidates corresponding to the target object
For each corner of the plurality of corners of the pooling region candidate, a demarcation module configured to determine a plurality of cropping strategies according to the position of the corresponding corner is provided.
The boundary determination module is configured to trim the pooling region candidate by cropping each of the plurality of corners according to one of the plurality of cropping strategies.
The boundary determination module is configured to identify boundaries for the trimmed pooling region candidate based on the cropped corners.
The boundary determination module is configured to map the boundary to the image to determine the boundary of the target object.
Artificial intelligence image processing system.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811438175.5A CN111222387B (en) | 2018-11-27 | 2018-11-27 | System and method for object detection |
CN201811438175.5 | 2018-11-27 | ||
PCT/CN2018/119410 WO2020107510A1 (en) | 2018-11-27 | 2018-12-05 | Ai systems and methods for objection detection |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021519984A true JP2021519984A (en) | 2021-08-12 |
JP7009652B2 JP7009652B2 (en) | 2022-01-25 |
Family
ID=70825714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020557230A Active JP7009652B2 (en) | 2018-11-27 | 2018-12-05 | AI system and method for object detection |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7009652B2 (en) |
CN (1) | CN111222387B (en) |
WO (1) | WO2020107510A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023063200A (en) * | 2021-10-22 | 2023-05-09 | 延世大学校 産学協力団 | Multi-level transferable region-based domain adaptive object detection apparatus and method |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111695491B (en) * | 2020-06-10 | 2023-12-19 | 阿波罗智联(北京)科技有限公司 | Method and device for detecting pedestrians |
CN111738133A (en) * | 2020-06-17 | 2020-10-02 | 北京奇艺世纪科技有限公司 | Model training method, target detection method, device, electronic equipment and readable storage medium |
CN111951337B (en) * | 2020-08-19 | 2022-05-31 | 武汉中海庭数据技术有限公司 | Image detection target space positioning method and system |
CN112819223A (en) * | 2021-01-29 | 2021-05-18 | 云南省测绘资料档案馆(云南省基础地理信息中心) | High-performance intersection method for cutting polygon |
CN113673444B (en) * | 2021-08-19 | 2022-03-11 | 清华大学 | Intersection multi-view target detection method and system based on angular point pooling |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018060296A (en) * | 2016-10-03 | 2018-04-12 | グローリー株式会社 | Image processing apparatus, image processing system, and image processing method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016054778A1 (en) * | 2014-10-09 | 2016-04-14 | Microsoft Technology Licensing, Llc | Generic object detection in images |
US9965719B2 (en) * | 2015-11-04 | 2018-05-08 | Nec Corporation | Subcategory-aware convolutional neural networks for object detection |
US10002313B2 (en) * | 2015-12-15 | 2018-06-19 | Sighthound, Inc. | Deeply learned convolutional neural networks (CNNS) for object localization and classification |
CN106780612B (en) * | 2016-12-29 | 2019-09-17 | 浙江大华技术股份有限公司 | Object detecting method and device in a kind of image |
CN107301383B (en) * | 2017-06-07 | 2020-11-24 | 华南理工大学 | Road traffic sign identification method based on Fast R-CNN |
CN107368845B (en) * | 2017-06-15 | 2020-09-22 | 华南理工大学 | Optimized candidate region-based Faster R-CNN target detection method |
CN107610113A (en) * | 2017-09-13 | 2018-01-19 | 北京邮电大学 | The detection method and device of Small object based on deep learning in a kind of image |
CN107886120A (en) * | 2017-11-03 | 2018-04-06 | 北京清瑞维航技术发展有限公司 | Method and apparatus for target detection tracking |
CN108734705A (en) * | 2018-05-17 | 2018-11-02 | 杭州电子科技大学 | Digital galactophore fault image calcification clusters automatic testing method based on deep learning |
-
2018
- 2018-11-27 CN CN201811438175.5A patent/CN111222387B/en active Active
- 2018-12-05 JP JP2020557230A patent/JP7009652B2/en active Active
- 2018-12-05 WO PCT/CN2018/119410 patent/WO2020107510A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018060296A (en) * | 2016-10-03 | 2018-04-12 | グローリー株式会社 | Image processing apparatus, image processing system, and image processing method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023063200A (en) * | 2021-10-22 | 2023-05-09 | 延世大学校 産学協力団 | Multi-level transferable region-based domain adaptive object detection apparatus and method |
JP7389787B2 (en) | 2021-10-22 | 2023-11-30 | 延世大学校 産学協力団 | Domain adaptive object detection device and method based on multi-level transition region |
Also Published As
Publication number | Publication date |
---|---|
JP7009652B2 (en) | 2022-01-25 |
CN111222387B (en) | 2023-03-03 |
CN111222387A (en) | 2020-06-02 |
WO2020107510A1 (en) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7009652B2 (en) | AI system and method for object detection | |
WO2020207166A1 (en) | Object detection method and apparatus, electronic device, and storage medium | |
US20220245792A1 (en) | Systems and methods for image quality detection | |
CN109683699B (en) | Method and device for realizing augmented reality based on deep learning and mobile terminal | |
JP2017134814A (en) | Vehicle contour detection method based on point group data, and device | |
WO2022105517A1 (en) | Systems and methods for detecting traffic accidents | |
CN111931764A (en) | Target detection method, target detection framework and related equipment | |
JP7279848B2 (en) | Image processing device, image processing method, and program | |
US20220171060A1 (en) | Systems and methods for calibrating a camera and a multi-line lidar | |
WO2020133468A1 (en) | Methods and systems for camera calibration | |
US11657592B2 (en) | Systems and methods for object recognition | |
US20200263998A1 (en) | Systems and methods for new road determination | |
US20210201525A1 (en) | Augmented reality device and positioning method | |
US20220214185A1 (en) | Systems and methods for recommendation and display of point of interest | |
CN116704125B (en) | Mapping method, device, chip and module equipment based on three-dimensional point cloud | |
US20220178701A1 (en) | Systems and methods for positioning a target subject | |
WO2019205008A1 (en) | Systems and methods for determining a reflective area in an image | |
WO2019201141A1 (en) | Methods and systems for image processing | |
CN116363185A (en) | Geographic registration method, geographic registration device, electronic equipment and readable storage medium | |
WO2022007367A1 (en) | Systems and methods for pose determination | |
CN113065521B (en) | Object identification method, device, equipment and medium | |
Sulaj et al. | Examples of real-time UAV data processing with cloud computing | |
CN112767477A (en) | Positioning method, positioning device, storage medium and electronic equipment | |
US20220178719A1 (en) | Systems and methods for positioning a target subject | |
CN118097339B (en) | Deep learning sample enhancement method and device based on low-altitude photogrammetry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201016 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7009652 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |