JP2015065612A - Image processing system, program, and display control method - Google Patents

Image processing system, program, and display control method Download PDF

Info

Publication number
JP2015065612A
JP2015065612A JP2013199279A JP2013199279A JP2015065612A JP 2015065612 A JP2015065612 A JP 2015065612A JP 2013199279 A JP2013199279 A JP 2013199279A JP 2013199279 A JP2013199279 A JP 2013199279A JP 2015065612 A JP2015065612 A JP 2015065612A
Authority
JP
Japan
Prior art keywords
frame
recognition
display
objects
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013199279A
Other languages
Japanese (ja)
Other versions
JP6318519B2 (en
Inventor
哲也 半田
Tetsuya Handa
哲也 半田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2013199279A priority Critical patent/JP6318519B2/en
Publication of JP2015065612A publication Critical patent/JP2015065612A/en
Application granted granted Critical
Publication of JP6318519B2 publication Critical patent/JP6318519B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To perform plural different displays by using an identical object, when performing display on the basis of an object recognized from a captured image.SOLUTION: In an image processing system 1, a CPU 10 recognizes that a specific object has framed into the screen of a display unit 14, stores the number of times of the recognition in a RAM 11, and when the number of times of the recognition of the framing in coincides with a preset number of times of the recognition, causes the display unit 14 to perform a predetermined display corresponding to the number of times of the recognition.

Description

本発明は、画像処理装置、プログラム及び表示制御方法に関する。   The present invention relates to an image processing apparatus, a program, and a display control method.

近年、実空間に仮想物体が存在するかのように重畳させる拡張現実技術を用いた拡張現実感システム（ＡＲ（Augmented Reality：拡張現実）システム）が用いられるようになってきている。例えば、ＡＲ用のマーカや予め登録された物体等の特定の対象物を含む画像を撮影すると、撮像画像から対象物を認識し、認識された対象物の種類及び配置した位置に対応して、撮像画像中に仮想物体画像を合成して表示する拡張現実感システムが知られている。   In recent years, augmented reality systems (AR (Augmented Reality) systems) using augmented reality technology that superimposes virtual objects as if they exist in real space have come to be used. For example, when an image including a specific target object such as an AR marker or a pre-registered object is photographed, the target object is recognized from the captured image, and the type and position of the recognized target object An augmented reality system that synthesizes and displays a virtual object image in a captured image is known.

しかし、対象物の認識を用いた拡張現実感システムでは、表示したい仮想物体画像の種類の数だけ対象物が必要となる。そこで、例えば、特許文献１には、マーカ掲示用携帯端末に、複数種類のマーカと仮想物体画像とを対応付けて記憶させておき、ユーザにより選択されたマーカをマーカ掲示用携帯端末に表示することで、複数のマーカの印刷物等を持ち歩かなくても複数種類の仮想物体の中から表示する仮想物体を選択できるようにした技術が記載されている。   However, in the augmented reality system using the recognition of the target object, the target objects are required as many as the types of virtual object images to be displayed. Therefore, for example, in Patent Document 1, a marker posting mobile terminal stores a plurality of types of markers and virtual object images in association with each other, and the marker selected by the user is displayed on the marker posting mobile terminal. Thus, a technique is described in which a virtual object to be displayed can be selected from a plurality of types of virtual objects without carrying a printed matter of a plurality of markers.

特開２００５−２５０９５０号公報JP 2005-250950 A

しかしながら、特許文献１においても、同じのマーカを認識したときに表示される仮想物体画像は同じであり、他の表示をさせるためにはユーザが選択操作をして、マーカ掲示用携帯端末に表示させるマーカの種類を切り替える必要があった。   However, also in Patent Document 1, the virtual object image displayed when the same marker is recognized is the same, and in order to make another display, the user performs a selection operation and displays it on the marker posting portable terminal. It was necessary to switch the type of marker to be used.

本発明の課題は、撮像画像から認識した対象物に基づいて表示を行う場合に、同じの対象物を用いて異なる複数の表示ができるようにすることである。   An object of the present invention is to enable a plurality of different displays using the same object when performing display based on the object recognized from the captured image.

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識するフレームイン認識手段と、
前記対象物のフレームインが認識された回数を記憶する記憶手段と、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える。 In order to solve the above problem, an image processing apparatus according to claim 1 is provided.
Imaging means;
Display means for displaying a captured image acquired by the imaging means;
Frame-in recognition means for recognizing that a specific object has been framed in the screen of the display means;
Storage means for storing the number of times frame-in of the object is recognized;
Control means for causing the display means to perform a predetermined display according to the number of times frame-in is recognized of the object stored in the storage means;
Is provided.

本発明によれば、撮像画像から認識した対象物に基づいて表示を行う場合に、同じの対象物を用いて異なる複数の表示を行うことが可能となる。   According to the present invention, when display is performed based on an object recognized from a captured image, a plurality of different displays can be performed using the same object.

本実施形態における画像処理装置の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the image processing apparatus in this embodiment. 第１の実施形態における設定情報記憶部のデータ格納例を示す図である。It is a figure which shows the example of data storage of the setting information storage part in 1st Embodiment. 図１のＣＰＵにより実行される表示制御処理Ｐ１を示すフローチャートである。It is a flowchart which shows the display control process P1 performed by CPU of FIG. 表示制御処理Ｐ１による表示動作の一例を示す図である。It is a figure which shows an example of the display operation by the display control process P1. 手に持つタイプの移動型端末でのフレームイン、フレームアウトの操作方法を示す図である。It is a figure which shows the operation method of the frame in in the mobile terminal of the type held in a hand, and a frame out. 第２の実施形態における設定情報記憶部のデータ格納例を示す図である。It is a figure which shows the example of data storage of the setting information storage part in 2nd Embodiment. 図１のＣＰＵにより実行される表示制御処理Ｐ２を示すフローチャートである。It is a flowchart which shows the display control process P2 performed by CPU of FIG. 表示制御処理Ｐ２による表示動作の一例を示す図である。It is a figure which shows an example of the display operation by the display control process P2. 第３の実施形態におけるＲＡＭの構成例を示す図である。It is a figure which shows the structural example of RAM in 3rd Embodiment. 第３の実施形態における設定情報記憶部のデータ格納例を示す図である。It is a figure which shows the example of data storage of the setting information storage part in 3rd Embodiment. 図１のＣＰＵにより実行される表示制御処理Ｐ３を示すフローチャートである。It is a flowchart which shows the display control process P3 performed by CPU of FIG. 表示制御処理Ｐ３による表示動作の一例を示す図である。It is a figure which shows an example of the display operation by the display control process P3. 第４の実施形態における設定情報記憶部のデータ格納例を示す図である。It is a figure which shows the example of data storage of the setting information storage part in 4th Embodiment. 図１のＣＰＵにより実行される表示制御処理Ｐ４を示すフローチャートである。It is a flowchart which shows the display control process P4 performed by CPU of FIG. 表示制御処理Ｐ４による表示動作の一例を示す図である。It is a figure which shows an example of the display operation by the display control process P4. 第５の実施形態における設定情報記憶部のデータ格納例を示す図である。It is a figure which shows the example of data storage of the setting information storage part in 5th Embodiment. 図１のＣＰＵにより実行される表示制御処理Ｐ５を示すフローチャートである。It is a flowchart which shows the display control process P5 performed by CPU of FIG. 表示制御処理Ｐ５による表示動作の一例を示す図である。It is a figure which shows an example of the display operation by the display control process P5. 、眼鏡型ＨＭＤでのフレームイン、フレームアウトの操作方法を示す図である。It is a figure which shows the operation method of the frame in in a spectacles type HMD, and a frame out.

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The present invention is not limited to the illustrated example.

［第１の実施形態］
＜画像処理装置１の構成＞
まず、第１の実施形態に係る画像処理装置１の構成について説明する。
画像処理装置１としては、例えば、スマートフォン、タブレット端末、ノートＰＣ（Personal Computer）、ハンディターミナル等の移動型端末が適用可能である。 [First Embodiment]
<Configuration of Image Processing Device 1>
First, the configuration of the image processing apparatus 1 according to the first embodiment will be described.
As the image processing apparatus 1, for example, a mobile terminal such as a smartphone, a tablet terminal, a notebook PC (Personal Computer), or a handy terminal is applicable.

図１に、画像処理装置１の機能構成例を示す。図１に示すように、画像処理装置１は、ＣＰＵ（Central Processing Unit）１０、ＲＡＭ（Random Access Memory）１１、記憶部１２、通信部１３、表示部１４、操作部１５、カメラ１６、現在時刻取得部１７等を備えて構成され、各部はバス１８により接続されている。   FIG. 1 shows a functional configuration example of the image processing apparatus 1. As shown in FIG. 1, the image processing apparatus 1 includes a CPU (Central Processing Unit) 10, a RAM (Random Access Memory) 11, a storage unit 12, a communication unit 13, a display unit 14, an operation unit 15, a camera 16, and a current time. An acquisition unit 17 and the like are provided, and each unit is connected by a bus 18.

ＣＰＵ１０は、記憶部１２に記憶されているプログラムを読み出してＲＡＭ１１のワークエリアに展開し、展開したプログラムに従って、後述する表示制御処理Ｐ１を始めとする各種処理を実行する。ＣＰＵ１０は、フレームイン認識手段、フレームアウト認識手段、制御手段として機能する。   The CPU 10 reads out the program stored in the storage unit 12 and develops it in the work area of the RAM 11, and executes various processes including a display control process P1 described later in accordance with the developed program. The CPU 10 functions as a frame-in recognition unit, a frame-out recognition unit, and a control unit.

ＲＡＭ１１は、揮発性のメモリであり、ＣＰＵ１０により実行される各種プログラムやこれら各種プログラムに係るデータ等を記憶するワークエリアを有する。   The RAM 11 is a volatile memory, and has a work area for storing various programs executed by the CPU 10, data related to these various programs, and the like.

また、ＲＡＭ１１は、予め設定された特定の対象物Ａのフレームインが認識された回数を記憶するための認識回数カウンタ１１１を有する。対象物Ａは、例えば、ＡＲマーカや特定の物体である。
ここで、フレームインとは、カメラ１６により取得された撮像画像を表示部１４の画面上に表示させている場合において、当該画面上に対象物がない状態から当該画面上に対象物が入ってくることをいう。フレームアウトとは、カメラ１６により取得された撮像画像を表示部１４の画面上に表示させている場合において、表示部１４の画面上に表示されていた対象物が当該画面上からなくなる（出て行く）ことをいう。 In addition, the RAM 11 includes a recognition number counter 111 for storing the number of times that a predetermined frame A of a specific object A has been recognized. The object A is, for example, an AR marker or a specific object.
Here, the term “frame-in” means that when a captured image acquired by the camera 16 is displayed on the screen of the display unit 14, the object enters the screen from a state where there is no object on the screen. It means to come. Frame out means that when the captured image acquired by the camera 16 is displayed on the screen of the display unit 14, the object displayed on the screen of the display unit 14 disappears from the screen (exit). To go).

記憶部１２は、ＨＤＤ（Hard Disk Drive）、半導体の不揮発性メモリ等により構成される。記憶部１２には、例えば、図１に示すように、プログラム記憶部１２１、対象物記憶部１２２、設定情報記憶部１２３が設けられている。   The storage unit 12 includes an HDD (Hard Disk Drive), a semiconductor nonvolatile memory, and the like. For example, as shown in FIG. 1, the storage unit 12 includes a program storage unit 121, an object storage unit 122, and a setting information storage unit 123.

プログラム記憶部１２１には、ＣＰＵ１０で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。例えば、プログラム記憶部１２１には、後述する表示制御処理Ｐ１を実行するためのプログラム等が記憶されている。これらのプログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部１２１に格納されている。ＣＰＵ１０は、当該プログラムコードに従った動作を逐次実行する。   The program storage unit 121 stores a system program executed by the CPU 10, various processing programs, data necessary for executing these programs, and the like. For example, the program storage unit 121 stores a program for executing a display control process P1 described later. These programs are stored in the program storage unit 121 in the form of computer-readable program codes. The CPU 10 sequentially executes operations according to the program code.

対象物記憶部１２２には、対象物Ａの認識用データが記憶されている。対象物記憶部１２２に記憶される認識用データは、操作部１５や通信部１３によりユーザが設定、変更することが可能である。
対象物Ａとしては、上述のように、ＡＲマーカ、特定の物体等が適用可能である。対象物ＡがＡＲマーカである場合、認識用データとしては、例えば、そのＡＲマーカの画像パターンを示すパターンファイルが記憶される。対象物Ａが特定の物体である場合、認識用データとしては、例えば、特定の物体の撮像画像が格納される。本実施形態においては、対象物ＡがＡＲマーカである場合を例にとり説明する。 The object storage unit 122 stores recognition data for the object A. The recognition data stored in the object storage unit 122 can be set and changed by the user through the operation unit 15 or the communication unit 13.
As the object A, as described above, an AR marker, a specific object, or the like can be applied. When the object A is an AR marker, for example, a pattern file indicating an image pattern of the AR marker is stored as the recognition data. When the target A is a specific object, for example, a captured image of the specific object is stored as the recognition data. In the present embodiment, a case where the object A is an AR marker will be described as an example.

設定情報記憶部１２３は、図２に示すように、対象物Ａのフレームインの認識回数と、対象物Ａのフレームインがその認識回数だけ認識されたときに表示部１４に表示する内容を示す表示情報と、を対応付けて記憶する。設定情報記憶部１２３への情報の設定は、操作部１５や通信部１３によりユーザが設定可能である。   As shown in FIG. 2, the setting information storage unit 123 indicates the number of times frame-in is recognized for the object A and the content displayed on the display unit 14 when the number of frame-ins for the object A is recognized. The display information is stored in association with each other. Information can be set in the setting information storage unit 123 by the user via the operation unit 15 or the communication unit 13.

通信部１３は、ＬＡＮ（Local Area Network）アダプタやルータ等により構成され、ＬＡＮ等の通信ネットワークを介して外部装置と通信接続し、データ送受信を行う。   The communication unit 13 includes a LAN (Local Area Network) adapter, a router, and the like, and performs communication connection with an external device via a communication network such as a LAN to perform data transmission / reception.

表示部１４は、ＬＣＤ（Liquid Crystal Display）等により構成され、ＣＰＵ１０からの表示制御信号に従って、画面上に各種表示を行う表示手段である。   The display unit 14 is configured by an LCD (Liquid Crystal Display) or the like, and is a display unit that performs various displays on the screen in accordance with a display control signal from the CPU 10.

操作部１５は、カーソルキー、各種機能キー、シャッターキーを備え、ユーザによる各キーの押下入力を受け付けてその操作情報をＣＰＵ１０に出力する。また、操作部１５は、表示部１４の表面を覆うように透明電極を格子状に配置したタッチパネル等を有し、手指やタッチペン等で押下された位置を検出し、その位置情報を操作情報としてＣＰＵ１０に出力する。   The operation unit 15 includes a cursor key, various function keys, and a shutter key. The operation unit 15 receives a pressing input of each key by the user and outputs operation information to the CPU 10. The operation unit 15 includes a touch panel or the like in which transparent electrodes are arranged in a grid so as to cover the surface of the display unit 14, detects a position pressed with a finger or a touch pen, and uses the position information as operation information. It outputs to CPU10.

カメラ１６は、レンズ、絞り、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、撮像素子上に被写体の光学像を結像し、その像を電気的な信号としてＣＰＵ１０に出力する撮像手段である。
現在時刻取得部１７は、ＲＴＣ（Real Time Clock）等により構成され、現在日時を計測してＣＰＵ１０に出力する。 The camera 16 includes an imaging element such as a lens, a diaphragm, a CCD (Charge Coupled Device), or a CMOS (Complementary Metal Oxide Semiconductor), and forms an optical image of a subject on the imaging element, and uses the image as an electrical signal. This is imaging means for outputting to the CPU 10.
The current time acquisition unit 17 is configured by an RTC (Real Time Clock) or the like, measures the current date and time, and outputs it to the CPU 10.

＜画像処理装置１の動作＞
次に、本実施形態における画像処理装置１の動作について説明する。
図３に、画像処理装置１によって実行される表示制御処理Ｐ１のフローチャートを示す。表示制御処理Ｐ１は、操作部１５による実行指示に応じて、ＣＰＵ１０とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。 <Operation of Image Processing Apparatus 1>
Next, the operation of the image processing apparatus 1 in the present embodiment will be described.
FIG. 3 shows a flowchart of the display control process P1 executed by the image processing apparatus 1. The display control process P <b> 1 is executed in cooperation with the CPU 10 and the program stored in the program storage unit 121 in accordance with an execution instruction from the operation unit 15.

まず、ＣＰＵ１０は、認識回数カウンタ１１１をリセットする（ステップＳ１０）。
次いで、ＣＰＵ１０は、カメラ１６を起動させる（ステップＳ１１）。なお、カメラ１６の起動後、表示制御処理Ｐ１の実行中において、カメラ１６は、所定時間毎に撮像画像を取得する。ＣＰＵ１０は、カメラ１６により取得された撮像画像を現在時刻取得部１７からの現在時刻と対応付けてＲＡＭ１１に記憶するとともに、略リアルタイムで表示部１４の画面上に表示させる。 First, the CPU 10 resets the recognition number counter 111 (step S10).
Next, the CPU 10 activates the camera 16 (step S11). Note that after the camera 16 is activated, the camera 16 acquires a captured image every predetermined time during the execution of the display control process P1. The CPU 10 stores the captured image acquired by the camera 16 in the RAM 11 in association with the current time from the current time acquisition unit 17 and displays it on the screen of the display unit 14 in substantially real time.

次いで、ＣＰＵ１０は、対象物Ａのフレームインが認識されるのを待機する（ステップＳ１２）。具体的には、ＣＰＵ１０は、カメラ１６により所定時間毎に取得される撮像画像に対して順次画像処理による対象物認識処理を行う。対象物認識処理は、対象物ＡがＡＲマーカである場合、公知のＡＲマーカの認識処理と同様の手法により行うことができる。例えば、撮像画像から黒枠で囲まれた矩形領域を認識し、この黒枠で囲まれた領域内の画像パターンと、対象物記憶部１２２に記憶されている対象物Ａの認識用データ（即ち、パターンファイル）とを比較し、一致率が所定の閾値以上である場合に、対象物Ａを認識したと判断する。対象物Ａが認識されていなかった状態から認識された状態となったときに、ＣＰＵ１０は、対象物Ａがフレームインしたと認識する。
なお、対象物Ａを特定の物体とした場合は、例えば、記憶部２５に認識用データとして対象物Ａの撮像画像をテンプレート画像として記憶しておき、対象物認識処理として、例えばテンプレートマッチングを行ってカメラ１６により取得された撮像画像から対象物Ａを認識することができる。 Next, the CPU 10 waits for the frame-in of the object A to be recognized (step S12). Specifically, the CPU 10 sequentially performs object recognition processing by image processing on captured images acquired by the camera 16 every predetermined time. When the object A is an AR marker, the object recognition process can be performed by the same method as the known AR marker recognition process. For example, a rectangular area surrounded by a black frame is recognized from the captured image, and the image pattern in the area surrounded by the black frame and the recognition data (that is, the pattern) of the object A stored in the object storage unit 122. File) and if the matching rate is equal to or greater than a predetermined threshold, it is determined that the object A has been recognized. When the object A is recognized from the state in which the object A has not been recognized, the CPU 10 recognizes that the object A has entered the frame.
When the target object A is a specific object, for example, a captured image of the target object A is stored as a template image in the storage unit 25 as recognition data, and for example, template matching is performed as the target object recognition process. Thus, the object A can be recognized from the captured image acquired by the camera 16.

対象物Ａのフレームインが認識されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１０は、認識回数カウンタ１１１に１を加算する（ステップＳ１３）。   When the frame-in of the object A is recognized (step S12; YES), the CPU 10 adds 1 to the recognition number counter 111 (step S13).

次いで、ＣＰＵ１０は、認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている認識回数のそれぞれとを比較する(ステップＳ１４)。
比較の結果、認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている認識回数とが一致していると判断した場合（ステップＳ１５；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３においてその一致した認識回数に対応付けて記憶されている表示情報に基づいて表示部１４に表示を行わせ（ステップＳ１６）、ステップＳ１７に移行する。例えば、表示部１４に対象物Ａの認識回数に応じた仮想物体画像を表示させる。
比較の結果、認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている認識回数とが一致していないと判断した場合（ステップＳ１５；ＮＯ）、ＣＰＵ１０は、ステップＳ１７の処理に移行する。即ち、現在表示している情報の表示をそのまま継続させる。 Next, the CPU 10 compares the value of the recognition number counter 111 with the number of recognition times stored in the setting information storage unit 123 (step S14).
As a result of the comparison, when it is determined that the value of the recognition number counter 111 matches the number of recognitions stored in the setting information storage unit 123 (step S15; YES), the CPU 10 in the setting information storage unit 123 Based on the display information stored in association with the coincidence number of times of recognition, display is performed on the display unit 14 (step S16), and the process proceeds to step S17. For example, a virtual object image corresponding to the number of times the object A is recognized is displayed on the display unit 14.
As a result of the comparison, when it is determined that the value of the recognition number counter 111 does not match the number of recognitions stored in the setting information storage unit 123 (step S15; NO), the CPU 10 proceeds to the process of step S17. To do. That is, the display of the currently displayed information is continued as it is.

ステップＳ１７において、ＣＰＵ１０は、対象物Ａのフレームアウトが認識されるのを待機する（ステップＳ１７）。この間、ＣＰＵ１０は、カメラ１６により所定時間毎に取得される撮像画像に対し、上述の対象物認識処理を行い、対象物Ａが認識されなくなった場合に、対象物Ａがフレームアウトしたと認識する。   In step S17, the CPU 10 waits for the recognition of the frame out of the object A (step S17). During this time, the CPU 10 performs the above-described object recognition processing on the captured images acquired by the camera 16 every predetermined time, and recognizes that the object A is out of frame when the object A is no longer recognized. .

対象物Ａのフレームアウトが認識されると（ステップＳ１７；ＹＥＳ）、ＣＰＵ１０は、内部クロックにより計時を開始する（ステップＳ１８）。   When the frame out of the object A is recognized (step S17; YES), the CPU 10 starts measuring time with the internal clock (step S18).

次いで、ＣＰＵ１０は、フレームアウト後の撮像画像に対し、対象物認識処理を行い、対象物Ａのフレームインが認識されたか否かを判断する（ステップＳ１９）。対象物Ａのフレームインが認識されたと判断した場合（ステップＳ１９；ＹＥＳ）、ＣＰＵ１０は、ステップＳ１３の処理に戻り、ステップＳ１３〜ステップＳ１９の処理を繰り返し実行する。   Next, the CPU 10 performs object recognition processing on the captured image after the frame-out, and determines whether or not the frame-in of the object A has been recognized (step S19). When it is determined that the frame-in of the object A has been recognized (step S19; YES), the CPU 10 returns to the process of step S13 and repeatedly executes the processes of step S13 to step S19.

対象物Ａのフレームインが認識されていないと判断した場合（ステップＳ１９；ＮＯ）、ＣＰＵ１０は、計時開始から（即ち、フレームアウトしてから）所定時間が経過したか否かを判断する（ステップＳ２０）。
計時開始から（即ち、フレームアウトしてから）所定時間が経過していないと判断した場合（ステップＳ２０；ＮＯ）、処理はステップＳ１９に戻る。
計時開始から（即ち、フレームアウトしてから）所定時間が経過したと判断した場合（ステップＳ２０；ＹＥＳ）、ＣＰＵ１０は、ＲＡＭ１１に記憶されている撮像画像及び認識回数カウンタ１１１をリセット（消去）する（ステップＳ２１）。これにより、初期状態となる。 When it is determined that the frame-in of the object A has not been recognized (step S19; NO), the CPU 10 determines whether or not a predetermined time has elapsed since the start of time measurement (ie, after the frame-out) (step S19). S20).
When it is determined that the predetermined time has not elapsed since the start of time measurement (that is, after frame out) (step S20; NO), the process returns to step S19.
When it is determined that a predetermined time has elapsed from the start of timing (that is, after frame out) (step S20; YES), the CPU 10 resets (erases) the captured image and the recognition number counter 111 stored in the RAM 11. (Step S21). Thereby, it will be in an initial state.

操作部１５から終了指示が入力されるまでステップＳ１２〜ステップＳ２１の処理が繰り返し実行される。操作部１５から終了指示が入力されると（ステップＳ２２；ＹＥＳ）、ＣＰＵ１０は、表示制御処理Ｐ１を終了する。   The processes in steps S12 to S21 are repeatedly executed until an end instruction is input from the operation unit 15. When an end instruction is input from the operation unit 15 (step S22; YES), the CPU 10 ends the display control process P1.

ここで、上記の表示制御処理Ｐ１による表示動作について、図４に具体例を挙げて説明する。
例えば、図４（ａ）に示す初期状態において、画像処理装置１を左に動かすと、図４（ｂ）に示すように対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は１回であり、これは設定情報記憶部１２３（図２参照）に記憶されている認識回数と一致しているので、認識回数１回に対応付けられている表示情報（ウサギ）に基づいて、表示部１４にウサギの画像が表示される。 Here, the display operation by the display control process P1 will be described with reference to a specific example in FIG.
For example, in the initial state shown in FIG. 4A, when the image processing apparatus 1 is moved to the left, the object A is framed in as shown in FIG. 4B. At this time, the number of times the object A is recognized for frame-in is one, which matches the number of recognitions stored in the setting information storage unit 123 (see FIG. 2). Based on the attached display information (rabbit), a rabbit image is displayed on the display unit 14.

次に、画像処理装置１を右に動かすと、図４（ｃ）に示すように、対象物Ａが左からフレームアウトする。ここから画像処理装置１を左に動かすと、図４（ｄ）に示すように対象物Ａが左からフレームインする。このとき、対象物Ａのフレームインの認識回数は２回であるが、認識回数２回のときの表示情報は設定情報記憶部１２３に設定されていないため、表示内容は変更されない。   Next, when the image processing apparatus 1 is moved to the right, the object A is out of the frame from the left as shown in FIG. When the image processing apparatus 1 is moved to the left from here, the object A is framed in from the left as shown in FIG. At this time, although the number of times frame-in is recognized by the object A is two, the display information is not changed in the setting information storage unit 123 because the display information when the number of recognitions is two is not changed.

次に、画像処理装置１を上に動かすと、図４（ｅ）に示すように、対象物Ａが下からフレームアウトする。ここから画像処理装置１を下に動かすと、図４（ｆ）に示すように対象物Ａが下からフレームインする。このとき、対象物Ａのフレームインの認識回数は３回であり、これは設定情報記憶部１２３に記憶されている認識回数と一致しているので、設定情報記憶部１２３において認識回数３回に対応付けられている表示情報（ネコ）に基づいて、表示部１４にネコの画像が表示される。   Next, when the image processing apparatus 1 is moved upward, as shown in FIG. 4E, the object A is out of the frame from below. When the image processing apparatus 1 is moved downward from here, the object A is framed in from below as shown in FIG. At this time, the recognition number of frame-in of the object A is 3 times, which is the same as the number of recognition times stored in the setting information storage unit 123, so that the number of recognition times is 3 in the setting information storage unit 123. A cat image is displayed on the display unit 14 based on the associated display information (cat).

このように、第１の実施形態によれば、図５に示すように、画像処理装置１を上下左右に動かして対象物Ａをフレームインさせると、フレームインが認識された回数に応じた所定の表示が行われる。従って、同じ対象物Ａを用いて、画面からの入力操作を行うことなく異なる複数の表示を行わせることができ、利便性が向上する。   Thus, according to the first embodiment, as shown in FIG. 5, when the image processing apparatus 1 is moved up and down and left and right to frame the object A, the predetermined number corresponding to the number of times frame-in is recognized is determined. Is displayed. Therefore, a plurality of different displays can be performed using the same object A without performing an input operation from the screen, and convenience is improved.

［第２の実施形態］
次に、第２の実施形態について説明する。
第１の実施形態においては、１つの対象物のフレームインを認識した回数に基づいて表示制御を行う場合について説明したが、第２の実施形態においては、複数の対象物のそれぞれのフレームインを認識した回数に基づいて表示制御を行う場合について説明する。 [Second Embodiment]
Next, a second embodiment will be described.
In the first embodiment, the case where display control is performed based on the number of times frame-in of one object is recognized has been described. However, in the second embodiment, each frame-in of a plurality of objects is determined. A case where display control is performed based on the recognized number of times will be described.

第２の実施形態における画像処理装置１の構成は、第１の実施形態で図１を用いて説明したものと略同様であるが、認識回数カウンタ１１１の構成、プログラム記憶部１２１に記憶されているプログラムの内容、対象物記憶部１２２及び設定情報記憶部１２３の構成が第１の実施形態と異なる。   The configuration of the image processing apparatus 1 in the second embodiment is substantially the same as that described with reference to FIG. 1 in the first embodiment. However, the configuration of the recognition counter 111 is stored in the program storage unit 121. The contents of the program, the object storage unit 122, and the configuration of the setting information storage unit 123 are different from those of the first embodiment.

認識回数カウンタ１１１は、２つの対象物Ａ、Ｂのそれぞれのフレームインの認識回数を格納するための２つの認識回数カウンタを有している。
プログラム記憶部１２１には、ＣＰＵ１０が後述する表示制御処理Ｐ２をはじめとする各種処理を実行するためのプログラムやプログラムの実行に必要なデータが記憶されている。
対象物記憶部１２２には、２つの対象物Ａ、Ｂのそれぞれの認識用データが記憶されている。
設定情報記憶部１２３には、図６に示すように、対象物Ａ、Ｂのそれぞれのフレームインの認識回数と、対象物Ａ、Ｂのフレームインがその認識回数だけ認識されたときに表示部１４に表示する内容を示す表示情報と、を対応付けて記憶する。
その他の画像処理装置１の構成は、第１の実施形態で説明したものと同様であるので説明を援用する。 The recognition number counter 111 has two recognition number counters for storing the number of frame-in recognition times of the two objects A and B, respectively.
The program storage unit 121 stores a program for the CPU 10 to execute various processes including a display control process P2 described later, and data necessary for executing the program.
The object storage unit 122 stores data for recognition of each of the two objects A and B.
As shown in FIG. 6, the setting information storage unit 123 displays a display unit when the number of frame-in recognitions of the objects A and B and the number of frame-in recognitions of the objects A and B are recognized. 14 is stored in association with display information indicating the content to be displayed on the screen.
Since the other configuration of the image processing apparatus 1 is the same as that described in the first embodiment, the description thereof is cited.

次に、第２の実施形態の動作について説明する。
図７に、第２の実施形態において画像処理装置１により実行される表示制御処理Ｐ２のフローチャートを示す。表示制御処理Ｐ２は、操作部１５による実行指示に応じて、ＣＰＵ１０とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。 Next, the operation of the second embodiment will be described.
FIG. 7 shows a flowchart of the display control process P2 executed by the image processing apparatus 1 in the second embodiment. The display control process P <b> 2 is executed in cooperation with the CPU 10 and the program stored in the program storage unit 121 in accordance with an execution instruction from the operation unit 15.

まず、ＣＰＵ１０は、認識回数カウンタ１１１をリセットする（ステップＳ３０）。
次いで、ＣＰＵ１０は、カメラ１６を起動させる（ステップＳ３１）。なお、カメラ１６の起動後、表示制御処理Ｐ２の実行中において、カメラ１６は、所定時間毎に撮像画像を取得する。ＣＰＵ１０は、カメラ１６により取得された撮像画像を現在時刻取得部１７からの現在時刻と対応付けてＲＡＭ１１に記憶するとともに、略リアルタイムで表示部１４の画面上に表示させる。 First, the CPU 10 resets the recognition number counter 111 (step S30).
Next, the CPU 10 activates the camera 16 (step S31). Note that after the camera 16 is activated, the camera 16 acquires a captured image every predetermined time during the execution of the display control process P2. The CPU 10 stores the captured image acquired by the camera 16 in the RAM 11 in association with the current time from the current time acquisition unit 17 and displays it on the screen of the display unit 14 in substantially real time.

次いで、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームインが認識されたか否かを判断する（ステップＳ３２）。ステップＳ３２の処理はステップＳ１２と同様であるので説明を援用する。   Next, the CPU 10 determines whether or not any of the objects A and B has been recognized (step S32). Since the process of step S32 is the same as that of step S12, description is used.

対象物Ａ、Ｂの何れかのフレームインが認識されたと判断した場合（ステップＳ３２；ＹＥＳ）、ＣＰＵ１０は、フレームインが認識された対象物に対応する認識回数カウンタ１１１に１を加算する（ステップＳ３３）。   If it is determined that any frame-in of the objects A and B has been recognized (step S32; YES), the CPU 10 adds 1 to the recognition number counter 111 corresponding to the object for which the frame-in has been recognized (step S32). S33).

次いで、ＣＰＵ１０は、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３の各レコードに記憶されている対象物Ａ、Ｂの認識回数とを比較する(ステップＳ３４)。
比較の結果、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている何れかのレコードの対象物Ａ、Ｂの認識回数とがそれぞれ一致していると判断した場合（ステップＳ３５；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３においてその一致した対象物Ａ、Ｂの認識回数に対応付けて記憶されている表示情報に基づいて、表示部１４に表示を行わせ（ステップＳ３６）、ステップＳ３７の処理に移行する。例えば、表示部１４に対象物Ａ、Ｂの認識回数に応じた仮想物体画像を表示させる。
比較の結果、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている対象物Ａ、Ｂの認識回数とが一致していないと判断した場合（ステップＳ３５；ＮＯ）、ＣＰＵ１０は、ステップＳ３７の処理に移行する。即ち、現在表示している情報の表示をそのまま継続させる。 Next, the CPU 10 compares the value of the recognition number counter 111 of the objects A and B with the number of times of recognition of the objects A and B stored in each record of the setting information storage unit 123 (step S34).
As a result of the comparison, it is determined that the value of the recognition number counter 111 of the objects A and B matches the number of times of recognition of the objects A and B in any record stored in the setting information storage unit 123. If so (step S35; YES), the CPU 10 performs display on the display unit 14 based on the display information stored in the setting information storage unit 123 in association with the number of times of recognition of the matched objects A and B. (Step S36), the process proceeds to Step S37. For example, a virtual object image corresponding to the number of times the objects A and B are recognized is displayed on the display unit 14.
As a result of comparison, when it is determined that the value of the recognition number counter 111 of the objects A and B does not match the number of recognition times of the objects A and B stored in the setting information storage unit 123 (step S35; NO), the CPU 10 proceeds to the process of step S37. That is, the display of the currently displayed information is continued as it is.

ステップＳ３７において、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームアウトが認識されたか否かを判断する（ステップＳ３７）。フレームアウトの認識は、図３のステップＳ１７で説明したものと同様であるので説明を援用する。
対象物Ａ、Ｂの何れかのフレームアウトが認識されたと判断した場合（ステップＳ３７；ＹＥＳ）、ＣＰＵ１０は、ステップＳ３９の処理に移行する。
対象物Ａ、Ｂの何れのフレームアウトも認識されていないと判断した場合（ステップＳ３７；ＮＯ）、ＣＰＵ１０は、ステップＳ３２の処理に戻る。 In step S <b> 37, the CPU 10 determines whether any frame out of the objects A and B has been recognized (step S <b> 37). The recognition of frame-out is the same as that described in step S17 in FIG.
If it is determined that any frame out of the objects A and B has been recognized (step S37; YES), the CPU 10 proceeds to the process of step S39.
When it is determined that neither frame out of the objects A and B has been recognized (step S37; NO), the CPU 10 returns to the process of step S32.

ステップＳ３２において、対象物Ａ、Ｂの何れのフレームインも認識されず（ステップＳ３２；ＮＯ）、対象物Ａ、Ｂの何れかのフレームアウトが認識されたと判断した場合（ステップＳ３８；ＹＥＳ）、ＣＰＵ１０は、ステップＳ３９に移行する。   When it is determined in step S32 that neither frame-in of the objects A and B is recognized (step S32; NO) and any frame-out of the objects A and B is recognized (step S38; YES), CPU10 transfers to step S39.

ステップＳ３９において、ＣＰＵ１０は、全ての対象物Ａ、Ｂがフレームアウトした状態であるか否かを判断する（ステップＳ３９）。全ての対象物Ａ、Ｂがフレームアウトした状態ではないと判断した場合（ステップＳ３９；ＮＯ）、ＣＰＵ１０は、ステップＳ３２の処理に戻る。
全ての対象物Ａ、Ｂがフレームアウトした状態であると判断した場合（ステップＳ３９；ＹＥＳ）、ＣＰＵ１０は、内部クロックにより計時を開始する（ステップＳ４０）。 In step S39, the CPU 10 determines whether or not all the objects A and B are out of frame (step S39). When determining that all the objects A and B are not out of frame (step S39; NO), the CPU 10 returns to the process of step S32.
When it is determined that all the objects A and B are in a frame-out state (step S39; YES), the CPU 10 starts measuring time with the internal clock (step S40).

次いで、ＣＰＵ１０は、フレームアウト後の撮像画像に対し、対象物認識処理を行い、対象物Ａ、Ｂの何れかのフレームインが認識されたか否かを判断する（ステップＳ４１）。対象物Ａ、Ｂの何れかのフレームインが認識されたと判断した場合（ステップＳ４１；ＹＥＳ）、ＣＰＵ１０は、ステップＳ３３の処理に戻る。   Next, the CPU 10 performs object recognition processing on the captured image after the frame-out, and determines whether any frame-in of the objects A and B has been recognized (step S41). When it is determined that any frame-in of the objects A and B has been recognized (step S41; YES), the CPU 10 returns to the process of step S33.

対象物Ａ、Ｂの何れのフレームインも認識されていないと判断した場合（ステップＳ４１；ＮＯ）、ＣＰＵ１０は、計時開始から（即ち、フレームアウトしてから）所定時間が経過したか否かを判断する（ステップＳ４２）。
計時開始から（即ち、フレームアウトしてから）所定時間が経過していないと判断した場合（ステップＳ４２；ＮＯ）、処理はステップＳ４１に戻る。
計時開始から（即ち、フレームアウトしてから）所定時間が経過したと判断した場合（ステップＳ４２；ＹＥＳ）、ＣＰＵ１０は、ＲＡＭ１１に記憶されている撮像画像及び認識回数カウンタ１１１をリセット（消去）する（ステップＳ４３）。これにより、初期状態となる。 When it is determined that neither frame-in of the objects A and B has been recognized (step S41; NO), the CPU 10 determines whether or not a predetermined time has elapsed since the start of timing (that is, after frame-out). Judgment is made (step S42).
When it is determined that the predetermined time has not elapsed since the start of time measurement (that is, after frame out) (step S42; NO), the process returns to step S41.
When it is determined that a predetermined time has elapsed from the start of timing (that is, after frame out) (step S42; YES), the CPU 10 resets (erases) the captured image and the recognition number counter 111 stored in the RAM 11. (Step S43). Thereby, it will be in an initial state.

操作部１５から終了指示が入力されるまでステップＳ３２〜ステップＳ４３の処理が繰り返し実行される。操作部１５から終了指示が入力されると（ステップＳ４４；ＹＥＳ）、ＣＰＵ１０は、表示制御処理Ｐ２を終了する。   The processes in steps S32 to S43 are repeatedly executed until an end instruction is input from the operation unit 15. When an end instruction is input from the operation unit 15 (step S44; YES), the CPU 10 ends the display control process P2.

ここで、上記の表示制御処理Ｐ２による表示動作について、図８に具体例を挙げて説明する。なお、図８においては、フレームインした対象物を星形で囲んで示している（図１２、図１５、図１８についても同様）。
例えば、図８（ａ）に示す初期状態において、画像処理装置１を左に動かすと、図８（ｂ）に示すように対象物Ａ、Ｂがそれぞれフレームインする。このとき、対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は１回であり、これは設定情報記憶部１２３（図６参照）に記憶されている認識回数と一致しているので、設定情報記憶部１２３において対象物Ａの認識回数＝１、対象物Ｂの認識回数＝１に対応付けられている表示情報（ウサギ）に基づいて、表示部１４にウサギの画像が表示される。 Here, the display operation by the display control process P2 will be described with reference to FIG. In FIG. 8, the framed-in object is surrounded by a star (the same applies to FIGS. 12, 15, and 18).
For example, when the image processing apparatus 1 is moved to the left in the initial state shown in FIG. 8A, the objects A and B are framed in as shown in FIG. 8B. At this time, the recognition number of frame-in of the object A is 1 and the recognition number of frame-in of the object B is 1. This is the number of recognitions stored in the setting information storage unit 123 (see FIG. 6). Since the number of times of recognition of the object A = 1 and the number of times of recognition of the object B = 1 in the setting information storage unit 123, the display unit 14 displays a rabbit. Is displayed.

次に、画像処理装置１を右に動かすと、図８（ｃ）に示すように、対象物Ａ及び対象物Ｂがフレームアウトする。ここから画像処理装置１を左に動かすと、図８（ｄ）に示すように対象物Ａ及び対象物Ｂが左からフレームインする。このとき、対象物Ａのフレームインの認識回数は２回、対象物Ｂのフレームインの認識回数は２回であり、これは設定情報記憶部１２３に記憶されている認識回数と一致しているので、設定情報記憶部１２３において対象物Ａの認識回数＝２、対象物Ｂの認識回数＝２に対応付けられている表示情報（ネコ）に基づいて、表示部１４にネコの画像が表示される。   Next, when the image processing apparatus 1 is moved to the right, the object A and the object B are out of frame as shown in FIG. When the image processing apparatus 1 is moved to the left from here, the object A and the object B are framed in from the left as shown in FIG. At this time, the recognition number of frame-in of the object A is two, and the recognition number of frame-in of the object B is two, which matches the number of recognitions stored in the setting information storage unit 123. Therefore, the cat image is displayed on the display unit 14 based on the display information (cat) associated with the number of recognitions of the object A = 2 and the number of recognitions of the object B = 2 in the setting information storage unit 123. The

このように、第２の実施形態によれば、図５に示すように、画像処理装置１を上下左右に動かして、対象物Ａ、Ｂをフレームインさせると、それぞれのフレームインが認識された回数に応じた所定の表示が行われる。従って、同じ対象物Ａ、Ｂを用いて、画面からの入力操作を行うことなく異なる複数の表示を行わせることができ、利便性が向上する。また、対象物を複数とすることで、対象物１つ当たりの認識回数を増やすことなく切り替え可能な表示の種類を増やすことができる。   Thus, according to the second embodiment, as shown in FIG. 5, when the image processing apparatus 1 is moved up and down, left and right, and the objects A and B are framed in, the respective frame-in is recognized. A predetermined display according to the number of times is performed. Therefore, a plurality of different displays can be performed using the same objects A and B without performing an input operation from the screen, and convenience is improved. In addition, by using a plurality of objects, it is possible to increase the types of display that can be switched without increasing the number of times of recognition per object.

［第３の実施形態］
次に、第３の実施形態について説明する。
第２の実施形態においては、複数の対象物のそれぞれのフレームインが認識された回数のみに基づいて表示制御を行う場合について説明したが、第３の実施形態においては、複数の対象物のそれぞれのフレームインが認識された回数と、複数の対象物がフレームイン／フレームアウトした順序とに基づいて表示制御を行う場合について説明する。 [Third Embodiment]
Next, a third embodiment will be described.
In the second embodiment, the case where display control is performed based only on the number of times each frame-in of a plurality of objects has been recognized has been described. However, in the third embodiment, each of the plurality of objects. A case will be described in which display control is performed based on the number of times the frame-in is recognized and the order in which a plurality of objects are frame-in / frame-out.

第３の実施形態における画像処理装置１の構成は、第１の実施形態で図１を用いて説明したものと略同様であるが、ＲＡＭ１１の構成、プログラム記憶部１２１に記憶されているプログラムの内容、対象物記憶部１２２及び設定情報記憶部１２３の構成は、第１の実施形態と異なる。   The configuration of the image processing apparatus 1 in the third embodiment is substantially the same as that described with reference to FIG. 1 in the first embodiment, but the configuration of the RAM 11 and the program stored in the program storage unit 121 are the same. The contents, the configuration of the object storage unit 122, and the setting information storage unit 123 are different from those of the first embodiment.

ＲＡＭ１１には、図９に示すように、認識回数カウンタ１１１の他、履歴記憶部１１２、認識回数メモリ１１３が設けられている。
認識回数カウンタ１１１は、第２の実施形態と同様、２つの対象物Ａ、Ｂのそれぞれのフレームインの認識回数を格納するための２つの認識回数カウンタを有している。
履歴記憶部１１２は、対象物Ａ、Ｂのフレームイン又はフレームアウトが認識されたときに、その履歴を記憶する。
認識回数メモリ１１３は、認識回数カウンタ１１１の値と設定情報記憶部１２３に設定されている認識回数とが一致したときの認識回数を格納しておくためのメモリである。 As shown in FIG. 9, the RAM 11 is provided with a history storage unit 112 and a recognition number memory 113 in addition to the recognition number counter 111.
Similar to the second embodiment, the recognition number counter 111 has two recognition number counters for storing the number of times of recognition of each of the two objects A and B.
The history storage unit 112 stores the history when the frame-in or frame-out of the objects A and B is recognized.
The recognition number memory 113 is a memory for storing the number of recognitions when the value of the recognition number counter 111 matches the number of recognitions set in the setting information storage unit 123.

プログラム記憶部１２１には、ＣＰＵ１０が後述する表示制御処理Ｐ３をはじめとする各種処理を実行するためのプログラムやプログラムの実行に必要なデータが記憶されている。
対象物記憶部１２２には、第２の実施形態と同様、２つの対象物Ａ、Ｂのそれぞれの認識用データが記憶されている。
設定情報記憶部１２３には、図１０に示すように、対象物Ａ、Ｂのそれぞれのフレームインの認識回数と、対象物Ａ、Ｂのフレームインとフレームアウトの認識順序のパターン（認識パターンという）と、対象物Ａ、Ｂのそれぞれがその認識回数だけ認識されかつ対象物Ａ、Ｂのフレームインとフレームアウトが認識された順序が認識パターンに一致したときに表示部１４に表示する内容を示す表示情報と、を対応付けて記憶する。なお、Ａｉｎは対象物Ａがフレームインしたことを示し、Ａｏｕｔは対象物Ａがフレームアウトしたことを示す。Ｂｉｎは対象物Ｂがフレームインしたことを示し、Ｂｏｕｔは対象物Ｂがフレームアウトしたことを示す。
その他の画像処理装置１の構成は、第１の実施形態で説明したものと同様であるので説明を援用する。 The program storage unit 121 stores a program for the CPU 10 to execute various processes including a display control process P3 described later, and data necessary for executing the program.
Similar to the second embodiment, the object storage unit 122 stores data for recognition of each of the two objects A and B.
In the setting information storage unit 123, as shown in FIG. 10, the number of frame-in recognitions of the objects A and B and the recognition order pattern of the objects A and B (referred to as recognition patterns). ) And the contents to be displayed on the display unit 14 when each of the objects A and B is recognized by the number of times of recognition and the order in which the frame in and frame out of the objects A and B are recognized matches the recognition pattern. The display information to be shown is stored in association with each other. Ain indicates that the object A has entered the frame, and Aout indicates that the object A has gone out of the frame. Bin indicates that the object B has entered the frame, and Bout indicates that the object B has been out of the frame.
Since the other configuration of the image processing apparatus 1 is the same as that described in the first embodiment, the description thereof is cited.

次に、第３の実施形態の動作について説明する。
図１１に、第３の実施形態において画像処理装置１により実行される表示制御処理Ｐ３のフローチャートを示す。表示制御処理Ｐ３は、操作部１５による実行指示に応じて、ＣＰＵ１０とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。 Next, the operation of the third embodiment will be described.
FIG. 11 shows a flowchart of the display control process P3 executed by the image processing apparatus 1 in the third embodiment. The display control process P3 is executed in cooperation with the CPU 10 and the program stored in the program storage unit 121 in accordance with an execution instruction from the operation unit 15.

まず、ＣＰＵ１０は、認識回数カウンタ１１１、履歴記憶部１１２、認識回数メモリ１１３をリセットする（ステップＳ５０）。
次いで、ＣＰＵ１０は、カメラ１６を起動させる（ステップＳ５１）。なお、カメラ１６の起動後、表示制御処理Ｐ３の実行中において、カメラ１６は、所定時間毎に撮像画像を取得する。ＣＰＵ１０は、カメラ１６により取得された撮像画像を現在時刻取得部１７からの現在時刻と対応付けてＲＡＭ１１に記憶するとともに、略リアルタイムで表示部１４の画面上に表示させる。 First, the CPU 10 resets the recognition number counter 111, the history storage unit 112, and the recognition number memory 113 (step S50).
Next, the CPU 10 activates the camera 16 (step S51). Note that after the camera 16 is activated, the camera 16 acquires a captured image every predetermined time during the execution of the display control process P3. The CPU 10 stores the captured image acquired by the camera 16 in the RAM 11 in association with the current time from the current time acquisition unit 17 and displays it on the screen of the display unit 14 in substantially real time.

次いで、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームインが認識されたか否かを判断する（ステップＳ５２）。ステップＳ５２の処理は図３のステップＳ１２と同様であるので説明を援用する。   Next, the CPU 10 determines whether or not any of the objects A and B has been recognized (step S52). Since the process of step S52 is the same as that of step S12 of FIG. 3, description is used.

対象物Ａ、Ｂの何れかのフレームインが認識されたと判断した場合（ステップＳ５２；ＹＥＳ）、ＣＰＵ１０は、その対象物のフレームインが認識されたことを示す履歴を履歴記憶部１１２に記憶するとともに（ステップＳ５３）、その対象物に対応する認識回数カウンタ１１１に１を加算する（ステップＳ５４）。   When it is determined that any frame-in of the object A or B has been recognized (step S52; YES), the CPU 10 stores a history indicating that the frame-in of the object has been recognized in the history storage unit 112. At the same time (step S53), 1 is added to the recognition number counter 111 corresponding to the object (step S54).

次いで、ＣＰＵ１０は、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３の各レコードに記憶されている対象物Ａ、Ｂの認識回数とを比較する(ステップＳ５５)。
比較の結果、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３に記憶されている何れかのレコードの対象物Ａ、Ｂの認識回数とがそれぞれ一致していると判断した場合（ステップＳ５６；ＹＥＳ）、ＣＰＵ１０は、履歴記憶部１１２に記憶されている履歴により特定される、対象物Ａ、Ｂのフレームインとフレームアウトが認識された順序のパターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数に対応付けて記憶されている認識パターンとを比較する（ステップＳ５７）。 Next, the CPU 10 compares the value of the recognition number counter 111 of the objects A and B with the number of times of recognition of the objects A and B stored in each record of the setting information storage unit 123 (step S55).
As a result of the comparison, it is determined that the value of the recognition number counter 111 of the objects A and B matches the number of times of recognition of the objects A and B in any record stored in the setting information storage unit 123. If so (step S56; YES), the CPU 10 stores the setting pattern and the pattern of the order in which the frame-in and frame-out of the objects A and B are identified, which are specified by the history stored in the history storage unit 112. The unit 123 compares the recognition patterns stored in association with the number of times of recognition of the objects A and B (step S57).

比較の結果、履歴記憶部１１２に記憶されている履歴による順序パターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数に対応付けて記憶されている認識パターンとが一致すると判断した場合（ステップＳ５８；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数及び認識パターンに対応付けて記憶されている表示情報に基づいて、表示部１４に表示を行わせる（ステップＳ５９）。そして、対象物Ａ、Ｂの認識回数カウンタ１１１の値を認識回数メモリ１１３に格納し（ステップＳ６０）、ステップＳ６２の処理に移行する。
比較の結果、履歴記憶部１１２に記憶されている履歴による順序パターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数に対応付けて記憶されている認識パターンとが一致しないと判断した場合（ステップＳ５８；ＮＯ）、ＣＰＵ１０は、対象物Ａ、Ｂの認識回数カウンタ１１１の値を認識回数メモリ１１３に格納し（ステップＳ６０）、ステップＳ６２の処理に移行する。 As a result of comparison, when it is determined that the order pattern based on the history stored in the history storage unit 112 matches the recognition pattern stored in association with the number of times the objects A and B are recognized in the setting information storage unit 123 (Step S <b>58; YES), the CPU 10 causes the display unit 14 to display based on the display information stored in the setting information storage unit 123 in association with the number of recognitions of the objects A and B and the recognition pattern ( Step S59). Then, the value of the recognition number counter 111 of the objects A and B is stored in the recognition number memory 113 (step S60), and the process proceeds to step S62.
As a result of the comparison, it is determined that the order pattern based on the history stored in the history storage unit 112 and the recognition pattern stored in association with the number of times of recognition of the objects A and B in the setting information storage unit 123 do not match. In the case (step S58; NO), the CPU 10 stores the value of the recognition number counter 111 of the objects A and B in the recognition number memory 113 (step S60), and proceeds to the process of step S62.

一方、ステップＳ５６における比較の結果、対象物Ａ、Ｂの認識回数カウンタ１１１の値と、設定情報記憶部１２３に設定されている対象物Ａ、Ｂの認識回数とが一致していないと判断した場合（ステップＳ５６；ＮＯ）、ＣＰＵ１０は、認識回数メモリ１１３をリセットし（ステップＳ６１）、ステップＳ６２の処理に移行する。   On the other hand, as a result of the comparison in step S56, it is determined that the value of the recognition number counter 111 of the objects A and B does not match the number of recognition times of the objects A and B set in the setting information storage unit 123. In the case (step S56; NO), the CPU 10 resets the recognition number memory 113 (step S61), and proceeds to the process of step S62.

ステップＳ６２においては、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームアウトが認識されたか否かを判断する（ステップＳ６２）。フレームアウトの認識は、図３のステップＳ１７で説明したものと同様であるので説明を援用する。
対象物Ａ、Ｂの何れかのフレームアウトが認識されたと判断した場合（ステップＳ６２；ＹＥＳ）、ＣＰＵ１０は、ステップＳ６４の処理に移行する。
対象物Ａ、Ｂの何れのフレームアウトも認識されていないと判断した場合（ステップＳ６２；ＮＯ）、ＣＰＵ１０は、ステップＳ５２の処理に戻る。 In step S62, the CPU 10 determines whether any frame out of the objects A and B has been recognized (step S62). The recognition of frame-out is the same as that described in step S17 in FIG.
If it is determined that any frame out of the objects A and B has been recognized (step S62; YES), the CPU 10 proceeds to the process of step S64.
When it is determined that neither frame out of the objects A and B has been recognized (step S62; NO), the CPU 10 returns to the process of step S52.

ステップＳ５２において、対象物Ａ、Ｂのフレームインが認識されず（ステップＳ５２；ＮＯ）、対象物Ａ、Ｂの何れかのフレームアウトが認識されたと判断した場合（ステップＳ６３；ＹＥＳ）、ＣＰＵ１０は、ステップＳ６４の処理に移行する。   In step S52, when it is determined that the frame-in of the objects A and B is not recognized (step S52; NO) and any frame-out of the objects A and B is recognized (step S63; YES), the CPU 10 The process proceeds to step S64.

ステップＳ６４において、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームアウトが認識されたことを示す履歴を記憶する（ステップＳ６４）。
次いで、ＣＰＵ１０は、認識回数メモリ１１３にデータが記憶されているか否かを判断する（ステップＳ６５）。認識回数メモリ１１３にデータが記憶されている場合、対象物Ａ、Ｂのフレームインの認識回数が設定情報記憶部１２３に記憶されている対象物Ａ、Ｂの認識回数と一致していることを示す。
認識回数メモリ１１３にデータが記憶されていない場合（ステップＳ６５；ＮＯ）、ＣＰＵ１０は、ステップＳ６９の処理に移行する。
認識回数メモリ１１３にデータが記憶されていると判断した場合（ステップＳ６５；ＹＥＳ）、ＣＰＵ１０は、履歴記憶部１１２に記憶されている履歴により特定される、対象物Ａ、Ｂのフレームインとフレームアウトが認識された順序のパターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数（認識回数メモリ１１３の回数）に対応付けて記憶されている認識パターンとを比較する（ステップＳ６６）。 In step S64, the CPU 10 stores a history indicating that any frame out of the objects A and B has been recognized (step S64).
Next, the CPU 10 determines whether or not data is stored in the recognition number memory 113 (step S65). When data is stored in the recognition number memory 113, it is confirmed that the number of frame-in recognitions of the objects A and B matches the number of recognitions of the objects A and B stored in the setting information storage unit 123. Show.
When data is not stored in the recognition number memory 113 (step S65; NO), the CPU 10 proceeds to the process of step S69.
When it is determined that data is stored in the recognition number memory 113 (step S65; YES), the CPU 10 specifies the frame-in and frame of the objects A and B specified by the history stored in the history storage unit 112. The pattern of the order in which “out” is recognized is compared with the recognition pattern stored in the setting information storage unit 123 in association with the number of times of recognition of the objects A and B (the number of times of the recognition number memory 113) (step S66). .

比較の結果、履歴記憶部１１２に記憶されている履歴による順序パターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数に対応付けて記憶されている認識パターンとが一致すると判断した場合（ステップＳ６７；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数及び認識パターンに対応付けて記憶されている表示情報に基づいて、表示部１４に表示を行わせ（ステップＳ６８）、ステップＳ６９の処理に移行する。
比較の結果、履歴記憶部１１２に記憶されている履歴による順序パターンと、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数に対応付けて記憶されている認識パターンとが一致しないと判断した場合（ステップＳ６７；ＮＯ）、ＣＰＵ１０は、ステップＳ６９の処理に移行する。 As a result of comparison, when it is determined that the order pattern based on the history stored in the history storage unit 112 matches the recognition pattern stored in association with the number of times the objects A and B are recognized in the setting information storage unit 123 (Step S67; YES), the CPU 10 causes the display unit 14 to display based on the display information stored in the setting information storage unit 123 in association with the number of recognitions of the objects A and B and the recognition pattern ( The process proceeds to step S68) and step S69.
As a result of the comparison, it is determined that the order pattern based on the history stored in the history storage unit 112 and the recognition pattern stored in association with the number of times of recognition of the objects A and B in the setting information storage unit 123 do not match. In the case (step S67; NO), the CPU 10 proceeds to the process of step S69.

ステップＳ６９において、ＣＰＵ１０は、全ての対象物Ａ、Ｂがフレームアウトした状態であるか否かを判断する（ステップＳ６９）。全ての対象物Ａ、Ｂがフレームアウトした状態ではないと判断した場合（ステップＳ６９；ＮＯ）、ＣＰＵ１０は、ステップＳ５２の処理に戻る。
全ての対象物Ａ、Ｂがフレームアウトした状態であると判断した場合（ステップＳ６９；ＹＥＳ）、ステップＳ７０の処理に移行する。
ステップＳ７０〜ステップＳ７４の処理は、図７のステップＳ４０〜４４で説明したものと同様であるので説明を援用する。 In step S69, the CPU 10 determines whether or not all the objects A and B are out of frame (step S69). When determining that all the objects A and B are not out of frame (step S69; NO), the CPU 10 returns to the process of step S52.
When it is determined that all the objects A and B are out of frame (step S69; YES), the process proceeds to step S70.
Since the process of step S70-step S74 is the same as that of what was demonstrated by step S40-44 of FIG. 7, description is used.

ここで、上記の表示制御処理Ｐ３による表示動作について、図１２に具体例を挙げて説明する。
例えば、図１２（ａ）に示す初期状態において、画像処理装置１を左に動かすと、図１２（ｂ）に示すように対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は０回であり、履歴記憶部１１２に記憶されている履歴は対象物Ａのフレームイン（Ａｉｎ）である。これらは、設定情報記憶部１２３（図１０参照）に記憶されている認識回数及び認識パターンと一致しているので、対応する表示情報（ウサギ）に基づいて、表示部１４にウサギの画像が表示される。 Here, the display operation by the display control process P3 will be described with reference to a specific example in FIG.
For example, when the image processing apparatus 1 is moved to the left in the initial state shown in FIG. 12A, the object A enters the frame as shown in FIG. At this time, the recognition number of frame-in of the object A is 1 and the recognition number of frame-in of the object B is 0. The history stored in the history storage unit 112 is the frame-in (Ain of object A). ). Since these match the number of recognitions and the recognition pattern stored in the setting information storage unit 123 (see FIG. 10), a rabbit image is displayed on the display unit 14 based on the corresponding display information (rabbit). Is done.

更に、画像処理装置１を左に動かすと、図１２（ｃ）に示すように、対象物Ｂもフレームインする。このとき、対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は１回となるが、この認識回数は設定情報記憶部１２３に設定されていないため、表示内容は変更されない。   Further, when the image processing apparatus 1 is moved to the left, the object B is also framed in as shown in FIG. At this time, the recognition number of frame-in of the object A is one, and the recognition number of frame-in of the object B is one. However, since this recognition number is not set in the setting information storage unit 123, the display content Is not changed.

更に、画像処理装置１を左に動かすと、図１２（ｄ）に示すように、対象物Ａがフレームアウトする。このときの対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は１回であるが、この認識回数は設定情報記憶部１２３に設定されていないため、表示内容は変更されない。   Further, when the image processing apparatus 1 is moved to the left, the object A is out of frame as shown in FIG. At this time, the object A has a frame-in recognition count of 1 and the object B has a frame-in recognition count of 1, but this recognition count is not set in the setting information storage unit 123. Is not changed.

ここで、画像処理装置１を右に動かすと、図１２（ｅ）に示すように、対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は２回、対象物Ｂのフレームインの認識回数は１回であり、履歴記憶部１１２に記憶されている履歴は対象物Ａのフレームイン→対象物Ｂのフレームイン→対象物Ａのフレームアウト→対象物Ａのフレームイン（Ａｉｎ→Ｂｉｎ→Ａｏｕｔ→Ａｉｎ）である。これらは、設定情報記憶部１２３に記憶されている認識回数及び認識パターンと一致しているので、対応する表示情報（ネコ）に基づいて、表示部１４にネコの画像が表示される。   Here, when the image processing apparatus 1 is moved to the right, the object A enters the frame as shown in FIG. At this time, the recognition number of frame-in of the object A is two, the recognition number of frame-in of the object B is one, and the history stored in the history storage unit 112 is the frame-in of the object A → the object Frame B of object B → frame out of object A → frame in object A (Ain → Bin → Aout → Ain). Since these match the number of recognitions and the recognition pattern stored in the setting information storage unit 123, a cat image is displayed on the display unit 14 based on the corresponding display information (cat).

このように、第３の実施形態によれば、図５に示すように、画像処理装置１を上下左右に動かして、対象物Ａ、Ｂをフレームイン／フレームアウトさせると、対象物Ａ、Ｂのそれぞれのフレームインが認識された回数及び対象物Ａ、Ｂがフレームイン／フレームアウトした順序のパターンに応じた所定の表示が行われる。従って、同じ対象物Ａ、Ｂを用いて、画面からの入力操作を行うことなく異なる複数の表示を行わせることができ、利便性が向上する。対象物を複数とすることで、対象物１つ当たりの認識回数を増やすことなく切り替え可能な表示の種類を増やすことができる。また、フレームインが認識された回数が同じでも、対象物Ａ、Ｂがフレームイン／フレームアウトした順序のパターンによって異なる表示を行うことができるので、同じ認識回数に対して切り替え可能な表示の種類を増やすことができる。   Thus, according to the third embodiment, as illustrated in FIG. 5, when the image processing apparatus 1 is moved up and down and left and right to frame the objects A and B, the objects A and B A predetermined display is performed according to the number of times each frame-in is recognized and the pattern of the order in which the objects A and B are frame-in / frame-out. Therefore, a plurality of different displays can be performed using the same objects A and B without performing an input operation from the screen, and convenience is improved. By using a plurality of objects, it is possible to increase the types of display that can be switched without increasing the number of times of recognition per object. Further, even if the number of times the frame-in is recognized is the same, different displays can be performed depending on the pattern of the order in which the objects A and B are frame-in / frame-out. Can be increased.

［第４の実施形態］
次に、第４の実施形態について説明する。
第４の実施形態においては、複数の対象物のそれぞれを認識した回数の合計に基づいて表示制御を行う場合について説明する。 [Fourth Embodiment]
Next, a fourth embodiment will be described.
In 4th Embodiment, the case where display control is performed based on the total of the frequency | count which recognized each of several target object is demonstrated.

第４の実施形態における画像処理装置１の構成は、第１の実施形態で図１を用いて説明したものと略同様であるが、認識回数カウンタ１１１の構成、プログラム記憶部１２１に記憶されているプログラムの内容、対象物記憶部１２２及び設定情報記憶部１２３の構成が第１の実施形態と異なる。   The configuration of the image processing apparatus 1 in the fourth embodiment is substantially the same as that described with reference to FIG. 1 in the first embodiment, but is stored in the configuration of the recognition counter 111 and the program storage unit 121. The contents of the program, the object storage unit 122, and the configuration of the setting information storage unit 123 are different from those of the first embodiment.

認識回数カウンタ１１１は、第２の実施形態と同様に、２つの対象物Ａ、Ｂのそれぞれのフレームインの認識回数を格納するための２つの認識回数カウンタを有している。
プログラム記憶部１２１には、ＣＰＵ１０が後述する表示制御処理Ｐ４をはじめとする各種処理を実行するためのプログラムやプログラムの実行に必要なデータが記憶されている。
対象物記憶部１２２には、第２の実施形態と同様に、２つの対象物Ａ、Ｂのそれぞれの認識用データが記憶されている。
設定情報記憶部１２３は、図１３に示すように、対象物Ａ、Ｂのフレームインの認識回数の合計と、その合計のときに表示部１４に表示する内容を示す表示情報と、を対応付けて記憶する。
その他の画像処理装置１の構成は、第１の実施形態で説明したものと同様であるので説明を援用する。 Similar to the second embodiment, the recognition number counter 111 has two recognition number counters for storing the number of frame-in recognition times of the two objects A and B, respectively.
The program storage unit 121 stores a program for the CPU 10 to execute various processes including a display control process P4 described later, and data necessary for executing the program.
Similar to the second embodiment, the object storage unit 122 stores data for recognition of the two objects A and B, respectively.
As illustrated in FIG. 13, the setting information storage unit 123 associates the total number of recognition times of the objects A and B with the display information indicating the content displayed on the display unit 14 at the time of the total. And remember.
Since the other configuration of the image processing apparatus 1 is the same as that described in the first embodiment, the description thereof is cited.

次に、第４の実施形態の動作について説明する。
図１４に、第４の実施形態において画像処理装置１により実行される表示制御処理Ｐ４のフローチャートを示す。表示制御処理Ｐ４は、操作部１５による実行指示に応じて、ＣＰＵ１０とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。 Next, the operation of the fourth embodiment will be described.
FIG. 14 shows a flowchart of the display control process P4 executed by the image processing apparatus 1 in the fourth embodiment. The display control process P <b> 4 is executed in cooperation with the CPU 10 and the program stored in the program storage unit 121 in accordance with an execution instruction from the operation unit 15.

まず、ＣＰＵ１０は、認識回数カウンタ１１１をリセットする（ステップＳ８０）。
次いで、ＣＰＵ１０は、カメラ１６を起動させる（ステップＳ８１）。なお、カメラ１６の起動後、表示制御処理Ｐ４の実行中において、カメラ１６は、所定時間毎に撮像画像を取得する。ＣＰＵ１０は、カメラ１６により取得された撮像画像を現在時刻取得部１７からの現在時刻と対応付けてＲＡＭ１１に記憶するとともに、略リアルタイムで表示部１４の画面上に表示させる。 First, the CPU 10 resets the recognition number counter 111 (step S80).
Next, the CPU 10 activates the camera 16 (step S81). Note that after the camera 16 is activated, the camera 16 acquires a captured image every predetermined time during the execution of the display control process P4. The CPU 10 stores the captured image acquired by the camera 16 in the RAM 11 in association with the current time from the current time acquisition unit 17 and displays it on the screen of the display unit 14 in substantially real time.

次いで、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームインが認識されたか否かを判断する（ステップＳ８２）。ステップＳ８２の処理は図３のステップＳ１２と同様であるので説明を援用する。   Next, the CPU 10 determines whether or not any of the objects A and B has been recognized (step S82). Since the process of step S82 is the same as that of step S12 of FIG. 3, description is used.

対象物Ａ、Ｂの何れかのフレームインが認識されたと判断した場合（ステップＳ８２；ＹＥＳ）、ＣＰＵ１０は、フレームインが認識された対象物に対応する認識回数カウンタ１１１に１を加算する（ステップＳ８３）。   When it is determined that any frame-in of the objects A and B has been recognized (step S82; YES), the CPU 10 adds 1 to the recognition number counter 111 corresponding to the object for which the frame-in has been recognized (step S82). S83).

次いで、ＣＰＵ１０は、対象物Ａ、Ｂの認識回数カウンタ１１１の値の合計を算出し（ステップＳ８４）、算出した合計と、設定情報記憶部１２３の各レコードに記憶されている認識回数の合計とを比較する(ステップＳ８５)。   Next, the CPU 10 calculates the sum of the values of the recognition number counter 111 of the objects A and B (step S84), and the calculated sum and the total number of recognition times stored in each record of the setting information storage unit 123. Are compared (step S85).

比較の結果、算出した合計と、設定情報記憶部１２３に記憶されている何れかのレコードの認識回数の合計とが一致していると判断した場合（ステップＳ８６；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３においてその認識回数の合計に対応付けて記憶されている表示情報に基づいて、表示部１４に表示を行わせ（ステップＳ８７）、ステップＳ８８の処理に移行する。例えば、表示部１４に対象物Ａ、Ｂの認識回数の合計に応じた仮想物体画像を表示させる。
比較の結果、算出した合計と、設定情報記憶部１２３に記憶されている認識回数の合計とが一致していないと判断した場合（ステップＳ８６；ＮＯ）、ＣＰＵ１０は、ステップＳ８８の処理に移行する。即ち、現在表示している情報の表示をそのまま継続させる。 As a result of the comparison, when it is determined that the calculated total matches the total number of times of recognition of any record stored in the setting information storage unit 123 (step S86; YES), the CPU 10 Based on the display information stored in the storage unit 123 in association with the total number of times of recognition, the display unit 14 is caused to display (step S87), and the process proceeds to step S88. For example, a virtual object image corresponding to the total number of recognitions of the objects A and B is displayed on the display unit 14.
As a result of the comparison, when it is determined that the calculated total does not match the total number of recognition times stored in the setting information storage unit 123 (step S86; NO), the CPU 10 proceeds to the process of step S88. . That is, the display of the currently displayed information is continued as it is.

ステップＳ８８〜Ｓ９５の処理は、図７のステップＳ３７〜Ｓ４４の処理と同様であるので説明を援用する。   Since the process of step S88-S95 is the same as the process of step S37-S44 of FIG. 7, description is used.

ここで、上記の表示制御処理Ｐ４による表示動作について、図１５に具体例を挙げて説明する。
例えば、図１５（ａ）に示す初期状態において、画像処理装置１を左に動かすと、図１５（ｂ）に示すように対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は０回であり、認識回数の合計は１回である。これは設定情報記憶部１２３（図１３参照）に記憶されている認識回数の合計＝１と一致しているので、認識回数の合計＝１に対応付けられている表示情報（ウサギ）に基づいて、表示部１４にウサギの画像が表示される。 Here, the display operation by the display control process P4 will be described with reference to a specific example in FIG.
For example, when the image processing apparatus 1 is moved to the left in the initial state shown in FIG. 15A, the object A enters the frame as shown in FIG. At this time, the number of frame-in recognitions of the object A is one, the number of frame-in recognitions of the object B is zero, and the total number of recognitions is one. This coincides with the total number of recognition times = 1 stored in the setting information storage unit 123 (see FIG. 13), and therefore based on the display information (rabbit) associated with the total number of recognition times = 1. The rabbit image is displayed on the display unit 14.

次に、画像処理装置１を右に動かすと、図１５（ｃ）に示すように、対象物Ａがフレームアウトする。ここから画像処理装置１を左に動かすと、図１５（ｄ）に示すように対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は２回、対象物Ｂのフレームインの認識回数は０回であり、認識回数の合計は２回である。認識回数の合計＝２回は設定情報記憶部１２３に記憶されていないので、表示は変化しない。   Next, when the image processing apparatus 1 is moved to the right, the object A goes out of the frame as shown in FIG. When the image processing apparatus 1 is moved to the left from here, the object A enters the frame as shown in FIG. At this time, the number of times frame-in is recognized by the object A is 2, the number of times frame-in is recognized by the object B is 0, and the total number of times of recognition is 2. Since the total number of recognitions = 2 is not stored in the setting information storage unit 123, the display does not change.

更に、画像処理装置１を左に動かすと、図１５（ｅ）に示すように、対象物Ｂがフレームインする。このとき、対象物Ａのフレームインの認識回数は２回、対象物Ｂのフレームインの認識回数は１回であり、認識回数の合計は３回である。これは設定情報記憶部１２３（図１３参照）に記憶されている認識回数の合計＝３と一致しているので、認識回数の合計＝３に対応付けられている表示情報（ネコ）に基づいて、表示部１４にネコの画像が表示される。   Further, when the image processing apparatus 1 is moved to the left, the object B is framed in as shown in FIG. At this time, the number of times frame-in is recognized by the object A is 2, the number of times frame-in is recognized by the object B is one, and the total number of times of recognition is three. This is consistent with the total number of recognition times stored in the setting information storage unit 123 (see FIG. 13) = 3, and therefore, based on the display information (cat) associated with the total number of recognition times = 3. The cat image is displayed on the display unit 14.

このように、第４の実施形態によれば、図５に示すように、画像処理装置１を上下左右に動かして、対象物Ａ、Ｂをフレームインさせると、それぞれのフレームインが認識された回数の合計に応じた所定の表示が行われる。従って、同じ対象物Ａ、Ｂを用いて、画面からの入力操作を行うことなく異なる複数の表示を行わせることができ、利便性が向上する。   Thus, according to the fourth embodiment, as shown in FIG. 5, when the image processing apparatus 1 is moved up and down and left and right to frame the objects A and B, the respective frame-in is recognized. A predetermined display corresponding to the total number of times is performed. Therefore, a plurality of different displays can be performed using the same objects A and B without performing an input operation from the screen, and convenience is improved.

［第５の実施形態］
次に、第５の実施形態について説明する。
第５の実施形態においては、複数の対象物のそれぞれを認識した回数の差に基づいて表示制御を行う場合について説明する。 [Fifth Embodiment]
Next, a fifth embodiment will be described.
In the fifth embodiment, a case will be described in which display control is performed based on the difference in the number of times each of a plurality of objects has been recognized.

第５の実施形態における画像処理装置１の構成は、第１の実施形態で図１を用いて説明したものと略同様であるが、認識回数カウンタ１１１の構成、プログラム記憶部１２１に記憶されているプログラムの内容、対象物記憶部１２２及び設定情報記憶部１２３の構成が第１の実施形態と異なる。   The configuration of the image processing apparatus 1 in the fifth embodiment is substantially the same as that described with reference to FIG. 1 in the first embodiment. However, the configuration of the recognition counter 111 is stored in the program storage unit 121. The contents of the program, the object storage unit 122, and the configuration of the setting information storage unit 123 are different from those of the first embodiment.

認識回数カウンタ１１１は、第２の実施形態と同様に、２つの対象物Ａ、Ｂのそれぞれのフレームインの認識回数を格納するための２つの認識回数カウンタを有している。
プログラム記憶部１２１には、ＣＰＵ１０が後述する表示制御処理Ｐ５をはじめとする各種処理を実行するためのプログラムやプログラムの実行に必要なデータが記憶されている。
対象物記憶部１２２には、第２の実施形態と同様に、２つの対象物Ａ、Ｂのそれぞれの認識用データが記憶されている。
設定情報記憶部１２３は、図１６に示すように、対象物Ａ、Ｂのフレームインの認識回数の差と、その差のときに表示部１４に表示する内容を示す表示情報と、を対応付けて記憶する。
その他の画像処理装置１の構成は、第１の実施形態で説明したものと同様であるので説明を援用する。 Similar to the second embodiment, the recognition number counter 111 has two recognition number counters for storing the number of frame-in recognition times of the two objects A and B, respectively.
The program storage unit 121 stores a program for the CPU 10 to execute various processes including a display control process P5 described later, and data necessary for executing the program.
Similar to the second embodiment, the object storage unit 122 stores data for recognition of the two objects A and B, respectively.
As shown in FIG. 16, the setting information storage unit 123 associates the difference in the number of frame-in recognitions of the objects A and B with the display information indicating the content to be displayed on the display unit 14 at the time of the difference. And remember.
Since the other configuration of the image processing apparatus 1 is the same as that described in the first embodiment, the description thereof is cited.

次に、第５の実施形態の動作について説明する。
図１７に、第５の実施形態において画像処理装置１により実行される表示制御処理Ｐ５のフローチャートを示す。表示制御処理Ｐ５は、操作部１５による実行指示に応じて、ＣＰＵ１０とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。 Next, the operation of the fifth embodiment will be described.
FIG. 17 shows a flowchart of the display control process P5 executed by the image processing apparatus 1 in the fifth embodiment. The display control process P <b> 5 is executed in cooperation with the CPU 10 and the program stored in the program storage unit 121 in accordance with an execution instruction from the operation unit 15.

まず、ＣＰＵ１０は、認識回数カウンタ１１１をリセットする（ステップＳ１００）。
次いで、ＣＰＵ１０は、カメラ１６を起動させる（ステップＳ１０１）。なお、カメラ１６の起動後、表示制御処理Ｐ５の実行中において、カメラ１６は、所定時間毎に撮像画像を取得する。ＣＰＵ１０は、カメラ１６により取得された撮像画像を現在時刻取得部１７からの現在時刻と対応付けてＲＡＭ１１に記憶するとともに、略リアルタイムで表示部１４の画面上に表示させる。 First, the CPU 10 resets the recognition number counter 111 (step S100).
Next, the CPU 10 activates the camera 16 (step S101). Note that after the camera 16 is activated, the camera 16 acquires a captured image every predetermined time during the execution of the display control process P5. The CPU 10 stores the captured image acquired by the camera 16 in the RAM 11 in association with the current time from the current time acquisition unit 17 and displays it on the screen of the display unit 14 in substantially real time.

次いで、ＣＰＵ１０は、対象物Ａ、Ｂの何れかのフレームインが認識されたか否かを判断する（ステップＳ１０２）。ステップＳ１０２の処理は図３のステップＳ１２と同様であるので説明を援用する。   Next, the CPU 10 determines whether or not any of the objects A and B has been recognized (step S102). Since the process of step S102 is the same as that of step S12 of FIG. 3, description is used.

対象物Ａ、対象物Ｂの何れかのフレームインが認識されたと判断した場合（ステップＳ１０２；ＹＥＳ）、ＣＰＵ１０は、フレームインが認識された対象物に対応する認識回数カウンタ１１１に１を加算する（ステップＳ１０３）。   When it is determined that any frame-in of the object A or the object B has been recognized (step S102; YES), the CPU 10 adds 1 to the recognition number counter 111 corresponding to the object for which the frame-in has been recognized. (Step S103).

次いで、ＣＰＵ１０は、対象物Ａ、Ｂの認識回数カウンタ１１１の値の差を算出し（ステップＳ１０４）、算出した差と、設定情報記憶部１２３に記憶されている各レコードの認識回数の差とを比較する(ステップＳ１０５)。   Next, the CPU 10 calculates the difference between the values of the recognition number counter 111 of the objects A and B (step S104), and the difference between the calculated difference and the number of recognition times of each record stored in the setting information storage unit 123. Are compared (step S105).

比較の結果、算出した差と、設定情報記憶部１２３の何れかのレコードに記憶されている認識回数の差とが一致していると判断した場合（ステップＳ１０６；ＹＥＳ）、ＣＰＵ１０は、設定情報記憶部１２３において対象物Ａ、Ｂの認識回数の差に対応付けて記憶されている表示情報に基づいて、表示部１４に表示を行わせ（ステップＳ１０７）、ステップＳ１０８の処理に移行する。例えば、表示部１４に対象物Ａ、Ｂの認識回数の差に応じた仮想物体画像を表示させる。
比較の結果、算出した差と、設定情報記憶部１２３に記憶されている認識回数の差とが一致していないと判断した場合（ステップＳ１０６；ＮＯ）、ＣＰＵ１０は、ステップＳ１０８の処理に移行する。即ち、現在表示している情報の表示をそのまま継続させる。 As a result of the comparison, when it is determined that the calculated difference matches the difference in the number of times of recognition stored in any record of the setting information storage unit 123 (step S106; YES), the CPU 10 Based on the display information stored in the storage unit 123 in association with the difference in the number of recognitions of the objects A and B, the display unit 14 displays (step S107), and the process proceeds to step S108. For example, a virtual object image corresponding to the difference in the number of times the objects A and B are recognized is displayed on the display unit 14.
As a result of the comparison, when it is determined that the calculated difference does not match the difference in the number of recognitions stored in the setting information storage unit 123 (step S106; NO), the CPU 10 proceeds to the process of step S108. . That is, the display of the currently displayed information is continued as it is.

ステップＳ１０８〜Ｓ１１５の処理は、図７のステップＳ３７〜Ｓ４４の処理と同様であるので説明を援用する。   Since the process of step S108-S115 is the same as the process of step S37-S44 of FIG. 7, description is used.

ここで、上記の表示制御処理Ｐ５による表示動作について、図１８に具体例を挙げて説明する。
例えば、図１８（ａ）に示す初期状態において、画像処理装置１を左に動かすと、図１８（ｂ）に示すように対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は１回、対象物Ｂのフレームインの認識回数は０回であり、認識回数の差は１回である。これは設定情報記憶部１２３（図１６参照）に記憶されている認識回数の差＝１と一致しているので、認識回数の差＝１に対応付けられている表示情報（ウサギ）に基づいて、表示部１４にウサギの画像が表示される。 Here, the display operation by the display control process P5 will be described with reference to a specific example in FIG.
For example, when the image processing apparatus 1 is moved to the left in the initial state shown in FIG. 18A, the object A enters the frame as shown in FIG. At this time, the number of frame-in recognitions of the object A is one, the number of frame-in recognitions of the object B is zero, and the difference in the number of recognitions is one. This is consistent with the recognition frequency difference = 1 stored in the setting information storage unit 123 (see FIG. 16), and therefore based on the display information (rabbit) associated with the recognition frequency difference = 1. The rabbit image is displayed on the display unit 14.

次に、画像処理装置１を右に動かすと、図１８（ｃ）に示すように、対象物Ａがフレームアウトする。次に、画像処理装置１を大きく左に動かすと、対象物Ａ、Ｂがフレームインする。このとき、対象物Ａのフレームインの認識回数は２回、対象物Ｂのフレームインの認識回数は１回であり、認識回数の差は１である。認識回数の差＝１に対応付けられている表示情報は現在と変わらないため、表示は変化しない。   Next, when the image processing apparatus 1 is moved to the right, the object A is out of the frame as shown in FIG. Next, when the image processing apparatus 1 is largely moved to the left, the objects A and B are framed in. At this time, the number of frame-in recognitions of the object A is two, the number of frame-in recognitions of the object B is one, and the difference in the number of recognitions is one. Since the display information associated with the difference in the number of recognitions = 1 is the same as the current display, the display does not change.

次に、画像処理装置１を上に動かすと、図１８（ｅ）に示すように、対象物Ａがフレームアウトする。次に、画像処理装置１を下に動かすと、図１８（ｆ）に示すように、対象物Ａがフレームインする。このとき、対象物Ａのフレームインの認識回数は３回、対象物Ｂのフレームインの認識回数は１回であり、認識回数の差は２である。これは設定情報記憶部１２３（図１６参照）に記憶されている認識回数の差＝２と一致しているので、認識回数の差＝２に対応付けられている表示情報（ネコ）に基づいて、表示部１４にネコの画像が表示される。   Next, when the image processing apparatus 1 is moved upward, the object A is out of the frame as shown in FIG. Next, when the image processing apparatus 1 is moved downward, the object A enters the frame as shown in FIG. At this time, the number of frame-in recognitions of the object A is three, the number of frame-in recognitions of the object B is one, and the difference in the number of recognitions is two. This coincides with the difference in the number of recognitions stored in the setting information storage unit 123 (see FIG. 16) = 2, so that it is based on the display information (cat) associated with the difference in the number of recognitions = 2. The cat image is displayed on the display unit 14.

このように、第５の実施形態によれば、図５に示すように、画像処理装置１を上下左右に動かして、対象物Ａ、Ｂをフレームインさせると、それぞれのフレームインが認識された回数の差に応じた所定の表示が行われる。従って、同じ対象物Ａ、Ｂを用いて、画面からの入力操作を行うことなく異なる複数の表示を行わせることができ、利便性が向上する。また、第５の実施形態では、対象物Ａ、Ｂのフレームインの認識回数の差に応じた所定の表示に切り替えていたが、ＣＰＵ１０は、更に、対象物Ａ，Ｂのどちらが多いかを検出し、認識回数の差及び検出された対象物に応じた所定の表示に切り替えてもよい。   Thus, according to the fifth embodiment, as shown in FIG. 5, when the image processing apparatus 1 is moved up and down, left and right, and the objects A and B are framed in, the respective frame-in is recognized. A predetermined display according to the difference in the number of times is performed. Therefore, a plurality of different displays can be performed using the same objects A and B without performing an input operation from the screen, and convenience is improved. Further, in the fifth embodiment, the display is switched to a predetermined display corresponding to the difference in the number of frame-in recognitions of the objects A and B, but the CPU 10 further detects which of the objects A and B is more. Then, the display may be switched to a predetermined display according to the difference in the number of times of recognition and the detected object.

以上説明したように、画像処理装置１によれば、ＣＰＵ１０は、表示部１４の画面内への対象物のフレームインの認識回数に応じた所定の表示を表示部１４に行わせる。
従って、同じ対象物を用いて異なる複数の表示を行わせることが可能となる。 As described above, according to the image processing apparatus 1, the CPU 10 causes the display unit 14 to perform a predetermined display corresponding to the number of times the object has been recognized in the screen of the display unit 14.
Therefore, a plurality of different displays can be performed using the same object.

また、対象物を複数とし、複数の対象物のそれぞれのフレームインの認識回数に応じた所定の表示を表示部１４に行わせることで、対象物１つ当たりの認識回数を増やすことなく切り替え可能な表示の種類を増やすことができる。   In addition, it is possible to switch without increasing the number of recognitions per object by making the display unit 14 display a predetermined display according to the number of times of recognition of each of the plurality of objects as a plurality of objects. The number of different display types can be increased.

また、複数の対象物のそれぞれのフレームインの認識回数の合計や差分に応じた所定の表示を表示部１４に行わせることで、複数の対象物のフレームインの認識回数の合計や差を用いた表示の切り替えを行うことが可能となる。   In addition, by causing the display unit 14 to perform a predetermined display according to the total number or difference of the frame-in recognition times of the plurality of objects, the total or difference of the frame-in recognition times of the plurality of objects can be used. The displayed display can be switched.

また、複数の対象物のそれぞれのフレームインの認識回数及び複数の対象物のフレームインとフレームアウトが認識された順序に応じた所定の表示を表示部１４に行わせるようにすることで、同じ対象物の同じ認識回数に対しても切り替え可能な表示の種類を増やすことができる。   In addition, the same is achieved by causing the display unit 14 to perform a predetermined display according to the number of times each frame-in is recognized and the order in which the frame-in and frame-out of the plurality of objects are recognized. It is possible to increase the types of display that can be switched for the same number of times the object is recognized.

対象物としては、ＡＲマーカ又は予め設定された物体を用いることができる。   An AR marker or a preset object can be used as the object.

なお、上記実施形態における記述内容は、画像処理装置の好適な一例であり、これに限定されるものではない。   In addition, the description content in the said embodiment is a suitable example of an image processing apparatus, and is not limited to this.

例えば、上記各実施形態においては、表示制御に用いる対象物は１種類（第１の実施形態の場合）または１組（第２〜第５の実施形態）であることとして説明したが、対象物は複数種類または複数組あってもよい。この場合、設定情報記憶部１２３は、対象物の種類（組）毎に認識回数等及び認識回数等に応じた表示情報を記憶し、フレームインが認識された対象物の種類（組）に応じた設定情報を用いて表示制御処理が行われる。   For example, in each of the above embodiments, the object used for display control has been described as one type (in the case of the first embodiment) or one set (in the second to fifth embodiments). There may be a plurality of types or a plurality of sets. In this case, the setting information storage unit 123 stores display information corresponding to the number of times of recognition and the number of times of recognition for each type (set) of the object, and according to the type (set) of the object for which the frame-in is recognized. Display control processing is performed using the set information.

また、第２〜第５の実施形態においては、２つの対象物を用いる場合を例にとり説明したが、３以上の対象物を用いることとしてもよい。   In the second to fifth embodiments, the case where two objects are used has been described as an example, but three or more objects may be used.

また、上記各実施形態においては、対象物のフレームインの認識回数等に応じた所定の表示を行う場合を例にとり説明したが、対象物のフレームインの認識回数等に応じたアクション（動作）を画像処理装置１が行うこととしてもよい。即ち、設定情報記憶部１２３の表示情報の代わりに、画像処理装置１が行うアクションを対象物のフレームインの認識回数等に対応付けて記憶しておき、対象物のフレームインの認識回数等が設定情報記憶部１２３に記憶されている回数等と一致した場合に、認識回数等に応じたアクションを行うこととしてもよい。アクションとしては、例えば、改ページ、カメラ１６による撮像、セキュリティーロックの解除等、画面のタップやボタン操作に応じて実行可能な動作の何れとしてもよい。このようにすれば、画面からの入力操作を行うことなく装置を動作させることができ、利便性が向上する。   Further, in each of the above embodiments, the case where a predetermined display according to the number of times of recognition of the target object frame-in has been described as an example, but the action (operation) according to the number of times of recognition of the target object frame-in, etc. May be performed by the image processing apparatus 1. That is, instead of the display information in the setting information storage unit 123, the action performed by the image processing apparatus 1 is stored in association with the number of times of recognition of the target frame in, and the number of times of recognition of the target frame in is determined. When the number of times stored in the setting information storage unit 123 matches, an action corresponding to the number of times of recognition may be performed. The action may be any action that can be executed in response to a tap on the screen or a button operation, such as a page break, imaging with the camera 16, release of the security lock, and the like. In this way, the apparatus can be operated without performing an input operation from the screen, and convenience is improved.

また、例えば、上記実施形態においては、画像処理装置１がスマートフォン等の手に持つタイプの移動型端末である場合を例にとり説明したが、眼鏡型ＨＭＤ（Head Mounted Display）等であってもよい。この場合、図１９に示すように、首振り動作でマーカのフレームイン、フレームアウトを行うことができるので、ハンズフリーで表示部１４への表示を切り替えることが可能となる。   Further, for example, in the above-described embodiment, the case where the image processing apparatus 1 is a mobile terminal of the type held in the hand of a smartphone or the like has been described as an example, but may be a glasses-type HMD (Head Mounted Display) or the like. . In this case, as shown in FIG. 19, since the marker can be framed in and out by the swing motion, the display on the display unit 14 can be switched hands-free.

また、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。   Also, as a computer-readable medium storing a program for executing each of the above processes, a non-volatile memory such as a flash memory, a portable recording medium such as a CD-ROM, in addition to a ROM, a hard disk, etc. Is also possible. A carrier wave is also used as a medium for providing program data via a predetermined communication line.

その他、画像処理装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。   In addition, the detailed configuration and detailed operation of each apparatus constituting the image processing apparatus can be changed as appropriate without departing from the spirit of the invention.

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
＜請求項１＞
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識するフレームイン認識手段と、
前記対象物のフレームインが認識された回数を記憶する記憶手段と、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
＜請求項２＞
前記対象物は複数の対象物であり、
前記記憶手段は、前記複数の対象物のそれぞれのフレームインが認識された回数を記憶し、
前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる請求項１に記載の画像処理装置。
＜請求項３＞
前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数の合計に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。
＜請求項４＞
前記対象物は２つの対象物であり、
前記制御手段は、前記記憶手段に記憶されている前記２つの対象物のそれぞれのフレームインの認識回数の差に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。
＜請求項５＞
前記２つの対象物の内、フレームインの認識回数の多い対象物を検出する多認識回数検出手段を備え、
前記制御手段は、前記２つの対象物のそれぞれのフレームインの認識回数の差及び前記多認識回数検出手段によって検出された対象物に応じた所定の表示を前記表示手段に行わせる請求項４に記載の画像処理装置。
＜請求項６＞
前記表示手段の画面から前記対象物がフレームアウトしたことを認識するフレームアウト認識手段を備え、
前記記憶手段は、更に、前記複数の対象物のそれぞれについてフレームイン又はフレームアウトが認識されたときに、その履歴を記憶し、
前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数及び前記記憶手段に記憶されている前記履歴により特定される前記複数の対象物のフレームインとフレームアウトが認識された順序に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。
＜請求項７＞
前記対象物は、ＡＲマーカ又は予め設定された物体である請求項１〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
撮像手段と、前記撮像手段により取得された撮像画像を表示する表示手段とを備えるコンピュータを、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識するフレームイン認識手段、
前記対象物のフレームインが認識された回数を記憶する記憶手段、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。
＜請求項９＞
撮像手段と、前記撮像手段により取得された撮像画像を表示する表示手段とを備える画像処理装置における表示制御方法であって、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識する工程と、
前記対象物のフレームインが認識された回数を記憶手段に記憶する工程と、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる工程と、
を含む表示制御方法。 Although several embodiments of the present invention have been described, the scope of the present invention is not limited to the above-described embodiments, but includes the scope of the invention described in the claims and equivalents thereof.
The invention described in the scope of claims attached to the application of this application will be added below. The item numbers of the claims described in the appendix are as set forth in the claims attached to the application of this application.
[Appendix]
<Claim 1>
Imaging means;
Display means for displaying a captured image acquired by the imaging means;
Frame-in recognition means for recognizing that a specific object has been framed in the screen of the display means;
Storage means for storing the number of times frame-in of the object is recognized;
Control means for causing the display means to perform a predetermined display according to the number of times frame-in is recognized of the object stored in the storage means;
An image processing apparatus comprising:
<Claim 2>
The object is a plurality of objects;
The storage means stores the number of times each frame-in of the plurality of objects is recognized,
The image processing apparatus according to claim 1, wherein the control unit causes the display unit to perform a predetermined display according to the number of times of recognition of each of the plurality of objects stored in the storage unit.
<Claim 3>
The image processing apparatus according to claim 2, wherein the control unit causes the display unit to perform a predetermined display corresponding to the total number of times of recognition of each of the plurality of objects stored in the storage unit. .
<Claim 4>
The object is two objects,
The image processing apparatus according to claim 2, wherein the control unit causes the display unit to perform a predetermined display according to a difference in the number of times of recognition of each of the two objects stored in the storage unit. .
<Claim 5>
A multi-recognition number detecting means for detecting an object having a large number of frame-in recognition times out of the two objects,
5. The control unit according to claim 4, wherein the display unit causes the display unit to perform a predetermined display according to a difference in the number of times the frame-in is recognized between the two objects and the object detected by the multi-recognition number detection unit. The image processing apparatus described.
<Claim 6>
A frame-out recognizing means for recognizing that the object is out of frame from the screen of the display means;
The storage means further stores the history when frame-in or frame-out is recognized for each of the plurality of objects.
The control means includes the number of frame-in recognitions of each of the plurality of objects stored in the storage means and the frame-in of the plurality of objects specified by the history stored in the storage means. The image processing apparatus according to claim 2, wherein the display unit performs predetermined display according to an order in which frame-out is recognized.
<Claim 7>
The image processing apparatus according to claim 1, wherein the object is an AR marker or a preset object.
<Claim 8>
A computer comprising imaging means and display means for displaying a captured image acquired by the imaging means;
Frame-in recognition means for recognizing that a specific object has been framed in the screen of the display means;
Storage means for storing the number of times frame-in of the object is recognized;
Control means for causing the display means to perform a predetermined display according to the number of times of recognition of the object frame-in stored in the storage means;
Program to function as.
<Claim 9>
A display control method in an image processing apparatus comprising: an imaging unit; and a display unit that displays a captured image acquired by the imaging unit,
Recognizing that a specific object is framed in the screen of the display means;
Storing the number of times frame-in of the object is recognized in a storage means;
A step of causing the display means to perform a predetermined display according to the number of times of recognition of the frame-in of the object stored in the storage means;
A display control method including:

１ 画像処理装置
１０ ＣＰＵ
１１ ＲＡＭ
１１１ 認識回数カウンタ
１１２ 履歴記憶部
１１３ 認識回数メモリ
１２ 記憶部
１２１ プログラム記憶部
１２２ 対象物記憶部
１２３ 設定情報記憶部
１３ 通信部
１４ 表示部
１５ 操作部
１６ カメラ
１７ 現在時刻取得部
１８ バス 1 Image processing apparatus 10 CPU
11 RAM
111 Recognition counter 112 History storage unit 113 Recognition number memory 12 Storage unit 121 Program storage unit 122 Object storage unit 123 Setting information storage unit 13 Communication unit 14 Display unit 15 Operation unit 16 Camera 17 Current time acquisition unit 18 Bus

Claims (9)

撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識するフレームイン認識手段と、
前記対象物のフレームインが認識された回数を記憶する記憶手段と、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。 Imaging means;
Display means for displaying a captured image acquired by the imaging means;
Frame-in recognition means for recognizing that a specific object has been framed in the screen of the display means;
Storage means for storing the number of times frame-in of the object is recognized;
Control means for causing the display means to perform a predetermined display according to the number of times frame-in is recognized of the object stored in the storage means;
An image processing apparatus comprising: 前記対象物は複数の対象物であり、
前記記憶手段は、前記複数の対象物のそれぞれのフレームインが認識された回数を記憶し、
前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる請求項１に記載の画像処理装置。 The object is a plurality of objects;
The storage means stores the number of times each frame-in of the plurality of objects is recognized,
The image processing apparatus according to claim 1, wherein the control unit causes the display unit to perform a predetermined display according to the number of times of recognition of each of the plurality of objects stored in the storage unit. 前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数の合計に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the control unit causes the display unit to perform a predetermined display corresponding to the total number of times of recognition of each of the plurality of objects stored in the storage unit. . 前記対象物は２つの対象物であり、
前記制御手段は、前記記憶手段に記憶されている前記２つの対象物のそれぞれのフレームインの認識回数の差に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。 The object is two objects,
The image processing apparatus according to claim 2, wherein the control unit causes the display unit to perform a predetermined display according to a difference in the number of times of recognition of each of the two objects stored in the storage unit. . 前記２つの対象物の内、フレームインの認識回数の多い対象物を検出する多認識回数検出手段を備え、
前記制御手段は、前記２つの対象物のそれぞれのフレームインの認識回数の差及び前記多認識回数検出手段によって検出された対象物に応じた所定の表示を前記表示手段に行わせる請求項４に記載の画像処理装置。 A multi-recognition number detecting means for detecting an object having a large number of frame-in recognition times out of the two objects,
5. The control unit according to claim 4, wherein the display unit causes the display unit to perform a predetermined display according to a difference in the number of times the frame-in is recognized between the two objects and the object detected by the multi-recognition number detection unit. The image processing apparatus described. 前記表示手段の画面から前記対象物がフレームアウトしたことを認識するフレームアウト認識手段を備え、
前記記憶手段は、更に、前記複数の対象物のそれぞれについてフレームイン又はフレームアウトが認識されたときに、その履歴を記憶し、
前記制御手段は、前記記憶手段に記憶されている前記複数の対象物のそれぞれのフレームインの認識回数及び前記記憶手段に記憶されている前記履歴により特定される前記複数の対象物のフレームインとフレームアウトが認識された順序に応じた所定の表示を前記表示手段に行わせる請求項２に記載の画像処理装置。 A frame-out recognizing means for recognizing that the object is out of frame from the screen of the display means;
The storage means further stores the history when frame-in or frame-out is recognized for each of the plurality of objects.
The control means includes the number of frame-in recognitions of each of the plurality of objects stored in the storage means and the frame-in of the plurality of objects specified by the history stored in the storage means. The image processing apparatus according to claim 2, wherein the display unit performs predetermined display according to an order in which frame-out is recognized. 前記対象物は、ＡＲマーカ又は予め設定された物体である請求項１〜６の何れか一項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the object is an AR marker or a preset object. 撮像手段と、前記撮像手段により取得された撮像画像を表示する表示手段とを備えるコンピュータを、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識するフレームイン認識手段、
前記対象物のフレームインが認識された回数を記憶する記憶手段、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。 A computer comprising imaging means and display means for displaying a captured image acquired by the imaging means;
Frame-in recognition means for recognizing that a specific object has been framed in the screen of the display means;
Storage means for storing the number of times frame-in of the object is recognized;
Control means for causing the display means to perform a predetermined display according to the number of times of recognition of the object frame-in stored in the storage means;
Program to function as. 撮像手段と、前記撮像手段により取得された撮像画像を表示する表示手段とを備える画像処理装置における表示制御方法であって、
前記表示手段の画面内に特定の対象物がフレームインしたことを認識する工程と、
前記対象物のフレームインが認識された回数を記憶手段に記憶する工程と、
前記記憶手段に記憶されている前記対象物のフレームインの認識回数に応じた所定の表示を前記表示手段に行わせる工程と、
を含む表示制御方法。 A display control method in an image processing apparatus comprising: an imaging unit; and a display unit that displays a captured image acquired by the imaging unit,
Recognizing that a specific object is framed in the screen of the display means;
Storing the number of times frame-in of the object is recognized in a storage means;
A step of causing the display means to perform a predetermined display according to the number of times of recognition of the frame-in of the object stored in the storage means;
A display control method including:
JP2013199279A 2013-09-26 2013-09-26 Image processing apparatus, program, and control method Active JP6318519B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013199279A JP6318519B2 (en) 2013-09-26 2013-09-26 Image processing apparatus, program, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013199279A JP6318519B2 (en) 2013-09-26 2013-09-26 Image processing apparatus, program, and control method

Publications (2)

Publication Number Publication Date
JP2015065612A true JP2015065612A (en) 2015-04-09
JP6318519B2 JP6318519B2 (en) 2018-05-09

Family

ID=52833127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013199279A Active JP6318519B2 (en) 2013-09-26 2013-09-26 Image processing apparatus, program, and control method

Country Status (1)

Country Link
JP (1) JP6318519B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11283197A (en) * 1998-03-31 1999-10-15 Ntt Power And Building Facilities Inc Method and device for displaying number of cars in parking lot
JP2008065807A (en) * 2006-08-11 2008-03-21 Canon Inc Marker arrangement information measurement unit and method
JP2008249407A (en) * 2007-03-29 2008-10-16 Canon Inc Image processing device and image processing method
JP2011101161A (en) * 2009-11-05 2011-05-19 Canon Inc Imaging device, control method of the same, reproducing device, and program
JP2012100082A (en) * 2010-11-02 2012-05-24 Canon Inc Image processing device, image processing method, and program
JP2013070868A (en) * 2011-09-28 2013-04-22 Daikoku Denki Co Ltd Portable game terminal and game program
JP2014215646A (en) * 2013-04-22 2014-11-17 富士通株式会社 Display control device, display control method, information setting device, information setting method, and information providing system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11283197A (en) * 1998-03-31 1999-10-15 Ntt Power And Building Facilities Inc Method and device for displaying number of cars in parking lot
JP2008065807A (en) * 2006-08-11 2008-03-21 Canon Inc Marker arrangement information measurement unit and method
JP2008249407A (en) * 2007-03-29 2008-10-16 Canon Inc Image processing device and image processing method
JP2011101161A (en) * 2009-11-05 2011-05-19 Canon Inc Imaging device, control method of the same, reproducing device, and program
JP2012100082A (en) * 2010-11-02 2012-05-24 Canon Inc Image processing device, image processing method, and program
JP2013070868A (en) * 2011-09-28 2013-04-22 Daikoku Denki Co Ltd Portable game terminal and game program
JP2014215646A (en) * 2013-04-22 2014-11-17 富士通株式会社 Display control device, display control method, information setting device, information setting method, and information providing system

Also Published As

Publication number Publication date
JP6318519B2 (en) 2018-05-09

Similar Documents

Publication Publication Date Title
US9998651B2 (en) Image processing apparatus and image processing method
US10115015B2 (en) Method for recognizing a specific object inside an image and electronic device thereof
US11158057B2 (en) Device, method, and graphical user interface for processing document
US20190045130A1 (en) Image display apparatus and image display method
JP5962403B2 (en) Information processing apparatus, display control method, and program
CN109684980B (en) Automatic scoring method and device
KR20190092995A (en) Terminal and image processing method thereof
TWI633499B (en) Method and electronic device for displaying panoramic image
JP2016143919A (en) Image processing apparatus and control method therefor
EP2897354B1 (en) Method for setting image capture conditions and electronic device performing the same
CN106462567A (en) Augmented data view
US20160334975A1 (en) Information processing device, non-transitory computer-readable recording medium storing an information processing program, and information processing method
CN106815809B (en) Picture processing method and device
CN112911147A (en) Display control method, display control device and electronic equipment
JP2013054542A (en) Image display device, image display system, and program
WO2015003493A1 (en) Data recovery method and electronic device
KR20050098499A (en) Method of displaying for finger image in wireless communication terminal
KR102303206B1 (en) Method and apparatus for recognizing object of image in electronic device
JP6255731B2 (en) Display system, display method, and display terminal
JP6155893B2 (en) Image processing apparatus and program
JP6628116B2 (en) Electronics
JP6318519B2 (en) Image processing apparatus, program, and control method
WO2017215211A1 (en) Picture display method based on intelligent terminal having touch screen, and electronic apparatus
JP6369604B2 (en) Image processing apparatus, image processing method, and program
CN112765620A (en) Display control method, display control device, electronic device, and medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180319

R150 Certificate of patent or registration of utility model

Ref document number: 6318519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150