DE112013000762T5

DE112013000762T5 - Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren

Info

Publication number: DE112013000762T5
Application number: DE112013000762.2T
Authority: DE
Inventors: c/o Panasonic Corporation Ogino Ryoji; c/o Panasonic Corporation Iwasaki Kojiro; c/o Panasonic Corporation Tsubota Kazuhiro; c/o Panasonic Corporation Morioka Mikio
Original assignee: Panasonic Corp
Current assignee: Panasonic Holdings Corp
Priority date: 2012-01-31
Filing date: 2013-01-28
Publication date: 2014-12-11
Also published as: US20160292833A1; JP2019017069A; US10366477B2; US9836829B2; GB2514495A; US9396529B2; GB2514495B; JP6587113B2; JP6108176B2; US20180053286A1; WO2013114848A1; JP2017126352A; JP6388176B2; JPWO2013114848A1; GB201413187D0; US20150016746A1

Abstract

Ein Bildprozessor (101) stellt ein verzerrungskorrigiertes Bild, das einen Maskierungsbereich, der ein verbessertes Aussehen aufweist, beinhaltet, bereit. Der Bildprozessor (101) beinhaltet: einen Maskierungsbereich-Halteabschnitt (112), der einen Maskierungsbereich, der für ein Bild, welches Verzerrung aufweist, eingestellt ist, hält; einen Maskierungsausführungsabschnitt (113), der eine Maskierungsverarbeitung für das Bild, welches Verzerrung aufweist, unter Nutzung des Maskierungsbereichs, der in dem Maskierungsbereich-Halteabschnitt (112) gehalten wird, durchführt; einen Verzerrungskorrekturabschnitt (115), der das Bild, welches Verzerrung aufweist, das der Maskierungsverarbeitung unterzogen wird, unter Nutzung eines Korrekturparameters zum Korrigieren von Verzerrung des Bildes, welches Verzerrung aufweist, korrigiert; und einen Maskierungsbereich-Formungsabschnitt (212), der den Maskierungsbereich des korrigierten Bildes in eine vorbestimmte Form formt.

Description

Querverweis zu verbundenen Anmeldungen
Diese Anmeldung beansprucht die Prioritäten der Patentanmeldung Nr. 2012-017576, eingereicht in Japan am 31. Januar 2012, der Patentanmeldung Nr. 2012-027160, eingereicht in Japan am 10. Februar 2012, der Patentanmeldung Nr. 2012-047166, eingereicht in Japan am 2. März 2012, und der Patentanmeldung Nr. 2012-075741, eingereicht in Japan am 29. März 2012, deren Inhalte hier in Gänze durch Verweis einbezogen werden.
Technisches Gebiet
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren, die eine Verzerrungskorrekturverarbeitung für ein Bild, welches Verzerrung aufweist, durchführen und die eine Maskierungsverarbeitung für einen Teilbereich des Bildes, welches Verzerrung aufweist, durchführen.
Stand der Technik
Herkömmlicherweise sind Überwachungskameras oft in öffentlichen Räumen, wie etwa einer Straße, installiert. Ein Bild, das durch Aufnehmen mit der Überwachungskamera erhalten wird, kann einen Bereich beinhalten, der für Überwachungszwecke unnötig ist. Des Weiteren kann es, von einem Standpunkt des Schutzes der Privatsphäre aus betrachtet, unerwünscht sein, ein Standbild oder ein Bewegtbild eines solchen unnötigen Bereichs zu erfassen und zu speichern. Um mit dieser Situation zurechtzukommen, ist ein Aufnahmesystem bekannt, das einen Bereich, der mit einer Überwachungskamera zu überwachen ist, aufnimmt und zum Schutz der Privatsphäre eine Maskierungsverarbeitung für einen Teilbereich eines Bildes, das durch die Überwachungskamera erhaltenen wurde, durchführt (siehe, zum Beispiel, Patentliteratur 1 und Patentliteratur 2).
Eine omnidirektionale Kamera, die mit einem Fischaugenobjektiv versehen ist und die somit in der Lage ist, ein omnidirektionales Bild aufzunehmen, wird manchmal als eine Überwachungskamera genutzt. Ein Sichtwinkel in einer solchen omnidirektionalen Kamera beträgt ungefähr 360° und ein omnidirektionales Bild, das eine Kreisform oder eine Kreisringform (engl. ”doughnut shape”) aufweist, wird erhalten. In diesem omnidirektionalen Bild tritt eine ortsabhängige, ungleichmäßige Verzerrung auf. Um eine Visualisierung des kreisförmigen oder kreisringförmigen omnidirektionalen Bildes auf einem rechteckigen Bildschirm eines Bildbetrachtungsgeräts zu ermöglichen, wird eine Verzerrungskorrekturverarbeitung für das omnidirektionale Bild durchgeführt. Namentlich wird, zum Beispiel, ein Teilbereich des omnidirektionalen Bildes ausgeschnitten und eine Verzerrungskorrekturverarbeitung wird dann für das ausgeschnittene Bild durchgeführt, oder es wird eine Verzerrungskorrekturverarbeitung für das omnidirektionale Bild durchgeführt, um das omnidirektionale Bild in ein Panoramabild zu entwickeln.
41A illustriert ein Beispiel des omnidirektionalen Bildes, die 41B illustriert ein Anzeigebeispiel eines Panoramabildes, das zu dem omnidirektionalen Bild der 41A korrespondiert, und die 41C illustriert ein Beispiel, in dem ausgeschnittene/verzerrungskorrigierte Bilder, die zu einer Mehrzahl von Ausschneidebereichen korrespondieren, in einer nebeneinandergestellten Weise, zusammen mit dem omnidirektionalen Bild, angezeigt werden. Wie in den 41A bis 41C illustriert, kann, wenn das omnidirektionale Bild erhalten wird, eine Mehrzahl von Arten von Verzerrungskorrekturverarbeitung für das omnidirektionale Bild durchgeführt werden.
Wie oben beschrieben, kann die herkömmliche Überwachungskamera den Ausschneidebereich in dem omnidirektionalen Bild frei wählbar spezifizieren, d. h., einen Ausschneidesichtwinkel und eine Ausschneideposition, und ein ausgeschnittenes/verzerrungskorrigiertes Bild, das zu dem Ausschneidesichtwinkel und der Ausschneideposition korrespondiert, erhalten. Weiter kann, während des Aufnehmens eines Bewegtbildes, der Ausschneidebereich in Echtzeit geändert werden. Zum Beispiel ist eine Ausgestaltung möglich, in der der Ausschneidebereich so geändert wird, dass er einem bewegten Objekt, das in dem Bild detektiert wird, folgt, und dass, zur gleichen Zeit, das ausgeschnittene/verzerrungskorrigierte Bild, das zu dem auszuschneidenden Bereich korrespondiert, erzeugt wird.
Zitierungsliste
Patentliteratur

Patentliteratur 1: JP 3996805 B1
Patentliteratur 2: US 7366359

Zusammenfassung der Erfindung
Technisches Problem
Wenn die Maskierungsverarbeitung für den Teilbereich des omnidirektionalen Bildes durchgeführt wird, wird durch Durchführen der Verzerrungskorrekturverarbeitung eine Verzerrung von einem Nichtmaskierungsbereich entfernt. Der Maskierungsbereich jedoch nimmt eine verzerrte Form in dem verzerrungskorrigierten Bild an und sieht fürchterlich aus.
In einem Überwachungskamerasystem der Patentliteratur 1 wird der Maskierungsbereich in einem Rechteck angezeigt. 18 ist eine Ansicht zum Erläutern der Verarbeitung, die in der Patentliteratur 1 durchgeführt wird. In der Zeichnung bezeichnen P1 bis P4 jeweils einen Vertex des Maskierungsbereichs und MLU, MRU, MLD und MRD bezeichnen jeweils einen Vertex eines Rechtecks, das durch horizontale und vertikale Linien gebildet wird, die eine von P1 bis P4 umgebene Figur umschreiben. In dem Überwachungskamerasystem der Patentliteratur 1 wird, wenn der Maskierungsbereich, der von P1 bis P4 umgeben ist, verzerrt wird, in einem Fall, in dem eine Ausgestaltung eines Signalerzeugungsabschnitts die Maskierungsform auf ein Rechteck, das durch horizontale und vertikale Linien gebildet wird, beschränkt, derjenige Bereich maskiert, der von MLU, MRU, MLD und MRD umgeben ist, der die von P1 bis P4 umgebene Figur umschreibt.
Das Überwachungskamerasystem der Patentliteratur 1 ist lediglich ausgestaltet, das Rechteck zu maskieren, das durch horizontale und vertikale Linien, die den zu maskierenden Bereich, der von P1 bis P4 umgeben ist, umschreiben, gebildet wird, gemäß den Anforderungen des Signalerzeugungsabschnitts zu maskieren, aber es ist nicht ausgestaltet, die Form des Maskierungsbereichs, von einem Standpunkt des Verbesserns des Aussehens aus gesehen, zu deformieren. Das heißt, es ist nicht immer der Fall, dass ein Maskieren des Rechtecks, das durch die horizontalen und vertikalen Linien, die den durch P1 bis P4 umgebenen Maskierungsbereich umschreiben, gebildet wird, in einer guten Sichtbarkeit resultiert.
Des Weiteren ist es schwierig für einen Nutzer, sich vorzustellen, wie eine Form eines Maskierungsbereichs, den der Nutzer auf dem Bild, welches Verzerrung aufweist, spezifiziert, sich auf dem verzerrungskorrigierten Bild ändert. Insbesondere unterscheidet sich ein Korrekturparameter, der in der Verzerrungskorrekturverarbeitung zu nutzen ist, in Abhängigkeit von dem auszuschneidenen Bereich, so dass es, selbst wenn ein Maskierungsbereich, der dieselbe Form aufweist und an derselben Position angeordnet ist, wie ein vorheriger Bereich, auf dem Bild, welches Verzerrung aufweist, spezifiziert wird, sehr schwierig ist, wenn eine Mehrzahl von unterschiedlichen auszuschneidenden Räumen eingestellt wird, abzuschätzen, wie der Maskierungsbereich durch die Verzerrungskorrekturverarbeitung, die für den einzelnen auszuschneidenen Bereich durchzuführen ist, deformiert wird.
In einer Technologie, die in der Patentliteratur 2 beschrieben wird, wird ein Verarbeitungsbereich auf einem verzerrungskorrigierten Bild spezifiziert, und der spezifizierte Verarbeitungsbereich wird auf ein Koordinatensystem des Bildes, das vor der Verzerrungskorrekturverarbeitung Verzerrung aufweist, projiziert. Wenn jedoch der Verarbeitungsbereich durch ein Verfahren, wie es in der Patentliteratur 2 beschrieben ist, spezifiziert wird, welche einen frei wählbaren Bereich auf dem Bild, welches Verzerrung aufweist, spezifiziert, ändert sich eine Form des Bereichs in Abhängigkeit des Vorhandenseins/Nichtvorhandenseins der Verzerrungskorrekturverarbeitung, einem Unterschied im Anzeigemodus oder einer Bildausschneideposition. Dies verkompliziert die Bereichsspezifizierung, die durch einen Nutzer vorzunehmen ist, und eine Position auf dem spezifizierten Bereich ist schwierig zu verstehen. Des Weiterein ist es in der Technologie, die in der Patentliteratur 2 beschriebenen wird, notwendig, eine große Anzahl von Koordinaten vor und nach der Verzerrungskorrekturverarbeitung zu projizieren, und, demzufolge, wird eine zu verarbeitende Menge von Information extrem groß.
Ein Zweck der vorliegenden Erfindung besteht darin, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren bereitzustellen, die in der Lage sind, ein verzerrungskorrigiertes Bild bereitzustellen, das einen Maskierungsbereich beinhaltet, der eine Form mit einem verbesserten Aussehen aufweist.
Ein anderer Zweck der vorliegenden Erfindung besteht darin, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren bereitzustellen, die in der Lage sind, eine Spezifizierung des Maskierungsbereichs auf dem Bild, welches Verzerrung aufweist, zu ermöglichen, während der verzerrungskorrigierte Maskierungsbereich konfirmiert wird.
Noch ein anderer Zweck der vorliegenden Erfindung besteht darin, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren bereitzustellen, die in der Lage sind, auf dem Bild, welches Verzerrung aufweist, einen Verarbeitungsbereich zu spezifizieren, der als ein Ergebnis der Anwendung der Verzerrungskorrekturverarbeitung auf das Bild, welches Verzerrung aufweist, eine vorbestimmte Form annimmt, und den Verarbeitungsbereich auf dem Bild, welches Verzerrung aufweist, zu konfirmieren.
Ein noch weiterer anderer Zweck der vorliegenden Erfindung besteht darin, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren bereitzustellen, die in der Lage sind, die Einfachheit einer Bereichspezifizierungoperation durch den Nutzer zu verbessern, und eine Menge von zu verarbeitender Information hinsichtlich des Bereichs, der vor und nach der Verzerrungskorrekturverarbeitung geteilt wird, zu reduzieren.
Lösung des Problems
Eine Bildverarbeitungsvorrichtung beinhaltet: einen Maskierungsbereich-Halteabschnitt, der einen Maskierungsbereich, der für ein Bild, welches Verzerrung aufweist, eingestellt ist, hält; einen Maskierungsverarbeitungsabschnitt, der eine Maskierungsverarbeitung für das Bild, welches Verzerrung aufweist, unter Nutzung des Maskierungsbereichs des Maskierungsbereich-Halteabschnitts durchführt; einen Verzerrungskorrekturabschnitt, der das Bild, welches Verzerrung aufweist, das der Maskierungsverarbeitung unterzogen wird, unter Nutzung eines Korrekturparameters zum Korrigieren einer Verzerrung des Bildes, welches Verzerrung aufweist, korrigiert; und einen Maskierungsbereich-Formungsabschnitt, der den Maskierungsbereich des korrigierten Bildes in eine vorbestimmte Form formt.
Wie nachstehend beschrieben, weist die vorliegende Erfindung weitere Aspekte auf. Mithin ist die Offenbarung der Erfindung vorgesehen, einige der Aspekte der Erfindung bereitzustellen, und es ist nicht vorgesehen, den Umfang der Erfindung, wie sie hier beschrieben und beansprucht wird, zu beschränken.
Kurze Beschreibung der Zeichnungen
1 ist eine Ansicht einer äußeren Erscheinung einer Kamera in einer ersten Ausführungsform der vorliegenden Erfindung.
2 ist eine teilweise ausgeschnittene, perspektivische Ansicht der Kamera in der ersten Ausführungsform der vorliegenden Erfindung.
3 ist eine perspektivische Explosionsansicht einer optischen Einheit in der ersten Ausführungsform der vorliegenden Erfindung.
4 ist ein Blockdiagramm, das eine Ausgestaltung eines Aufnahmesystems gemäß der ersten Ausführungsform der vorliegenden Erfindung illustriert.
5 ist eine Ansicht zum Erläutern des Formens eines Maskierungsbereichs in der ersten Ausführungsform der vorliegenden Erfindung.
6 ist eine Ansicht zum Erläutern eines Verarbeitungsablaufs, der in dem Aufnahmesystem in der ersten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
7 ist eine Ansicht, die eine Verarbeitung, die in einer Kamera und einem Bildbetrachtungsgerät durchgeführt wird, und einen Datenaustausch zwischen diesen in einer Abwandlung der ersten Ausführungsform der vorliegenden Erfindung illustriert.
8 ist eine Ansicht, die eine Verarbeitung, die in der Kamera und dem Bildbetrachtungsgerät durchgeführt wird, und einen Datenaustausch zwischen diesen in einer anderen Abwandlung der ersten Ausführungsform der vorliegenden Erfindung illustriert.
9 ist ein Blockdiagramm, das eine Ausgestaltung eines Aufnahmesystems gemäß einer zweiten Ausführungsform der vorliegenden Erfindung illustriert.
10 ist eine Ansicht zum Erläutern eines Verarbeitungsablaufs, der in dem Aufnahmesystem in der zweiten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
11 ist ein Blockdiagramm, das eine Ausgestaltung eines Aufnahmesystems gemäß einer dritten Ausführungsform der vorliegenden Erfindung illustriert.
12 ist eine Ansicht zum Erläutern eines Verarbeitungsablaufs, der in dem Aufnahmesystem in der dritten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
13A ist eine Ansicht zum Erläutern einer Ausschneiderichtung (radiale Richtung) in einer ersten Abwandlung des Formens des Maskierungsbereichs gemäß den Ausführungsformen der vorliegenden Erfindung.
13B ist eine Ansicht zum Erläutern einer Ausschneiderichtung (nicht-radiale Richtung) in der ersten Abwandlung des Formens des Maskierungsbereichs gemäß den Ausführungsformen der vorliegenden Erfindung.
14 ist eine Ansicht zum Erläutern des Formens der Maskierungsbereiche in der ersten Abwandlung des Formens des Maskierungsbereichs gemäß den Ausführungsformen der vorliegenden Erfindung.
15 ist eine Ansicht zum Erläutern des Formens der Maskierungsbereiche in einer zweiten Abwandlung des Formens des Maskierungsbereichs gemäß den Ausführungsformen der vorliegenden Erfindung.
16 ist eine Ansicht zum Erläutern des Formens der Maskierungsbereiche in der zweiten Abwandlung des Formens des Maskierungsbereichs gemäß den Ausführungsformen der vorliegenden Erfindung.
17 ist eine Ansicht zum Erläutern des Formens der Maskierungsbereiche in der zweiten Abwandlung des Formens des Maskierungsbereichs gemäß den Ausführungsformen der vorliegenden Erfindung.
18 ist eine Ansicht zum Erläutern einer Verarbeitung, die in einem herkömmlichen Ansatz für einen maskierten Bereich durchzuführen ist.
19 ist eine Ansicht, die ein Beispiel eines Vorschaubildes gemäß einer vierten Ausführungsform der vorliegenden Erfindung illustriert.
20 ist ein Blockdiagramm, das ein Aufnahmesystem gemäß einer vierten Ausführungsform der vorliegenden Erfindung illustriert.
21 ist eine Ansicht, die ein Beispiel eines omnidirektionalen Bildes gemäß der vierten Ausführungsform der vorliegenden Erfindung illustriert.
22 ist eine Ansicht, die ein Beispiel einer Maskierungsbereichspezifizierung gemäß der vierten Ausführungsform der vorliegenden Erfindung illustriert.
23 ist eine Ansicht, die ein Beispiel einer Maskierungsbereichspezifizierung gemäß der vierten Ausführungsform der vorliegenden Erfindung illustriert.
24 ist eine Ansicht, die ein ausgeschnittenes/verzerrungskorrigiertes Bild gemäß der vierten Ausführungsform der vorliegenden Erfindung illustriert.
25 ist ein Ablaufdiagramm zum Erläutern einer Prozedur des Erzeugens des Vorschaubildes in der vierten Ausführungsform der vorliegenden Erfindung.
26 ist ein Betriebsablaufdiagramm des Aufnahmesystems gemäß der vierten Ausführungsform der vorliegenden Erfindung.
27 ist ein Blockdiagramm eines Aufnahmesystems gemäß einer fünften Ausführungsform der vorliegenden Erfindung.
28 ist ein Ablaufdiagramm zum Erläutern einer Prozedur des Erzeugens des Vorschaubildes in der fünften Ausführungsform der vorliegenden Erfindung.
29 ist ein Betriebsablaufdiagramm des Aufnahmesystems gemäß der fünften Ausführungsform der vorliegenden Erfindung.
30 ist ein Blockdiagramm eines Aufnahmesystems gemäß einer sechsten Ausführungsform der vorliegenden Erfindung.
31 ist ein Ablaufdiagramm zum Erläutern einer Prozedur des Erzeugens des Vorschaubildes in der sechsten Ausführungsform der vorliegenden Erfindung.
32 ist ein Betriebsablaufdiagramm des Aufnahmesystems gemäß der sechsten Ausführungsform der vorliegenden Erfindung.
33A ist eine Ansicht, die ein Beispiel illustriert, in dem der Maskierungsbereich auf dem omnidirektionalen Bild in der Abwandlung der vorliegenden Erfindung spezifiziert wird.
33B ist eine Ansicht, die ein Beispiel illustriert, in dem der auszuschneidende Bereich auf dem omnidirektionalen Bild in der Abwandlung der vorliegenden Erfindung spezifiziert wird.
33C ist eine Ansicht, die ein Beispiel illustriert, in dem eine Anweisung zum Anzeigen des Vorschaubildes auf dem omnidirektionalen Bild in der Abwandlung der vorliegenden Erfindung ausgegeben wird.
33D ist eine Ansicht, die ein Anzeigebeispiel des Vorschaubildes in der Abwandlung der vorliegenden Erfindung illustriert.
34 ist ein Ablaufdiagramm, das einen Betrieb eines Aufnahmesystems gemäß einer siebten Ausführungsform der vorliegenden Erfindung illustriert.
35 ist ein Blockdiagramm eines Aufnahmesystems gemäß der siebten Ausführungsform der vorliegenden Erfindung.
36A ist eine Ansicht, die einen Verarbeitungsbereich (wenn dieser als ein Satz von Koordinaten gespeichert ist), der in einem Bereichspeicherabschnitt gespeichert ist, gemäß der siebten Ausführungsform der vorliegenden Erfindung illustriert.
36B ist eine Ansicht, die einen Verarbeitungsbereich (wenn dieser als ein Satz von Funktionen gespeichert ist), der in dem Bereichspeicherabschnitt gespeichert ist, gemäß der siebten Ausführungsform der vorliegenden Erfindung illustriert.
37A ist eine Ansicht zum Erläutern einer Spezifizierung eines Startpunktes des Verarbeitungsbereichs, die durch einen Nutzer vollführt wird, in der siebten Ausführungsform der vorliegenden Erfindung.
37B ist eine Ansicht zum Erläutern einer Spezifizierung eines Endpunktes des Verarbeitungsbereichs, die durch einen Nutzer vollführt wird, in der siebten Ausführungsform der vorliegenden Erfindung.
38A ist eine Ansicht, die den Startpunkt und den Endpunkt des Verarbeitungsbereichs, der auf dem omnidirektionalen Bild spezifiziert ist, in der siebten Ausführungsform der vorliegenden Erfindung illustriert.
38B ist eine Ansicht, die einen Anzeigebereich, der basierend auf der Spezifizierung des Verarbeitungsbereichs bestimmt ist, in der siebten Ausführungsform der vorliegenden Erfindung illustriert.
39 ist eine Ansicht, die den Verarbeitungsbereich, der in einer überlagerten Weise auf dem Vorschaubild angezeigt wird, in der siebten Ausführungsform der vorliegenden Erfindung illustriert.
40A ist eine Ansicht, den ein Anzeigebeispiel eines ausgeschnittenen/verzerrungskorrigierten Bildes in einem normalen Modus in der siebten Ausführungsform der vorliegenden Erfindung illustriert.
40B ist eine Ansicht, die ein Anzeigebeispiel eines PanoramaBildes in dem normalen Modus in der siebten Ausführungsform der vorliegenden Erfindung illustriert.
41A ist eine Ansicht, die ein Beispiel des herkömmlichen omnidirektionalen Bildes illustriert.
41B ist eine Ansicht, die ein Beispiel illustriert, in dem ausgeschnittene Bilder, die zu einer Mehrzahl von Ausschneidebereichen korrespondieren, in einer nebeneinandergestellten Weise, zusammen mit dem omnidirektionalen Bild, angezeigt werden.
41C ist eine Ansicht, die ein Anzeigebeispiel eines PanoramaBildes, das zu dem herkömmlichen omnidirektionalen Bild korrespondiert, illustriert.
42 ist ein Blockdiagramm, das eine Ausgestaltung eines Aufnahmesystems gemäß einer achten Ausführungsform der vorliegenden Erfindung illustriert.
43 ist ein Ablaufdiagramm, das eine Verarbeitung in einem Aufnahmesystem gemäß der achten Ausführungsform der vorliegenden Erfindung illustriert.
44 ist ein Ablaufdiagramm, das eine Verarbeitung in einem Bereicherzeugungsabschnitt gemäß der achten Ausführungsform der vorliegenden Erfindung illustriert.
45 ist ein Ablaufdiagramm, das eine Verarbeitung des Erzeugens einer Positionsinformation in der achten Ausführungsform der vorliegenden Erfindung illustriert.
46 ist eine Ansicht, die ein Beispiel einer Bildverarbeitung in der achten Ausführungsform der vorliegenden Erfindung illustriert.
47A ist eine Ansicht, die ein Beispiel einer Bereichinformation gemäß der achten Ausführungsform der vorliegenden Erfindung illustriert.
47B ist eine Ansicht, die ein Beispiel einer Bereichinformation gemäß der achten Ausführungsform der vorliegenden Erfindung illustriert.
48 ist eine Ansicht, die ein Beispiel einer Spezifizierung einer Richtung einer Form in der achten Ausführungsform der vorliegenden Erfindung illustriert.
49A ist eine Ansicht, die ein Beispiel des herkömmlichen omnidirektionalen Bildes illustriert.
49B ist eine Ansicht, die ein Anzeigebeispiel eines PanoramaBildes, das zu dem herkömmlichen omnidirektionalen Bild korrespondiert, illustriert.
49C ist eine Ansicht, die ein Beispiel illustriert, in dem ausgeschnittene Bilder, die zu einer Mehrzahl von auszuschneidenden Bereichen korrespondieren, in einer nebeneinandergestellten Weise, zusammen mit dem omnidirektionalen Bild, angezeigt werden.
Beschreibung der Ausführungsformen
Nachstehend folgt eine detaillierte Beschreibung der vorliegenden Erfindung. Die nachstehend beschriebenen Ausführungsformen sind lediglich Beispiele der vorliegenden Erfindung und können in verschiedenen Aspekten abgewandelt werden. Somit beschränken konkrete Strukturen und Funktionen, die hier offenbart werden, nicht den Umfang der vorliegenden Erfindung.
Eine Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung beinhaltet: einen Maskierungsbereich-Halteabschnitt, der einen Maskierungsbereich, der für ein Bild, welches Verzerrung aufweist, eingestellt ist, hält; einen Maskierungsverarbeitungsabschnitt, der eine Maskierungsverarbeitung für das Bild, welches Verzerrung aufweist, unter Nutzung des Maskierungsbereichs des Maskierungsbereich-Halteabschnitts durchführt; einen Verzerrungskorrekturabschnitt, der das Bild, welches Verzerrung aufweist, das der Maskierungsverarbeitung unterzogen wird, unter Nutzung eines Korrekturparameters zum Korrigieren einer Verzerrung des Bildes, welches Verzerrung aufweist, korrigiert; und einen Maskierungsbereich-Formungsabschnitt, der den Maskierungsbereich des korrigierten Bildes in eine vorbestimmte Form formt.
Gemäß dieser Ausgestaltung wird ein Aussehen des Maskierungsbereichs auf einem verzerrungskorrigierten Bild, das durch ein Korrigieren der Verzerrung des Bildes, welches Verzerrung aufweist, erhalten wird, verbessert.
Die Bildverarbeitungsvorrichtung kann einen Maskierungsbereich-Detektionsabschnitt beinhalten, der den Maskierungsbereich des Bildes, das durch den Verzerrungskorrekturabschnitt korrigiert wurde, detektiert. Der Maskierungsbereich-Formungsabschnitt kann den Maskierungsbereich, der durch den Maskierungsbereich-Detektionsabschnitt detektiert wird, in eine vorbestimmte Form formen.
Gemäß dieser Ausgestaltung kann der Maskierungsbereich-Detektionsabschnitt den Maskierungsbereich aus dem verzerrungskorrigierten Bild detektieren, und kann dadurch den detektierten Maskierungsbereich formen.
In der Bildverarbeitungsvorrichtung kann der Maskierungsbereich-Formungsabschnitt den Maskierungsbereich in ein Rechteck formen, das von Linien, die senkrecht und parallel zu dem Bild sind, umgeben ist.
Gemäß dieser Ausgestaltung kann der Maskierungsbereich in eine Form geformt werden, die ein verbessertes Aussehen aufweist.
In der Bildverarbeitungsvorrichtung kann der Maskierungsbereich-Formungsabschnitt den Maskierungsbereich so formen, dass eine Linie, die durch die Verzerrungskorrekturverarbeitung durch den Verzerrungskorrekturabschnitt in eine Kurve transformiert wird, in eine gerade Linie transformiert wird.
Gemäß dieser Ausgestaltung kann der Maskierungsbereich in eine Form geformt werden, die ein verbessertes Aussehen aufweist.
In der Bildverarbeitungsvorrichtung kann das Bild, welches Verzerrung aufweist, ein Bild sein, das aus einem omnidirektionalen Bild ausgeschnitten ist, und der Maskierungsbereich-Formungsabschnitt kann den Maskierungsbereich gemäß einer Richtung, in der das Bild, welches Verzerrung aufweist, aus dem omnidirektionalen Bild ausgeschnitten ist, formen.
Gemäß dieser Ausgestaltung kann der Maskierungsbereich so geformt sein, dass eine aufrechte Richtung eines Subjekts und diejenige des Maskierungsbereichs auf einem Bild, das aus dem omnidirektionalen Bild ausgeschnitten ist, miteinander übereinstimmen.
In der Bildverarbeitungsvorrichtung kann, beim Durchführen der Korrekturverarbeitung, der Verzerrungskorrekturabschnitt für jedes Quadrat, das aus einer Mehrzahl von Pixeln gebildet ist, Quellkoordinaten linear interpolieren, um Pixel korrespondierender Koordinaten aufzufüllen, und der Maskierungsbereich-Formungsabschnitt kann das Quadrat, das den korrigierten Maskierungsbereich beinhaltet, als einen Maskierungsbereich nach dem Formen einstellen.
Gemäß dieser Ausgestaltung wird der Maskierungsbereich nicht in einen Bereich geformt, der eine Diagonale oder eine gekrümmte Seite beinhaltet, sondern er kann in eine Form entlang einer Grenze des Quadrats geformt werden, wodurch das Aussehen des Maskierungsbereichs verbessert wird.
In der Bildverarbeitungsvorrichtung kann der Maskierungsbereich-Formungsabschnitt eine Mehrzahl von Quadraten, die die Quadrate, die den korrigierten Maskierungsbereich beinhalten, beinhalten und die als Ganzes in eine rechteckige Form geformt sind, als einen Maskierungsbereich nach dem Formen einstellen.
Gemäß dieser Ausgestaltung kann der Maskierungsbereich unter Nutzung des Quadrats, das in der Verzerrungskorrekturverarbeitung genutzt wird, geformt werden, wodurch das Aussehen des Maskierungsbereichs verbessert wird.
Die Bildverarbeitungsvorrichtung kann einen Bildgebungsabschnitt beinhalten, der das Bild, welches Verzerrung aufweist, eingibt.
Gemäß dieser Ausgestaltung wird das Aussehen des Maskierungsbereichs auf dem verzerrungskorrigierten Bild, das durch ein Korrigieren der Verzerrung des Bildes, welches Verzerrung aufweist, das von dem Aufnahmeabschnitt eingegeben wird, erhalten wird, verbessert werden.
In der Bildverarbeitungsvorrichtung kann der Bildgebungsabschnitt ein Fischaugenobjektiv beinhalten.
Gemäß dieser Ausgestaltung kann ein Bild, welches Verzerrung aufweist, mit einem weiten Sichtwinkel in dem Aufnahmeabschnitt erhalten werden, und das Aussehen des Maskierungsbereichs auf dem verzerrungskorrigierten Bild, das durch ein Korrigieren der Verzerrung des Bildes, welches Verzerrung aufweist, erhalten wird, wird verbessert.
Die Bildverarbeitungsvorrichtung kann beinhalten: einen Spezifizierungsabschnitt, den ein Nutzer nutzt, um auf dem Bild, welches Verzerrung aufweist, einen Maskierungsbereich, der in dem Maskierungsbereich-Halteabschnitt zu halten ist, zu spezifizieren; und einen Maskierungsbereich-Korrekturabschnitt, der, durch den Korrekturparameter, den Maskierungsbereich, der durch den Spezifizierungsabschnitt spezifiziert wird, korrigiert. Der korrigierte Maskierungsbereich kann simultan angezeigt werden, wenn der Nutzer den Maskierungsbereich spezifiziert.
Gemäß dieser Ausgestaltung ist es möglich, wenn ein Maskierungsbereich spezifiziert wird, zu konfirmieren, wie der spezifizierte Maskierungsbereich auf das Bild, welches Verzerrung aufweist, angewendet wird.
Die Bildverarbeitungsvorrichtung kann des Weiteren einen Spezifizierungsabschnitt beinhalten, den ein Nutzer nutzt, um auf dem Bild, welches Verzerrung aufweist, einen Maskierungsbereich, der in dem Maskierungsbereich-Halteabschnitt zu halten ist, zu spezifizieren; und einen Maskierungsbereich-Korrekturabschnitt, der, durch den Korrekturparameter, den Maskierungsbereich, der durch den Spezifizierungsabschnitt spezifiziert wird, korrigiert. Der korrigierte Maskierungsbereich kann in einer überlagerten Weise auf dem Bild, welches Verzerrung aufweist, angezeigt werden, wenn der Nutzer den Maskierungsbereich spezifiziert.
Gemäß dieser Ausgestaltung ist es möglich, einen spezifizierten Maskierungsbereich auf dem Bild, welches Verzerrung aufweist, zu konfirmieren.
Eine Bildverarbeitungsvorrichtung gemäß einer anderen Ausführungsform der vorliegenden Erfindung beinhaltet: einen Maskierungsbereich-Halteabschnitt, der einen Maskierungsbereich, der für ein Bild, welches Verzerrung aufweist, eingestellt ist, hält; einen Maskierungsbereich-Korrekturabschnitt, der den Maskierungsbereich des Maskierungsbereich-Halteabschnitts unter Nutzung eines Korrekturparameters zum Korrigieren des Bildes, welches Verzerrung aufweist, korrigiert; einen Maskierungsbereich-Formungsabschnitt, der den Maskierungsbereich, der durch den Maskierungsbereich-Korrekturabschnitt korrigiert wird, in eine vorbestimmte Form formt; einen Inverse-Transformation-/Korrekturabschnitt, der eine inverse Transformation unter Nutzung des Korrekturparameters für den Maskierungsbereich, der durch den Maskierungsbereich-Formungsabschnitt geformt ist, durchführt; einen Maskierungsverarbeitungsabschnitt, der eine Maskierungsverarbeitung für das Bild, welches Verzerrung aufweist, unter Nutzung des Maskierungsbereichs, der der inversen Transformation durch den inverse-Transformation-/Korrekturabschnitt unterzogen wurde, durchführt; und einen Verzerrungskorrekturabschnitt, der das Bild, welches Verzerrung aufweist, das der Maskierungsverarbeitung unterzogen wurde, unter Nutzung des Korrekturparameters korrigiert.
Gemäß dieser Ausgestaltung ist es möglich, den Maskierungsbereich, der der Korrekturverarbeitung zu unterziehen ist, in eine Form mit einer guten Sichtbarkeit nach der Verzerrungskorrekturverarbeitung, die für das Bild, welches Verzerrung aufweist, auf dem der Maskierungsbereich der Maskierungsverarbeitung unter unterzogen wird, durchzuführen ist, zu formen.
Eine Bildverarbeitungsvorrichtung gemäß noch einer anderen Ausführungsform der vorliegenden Erfindung beinhaltet: einen Maskierungsbereich-Halteabschnitt, der einen Maskierungsbereich, der für ein Bild, welches Verzerrung aufweist, eingestellt ist, hält; einen Verzerrungskorrekturabschnitt, der das Bild, welches Verzerrung aufweist, unter Nutzung eines Korrekturparameters zum Korrigieren von Verzerrung des Bildes, welches Verzerrung aufweist, korrigiert; einen Maskierungsbereich-Korrekturabschnitt, der den Maskierungsbereich des Maskierungsbereich-Halteabschnitts unter Nutzung des Korrekturparameters korrigiert; einen Maskierungsbereich-Formungsabschnitt, der den Maskierungsbereich, der durch den Maskierungsbereich-Korrekturabschnitt korrigiert wird, in eine vorbestimmte Form formt; und einen Maskierungsverarbeitungsabschnitt, der eine Maskierungsverarbeitung für den Maskierungsbereich auf dem Bild, das durch den Verzerrungskorrekturabschnitt korrigiert wurde, der durch den Maskierungsbereich-Formungsabschnitt geformt wurde, durchführt.
Gemäß dieser Ausgestaltung werden sowohl das Bild, welches Verzerrung aufweist, als auch der Maskierungsbereich korrigiert, und der Maskierungsbereich wird dann in eine Form mit einem verbesserten Aussehen, die auf das verzerrungskorrigierte Bild anzuwenden ist, geformt.
Ein Bildverarbeitungsverfahren gemäß einer Ausführungsform der vorliegenden Erfindung beinhaltet die Schritte: Erfassen eines Bildes, welches Verzerrung aufweist; Halten eines Maskierungsbereichs, der für das Bild, welches Verzerrung aufweist, eingestellt ist; Durchführen einer Maskierungsverarbeitung für das Bild, welches Verzerrung aufweist, unter Nutzung des Maskierungsbereichs; Korrigieren des Bildes, welches Verzerrung aufweist, das der Maskierungsverarbeitung unterzogen wird, unter Nutzung eines Korrekturparameters zum Korrigieren einer Verzerrung des Bildes, welches Verzerrung aufweist; und Formen des Maskierungsbereichs des korrigierten Bildes in eine vorbestimmte Form.
Auch gemäß dieser Ausgestaltung wird das Aussehen des Maskierungsbereichs auf einem verzerrungskorrigierten Bild, das durch ein Korrigieren der Verzerrung des Bildes, welches Verzerrung aufweist, erhalten wird, verbessert.
Nachstehend wird ein Aufnahmesystem gemäß gemäßen Ausführungsformen der vorliegenden Erfindung unter Nutzung der Zeichnungen beschrieben. Ein Aufnahmesystem, wie es hier beschrieben wird, ist ein System, das ein aufgenommenes Bild verarbeitet, und ein Teil von oder die gesamte Ausgestaltung des Aufnahmesystems kann als eine Bildverarbeitungsvorrichtung betrachtet werden.
1. Erste bis dritte Ausführungsformen
1-1. Erste Ausführungsform
Zunächst wird eine Struktur einer Kamera gemäß der vorliegenden Ausführungsform beschrieben. 1 ist eine Ansicht einer äußeren Erscheinung der Kamera in der vorliegenden Ausführungsform. 2 ist eine teilweise ausgeschnittene, perspektivische Ansicht der Kamera in der vorliegenden Ausführungsform. Wie in der 1 illustriert, weist eine Kamera 100 ein Gehäuse 11, eine Kuppelabdeckung 12 und eine Basis 13 auf. Die Kamera 100 wird zum Überwachen von, z. B., Räumlichkeiten genutzt und ist an einer Wand oder an einer Decke der Räumlichkeiten installiert. Das Gehäuse 11, das mit einem synthetischen Harz in einer Ringform gebildet ist, ist an einem äußeren Umfang der Kamera 100 positioniert, und die Kuppelabdeckung 12, die aus einem transparenten Plastik gebildet ist, ist an einem Zentrum der Kamera 100 angeordnet. Eine äußere Oberflächenseite der Basis 13 ist an der Wand oder der Decke durch Montagebügel 18 angebracht. In diesem Fall zeigt die Kuppelabdeckung 12 nach unten.
Wie in der 2 illustriert, ist ein Komponentenunterbringungsraum um eine optische Einheit 14 der Basis 13 herum gebildet, und eine Hauptplatine 15 zur Bildverarbeitung sowie eine Spannungsquelle sind in dem Komponentenunterbringungsraum bereitgestellt. Ein Controller (nicht illustriert), der mit einer CPU und einem Speicherabschnitt versehen ist, ist auf der Hauptplatine 15 angebracht. Die optische Einheit 14 weist ein Fischaugenobjektiv 16 auf, die durch einen Objektivhalter 19 gestützt wird, sowie eine offenbare/verschließbare Abdeckung 17.
3 ist eine perspektivische Explosionsansicht der optischen Einheit in der vorliegenden Ausführungsform. In der 3 ist das Fischaugenobjektiv 16 an den Objektivhalter 19 durch ein Packmaterial 20 angepasst. Ein MOS-Halter 24 ist an einer Sensorplatine 21 befestigt, die mit der Hauptplatine 15 durch Befestigungsschrauben 23 verbunden ist. Das Sensorsubstrat 21, an dem der MOS-Halter 24 befestigt ist, ist an einer unteren Oberflächenseite des Objektivhalters 19 durch eine MOS-Klammer 25 und Befestigungsschrauben 26 befestigt.
Vier Durchgangslöcher 22 sind an einem äußeren Umfang des Objektivhalters 19 bereitgestellt. Vier Montageanschlüsse 29 sind jeweils von der Basis 13 und Befestigungsabstandsblöcken 28 bereitgestellt. Die Abstandsblöcke 28 durchdringen jeweils das Durchgangsloch 22 des Objektivhalters 19 und sind durch Befestigungsschrauben 23 befestigt. Eine Spiralfeder 27 ist zwischen der Basis 13 und den Durchgangslöchern 22 des Objektivhalters 19 eingebracht. Die Spiralfeder 27 spannt den Objektivhalter 19 relativ zu der Basis 13 aufwärts vor.
4 ist ein Blockdiagramm, das eine Ausgestaltung eines Aufnahmesystems gemäß der vorliegenden Ausführungsform illustriert. Wie in der 4 illustriert, beinhaltet ein Aufnahmesystem 101 gemäß der ersten Ausführungsform eine Kamera 110 und ein Bildbetrachtungsgerät 210. Die Kamera 110 ist eine Überwachungskamera, die an einem zu überwachenden Ort installiert ist. Das Bildbetrachtungsgerät 210 ist kommunikationsfähig, drahtgebunden oder drahtlos mit der Kamera 110 verbunden. Das Bildbetrachtungsgerät 210 ist, z. B., durch einen Computer, der einen in einem Überwachungsraum bereitgestellten Monitor aufweist, oder durch ein mobiles Gerät, das von einer Wachperson mitgeführt wird, realisiert.
Die Kamera 110 weist einen omnidirektionalen Bildgebungsabschnitt 111, einen Maskierungsdaten-Halteabschnitt 112, einen Maskierungsausführungsabschnitt 113, einen Ausschneideparameter-Einstellabschnitt 114, und einen Ausschneide-/Verzerrungskorrekturabschnitt 115. Der omnidirektionale Bildgebungsabschnitt 111 ist eine wohlbekannte omnidirektionale Kamera, die ein Fischaugenobjektiv, ein Bildgebungselement, auf das Licht von einem Subjekt (Überwachungsziel), welches durch das Fischaugenobjektiv läuft, fällt, und einen Verarbeitungsabschnitt, der eine Verarbeitung für Bildsignale, die durch das Bildgebungselement erhaltenen werden, durchführt, um Bilddaten zu erzeugen. Der omnidirektionale Bildgebungsabschnitt 111 gibt ein durch Aufnehmen erzeugtes omnidirektionales Bild an den Maskierungsausführungsabschnitt 113 aus.
Das omnidirektionale Bild ist ein kreisförmiges oder ein kreisringförmiges Bild, das durch das Fischaugenobjektiv erhalten wird, und das einen horizontalen Sichtwinkel von ungefähr 360° aufweist. Das omnidirektionale Bild beinhaltet Verzerrung, wobei ein Grad der Verzerrung mit der Nähe zu einem äußeren Randbereich des omnidirektionalen Bildes ansteigt. Das Bildbetrachtungsgerät 210 kann ein solches omnidirektionales Bild direkt anzeigen und, wie später beschrieben, kann er ein Bild anzeigen, von dem die Verzerrung entfernt wurde.
Der Maskierungsdaten-Halteabschnitt 112 hält Daten (nachstehend als ”Maskierungsdaten” oder ”Maskierungsbereich” bezeichnet), die einen Maskierungsbereich auf dem omnidirektionalen Bildes repräsentieren. Das heißt, die Maskierungsdaten, die durch den Maskierungsdaten-Halteabschnitt 112 gehaltenen werden, sind Daten, die eine Form des Maskierungsbereichs, eine Richtung desselben und eine Position desselben auf dem omnidirektionalen Bild angeben. Ein Nutzer kann einen frei wählbaren Bereich in dem omnidirektionalen Bild als den Maskierungsbereich einstellen. Das heißt, der Nutzer kann einen Maskierungsbereich, der eine frei wählbare Form aufweist (z. B., ein Rechteck, eine Ellipse, einen Kreis, oder dergleichen) an einer frei wählbaren Position in dem omnidirektionalen Bild einstellen und den eingestellten Maskierungsbereich in dem Maskierungsdaten-Halteabschnitt 112 speichern. Eine Mehrzahl der Maskierungsbereiche kann in dem omnidirektionalen Bild eingestellt werden.
Der Maskierungsausführungsabschnitt 113 erfasst das omnidirektionale Bild von dem omnidirektionalen Bildgebungsabschnitt 111 und führt eine Maskierungsverarbeitung für den Maskierungsbereich, der in dem Maskierungsdaten-Halteabschnitt 112 eingestellt ist, durch. Die Maskierungsverarbeitung ist eine Verarbeitung zum Reduzieren einer Menge von Informationen, die von dem Bild erhalten werden, und beinhaltet eine Verarbeitung des Auffüllens des Maskierungsbereichs mit einer vorbestimmten Farbe, um den Informationsgehalt des Maskierungsbereichs auf null zu reduzieren, eine Verarbeitung (Mosaikverarbeitung) des Transformierens des Maskierungsbereichs in ein Bild, das eine verringerte Auflösung aufweist, eine Verarbeitung des Transformierens des Maskierungsbereichs in ein Bild das wirkt, als würde es durch ein mattes Glas gesehen, oder dergleichen. In der vorliegenden Ausführungsform ist die Verarbeitung des Auffüllens des Maskierungsbereichs mit einer Farbe gewählt.
Der Ausschneideparameter-Einstellabschnitt 114 stellt einen Ausschneideparameter, der einen auszuschneidenden Bereich in dem omnidirektionalen Bild angibt, ein. Der Ausschneideparameter beinhaltet, z. B., Zentrumskoordinaten des auszuschneidenden Bereichs, einen Zoomfaktor (Größe des auszuschneidenden Bereichs auf dem omnidirektionalen Bild) und eine Ausschneiderichtung. Der Ausschneide-/Verzerrungskorrekturabschnitt 115 schneidet den auszuschneidenden Bereich, der durch den Ausschneideparameter, der durch den Ausschneideparameter-Einstellabschnitt 114 eingestellt ist, identifiziert wird, aus dem omnidirektionalen Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durch den Maskierungsausführungsabschnitt 113 durchgeführt wird, aus und führt eine Korrektur so aus, dass eine Verzerrung entfernt wird, um dadurch ein verzerrungskorrigiertes Bild zu erzeugen.
Wenn der Ausschneidebereich durch den Ausschneideparameter-Einstellabschnitt 114 identifiziert wird, wird ein Korrekturparameter zum Entfernen der Verzerrung von dem ausgeschnittenen Bereich eindeutig bestimmt, so dass der in dem Ausschneideparameter-Einstellabschnitt 114 eingestellte Ausschneideparameter als der Korrekturparameter, der in der Verarbeitung durch den Ausschneide-/Verzerrungskorrekturabschnitt 115 zu nutzen ist, dient. Der in dem Ausschneideparameter-Einstellabschnitt 114 eingestellte Ausschneideparameter kann durch eine Spezifizierung durch einen Nutzers eingestellt werden. Alternativ kann der Ausschneideparameter so eingestellt werden, dass der Ausschneidebereich einen Bereich beinhaltet, der ein vorbestimmtes Subjekt beinhaltet, das durch eine Bilderkennungsverarbeitung, die die Kamera 110 selbst für das omnidirektionale Bild durchgeführt hat, erkannt wurde.
Der Ausschneide-/Verzerrungskorrekturabschnitt 115 schneidet den Ausschneidebereich des omnidirektionalen Bildes, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wurde, aus und führt eine Verzerrungskorrekturverarbeitung für den Ausschneidebereich aus, um dadurch ein verzerrungskorrigiertes Bild zu erzeugen. Der Ausschneide-/Verzerrungskorrekturabschnitt 115 führt die Verzerrungskorrekturverarbeitung für den Ausschneidebereich des omnidirektionalen Bildes aus, um dadurch den Maskierungsbereich, der auf das omnidirektionale Bild angewendet wird, zu korrigieren. Auf die Erzeugung des verzerrungskorrigierten Bildes in dem Ausschneide-/Verzerrungskorrekturabschnitt 115 hin, wird das verzerrungskorrigierte Bild durch eine nicht illustrierte Schnittstelle zu dem Bildbetrachtungsgerät 210 übertragen. Das Bildbetrachtungsgerät 210 empfängt das verzerrungskorrigierte Bild.
Das Bildbetrachtungsgerät 210 weist einen Maskierungsbereich-Detektionsabschnitt 211, einen Maskierungsbereich-Formungsabschnitt 212, und einen Ausgabeabschnitt 213 auf. Der Maskierungsbereich-Detektionsabschnitt 211 erfasst das von der Kamera 110 übertragene verzerrungskorrigierte Bild und detektiert den Maskierungsbereich aus dem verzerrungskorrigierten Bild. Da der Maskierungsbereich der vorliegenden Ausführungsform mit einer Farbe aufgefüllt ist, detektiert der Maskierungsbereich-Detektionsabschnitt 211 den korrespondierenden Bereich als den Maskierungsbereich. Der detektierte Maskierungsbereich wird, zusammen mit dem verzerrungskorrigierten Bild, an den Maskierungsbereich-Formungsabschnitt 212 ausgegeben.
Der Maskierungsbereich-Formungsabschnitt 212 formt den Maskierungsbereich, der durch den Maskierungsbereich-Detektionsabschnitt 211 detektiert wurde, durch ein nachstehend beschriebenes Verfahren in eine leicht sichtbare Form und führt dann noch einmal die Maskierungsverarbeitung auf dem verzerrungskorrigierten Bild aus. Der Ausgabeabschnitt 213 ist ein Anzeigegerät, das das verzerrungskorrigierte Bild, auf dem die zweite Maskierungsverarbeitung durch den Maskierungsbereich-Formungsabschnitt 212 durchgeführt wird, anzeigt.
Nachstehend wird das Formen des Maskierungsbereichs durch den Maskierungsbereich-Formungsabschnitt 212 beschrieben. 5 ist eine Ansicht zum Erläutern des Formens des Maskierungsbereichs durch den Maskierungsbereich-Formungsabschnitt 212. In dem Beispiel der 5 wird ein rechteckiger Maskierungsbereich mo1, der durch horizontale und vertikale Seiten, die in dem omnidirektionalen Bild als einem originalen Bild beinhaltet sind, gebildet wird, in dem Maskierungsdaten-Halteabschnitt 112 eingestellt.
Der Maskierungsbereich mo1 wird durch den Maskierungsausführungsabschnitt 113 auf das omnidirektionale Bild angewendet und der Ausschneidebereich dieses omnidirektionalen Bildes wird durch den Ausschneide-/Verzerrungskorrekturabschnitt 115 korrigiert. Dann wird der Maskierungsbereich mo1 in einen Maskierungsbereich mm1 der 5 geformt. Das heißt, der Maskierungsbereich, der auf das omnidirektionale Bild vor der Verzerrungskorrekturverarbeitung angewendet wird, nimmt ein Rechteck an, das durch horizontale und vertikale Seiten gebildet ist, d. h., eine wohlorganisierte Form. Nach der Verzerrungskorrekturverarbeitung, die durch den Ausschneide-/Verzerrungskorrekturabschnitt 115 durchgeführt wird, jedoch, nimmt der Maskierungsbereich ein verzerrtes Viereck an. Der verzerrungskorrigierte Maskierungsbereich, der in der 5 illustriert ist, ist lediglich ein Beispiel und, tatsächlich, nimmt der Maskierungsbereich eine Form an, die durch einen Verzerrungskorrekturparameter, der durch eine Linsenverzerrung und dergleichen bestimmt wird, und kann nicht nur das Vieleck annehmen, sondern auch eine Form, die eine Kurve beinhaltet.
Der Maskierungsbereich-Formungsabschnitt 212 formt den Maskierungsbereich, der ein solches verzerrtes Viereck annimmt, in ein Rechteck, das durch horizontale und vertikale Seiten, die den ganzen oder einen Teil des Maskierungsbereichs beinhalten, gebildet wird. In der 5 nimmt ein geformter Maskierungsbereich ms11 ein Rechteck an, das durch horizontale und vertikale Seiten, die vollständig das verzerrte Viereck, das als ein Ergebnis der Verzerrungskorrekturverarbeitung erhalten wurde, beinhalten, gebildet wird, das heißt, er weist einen Bereich auf, der größer ist als das verzerrte Viereck, und ein geformter Maskierungsbereich ms12 nimmt ein Rechteck an, das durch horizontale und vertikale Seiten, die einen Teil des verzerrten Vierecks, das als ein Ergebnis der Verzerrungskorrekturverarbeitung erhaltenen wurde, beinhalten, gebildet wird. Der Maskierungsbereich-Formungsabschnitt führt noch einmal die Maskierungsverarbeitung für den Bereich des Rechtecks ms11 oder ms12 durch.
In der 5 nimmt ein verzerrungskorrigierter Maskierungsbereich mm2 als ein Ergebnis der Verzerrungskorrekturverarbeitung eine Form an, in der vier Seiten konkave Kurven sind. Der Maskierungsbereich-Formungsabschnitt 212 formt den Maskierungsbereich mm2 so, dass die konkaven Kurven desselben jeweils zu geraden Linien werden. Des Weiteren nimmt, in der 5, ein verzerrungskorrigierter Verzerrungsbereich mm3 eine Form an, in der zwei gegenüberliegende Seiten konkave Kurven sind und die anderen zwei gegenüberliegenden Seiten konvexe Kurven sind. Der Maskierungsbereich-Formungsabschnitt 212 formt den Maskierungsbereich mm3 so, dass die konkaven Kurven desselben jeweils zu geraden Linien werden und die konvexen Kurven desselben jeweils zu geraden Linien werden.
Ein Verarbeitungsablauf in dem Aufnahmesystem 101, das die obige Ausgestaltung aufweist, wird zusammen mit Bildern und Maskierungsbereichen beschrieben. 6 ist eine Ansicht zum Erläutern des Verarbeitungsablaufs in dem Aufnahmesystem 101. Der omnidirektionale Bildgebungsabschnitt 111 nimmt einen zu überwachenden Ort auf, um ein omnidirektionales Bild IM11 zu erfassen (Schritt S61). Wie in der 6 illustriert, ist das omnidirektionale Bild IM11 ein Bild, das in einem Kreis gebildet ist, in dem ein Grad der Verzerrung mit der Nähe zu einem äußeren Randbereich desselben ansteigt. Der Maskierungsausführungsabschnitt 113 führt, auf dem omnidirektionalen Bild IM11, die Maskierungsverarbeitung für einen Maskierungsbereich MA11, der von dem Maskierungsdaten-Halteabschnitt 112 ausgelesenen wird, durch (Schritt S62). Als ein Ergebnis wird das omnidirektionale Bild IM11 zu einem Bild IM12, auf dem die Maskierungsverarbeitung für den Maskierungsbereich MA11 durchgeführt wird.
Der Ausschneideparameter (d. h., der Korrekturparameter), der durch den Maskierungsdaten-Halteabschnitt 112 eingestellt ist, wird genutzt, um den Ausschneidebereich aus dem Bild IM12, das, wie oben beschreiben, teilweise der Maskierungsverarbeitung unterzogen wurde, auszuschneiden, und die Verzerrungskorrekturverarbeitung wird für den Ausschneidebereich durchgeführt (Schritt S63). Als ein Ergebnis wird der Ausschneidebereich, der der Verzerrungskorrekturverarbeitung unterzogen wird, von dem omnidirektionalen Bild IM12, auf dem die Maskierungsverarbeitung durchgeführt wird, ausgeschnitten, um ein verzerrungskorrigiertes Bild IM13 zu erhalten. Das verzerrungskorrigierte Bild IM13 beinhaltet einen Maskierungsbereich MA12. Der Maskierungsbereich MA12 ist ein Bereich, der aus der Ausschnitt-/Verzerrungskorrekturverarbeitung, die der Ausschneide-/Verzerrungskorrekturabschnitt 15 für den ursprünglichen Maskierungsbereich MA11 durchführt, resultiert, und nimmt somit eine verzerrte Form an.
Das so erzeugte verzerrungskorrigierte Bild IM13 wird von der Kamera 110 zu dem Bildbetrachtungsgerät 210 übertragen und dann dem Maskierungsbereich-Detektionsabschnitt 211 des Bildbetrachtungsgeräts 210 zugeführt. Der Maskierungsbereich-Detektionsabschnitt 211 detektiert den Maskierungsbereich aus dem verzerrungskorrigierten Bild IM13 (Schritt S64). Wenn der Maskierungsbereich MA12 detektiert ist, formt der Maskierungsbereich-Formungsabschnitt 212 den Maskierungsbereich, um einen geformten Maskierungsbereich MA13 zu erhalten (Schritt S65). In dem Beispiel der 6 nimmt der geformte Maskierungsbereich MA13 ein Rechteck an, das durch horizontale und vertikale Seiten, die den früheren verzerrten Maskierungsbereich MA12 umgeben, gebildet wird.
Der Maskierungsbereich-Formungsabschnitt 212 führt die Maskierungsverarbeitung für den geformten Maskierungsbereich MA13 auf dem verzerrungskorrigierten Bild IM13 durch (Schritt S66). Der Maskierungsbereich-Formungsabschnitt 212 führt somit die Maskierungsverarbeitung für den rechteckigen Maskierungsbereich MA13, der durch horizontale und vertikale Seiten gebildet ist, durch, um dadurch ein verzerrungskorrigiertes Bild IM14 zu erhalten.
Wie oben beschrieben wird gemäß der ersten Ausführungsform der vorliegenden Erfindung die Maskierungsverarbeitung auf dem omnidirektionalen Bild, welches Verzerrung aufweist, durchgeführt, wobei ein gewünschter Bereich als der Maskierungsbereich eingestellt wird, und die Verzerrungskorrekturverarbeitung wird dann für das resultierende Bild durchgeführt. Durch die Verzerrungskorrekturverarbeitung wird die Verzerrung eines Bildes, das nicht dem Markierungsbereich entspricht, eliminiert. Der Maskierungsbereich nimmt jedoch eine verzerrte Form an. Der Maskierungsbereich-Detektionsabschnitt 211 detektiert dann den Maskierungsbereich aus dem verzerrungskorrigierten Bild und der Maskierungsbereich-Formungsabschnitt 212 formt den detektierten Maskierungsbereich in eine Form mit einem verbesserten Aussehen, gefolgt von einer zweiten Maskierungsverarbeitung. Somit nimmt der Maskierungsbereich in dem endgültigen verzerrungskorrigierten Bild eine Form mit einem verbesserten Aussehen an.
In der oben beschriebenen ersten Ausführungsform sind der Maskierungsdaten-Halteabschnitt 112, der Maskierungsausführungsabschnitt 113, der Ausschneideparameter-Einstellabschnitt 114 und der Ausschneide-/Verzerrungskorrekturabschnitt 115 in der Kamera 110 bereitgestellt und der Maskierungsbereich-Detektionsabschnitt 211 und der Maskierungsbereich-Formungsabschnitt 212 sind in dem Bildbetrachtungsgerät 210 bereitgestellt. Es kann jedoch jedes der obigen konstituierenden Elemente in entweder der Kamera 110 oder dem Bildbetrachtungsgerät 210 bereitgestellt sein.
Zum Beispiel kann die Kamera 110 lediglich mit dem omnidirektionalen Bildgebungsabschnitt 111 versehen sein und das Bildbetrachtungsgerät 210 kann mit all den konstituierenden Elementen mit Ausnahme des omnidirektionalen Bildgebungsabschnitts 111 versehen sein. 7 ist eine Ansicht, die eine Verarbeitung, die in der Kamera 110 und dem Bildbetrachtungsgerät 210 durchgeführt wird, und einen Datenaustausch zwischen diesen in diesem Fall illustriert. In diesem Fall führt der omnidirektionale Bildgebungsabschnitt 111 der Kamera 110 eine Bildgebung durch (Schritt S71), um ein omnidirektionales Bild zu erhalten, und überträgt das erhaltene omnidirektionale Bild zu dem Bildbetrachtungsgerät 210 (Schritt S72). In dem Bildbetrachtungsgerät 210 führt der Ausschneide-/Verzerrungskorrekturabschnitt 115 eine Ausschneide- und Korrekturverarbeitung des Ausscheidens des Ausschneidebereichs aus dem omnidirektionalen Bild und des Durchführens der Verzerrungskorrekturverarbeitung durch (Schritt S73), und der Ausgabeabschnitt 213 zeigt das verzerrungskorrigierte Bild an (Schritt S74). In der 7 sind Beschreibungen der Maskierungsverarbeitung weggelassen.
8 ist eine Ansicht, die eine Verarbeitung, die in der Kamera 110 und dem Bildbetrachtungsgerät 210 durchgeführt wird, und einen Datenaustausch zwischen diesen in einem Fall illustriert, in dem das Aufnahmesystem 101, das die in der 4 illustrierte Ausgestaltung aufweist, so abgewandelt ist, dass der Ausschneideparameter-Einstellabschnitt 114 in dem Bildbetrachtungsgerät 210 bereitgestellt ist. In diesem Fall führt der omnidirektionale Bildgebungsabschnitt 111 der Kamera 110 eine Bildgebung durch (Schritt S81), und der Ausschneideparameter-Einstellabschnitt 114 des Bildbetrachtungsgeräts 210 spezifiziert den Ausschneidebereich (Schritt S82). Dann wird der Ausschneideparameter, der den Ausschneidebereich identifiziert, von dem Bildbetrachtungsgerät 210 zu der Kamera 110 übertragen (Schritt S83).
Der Ausschneide-/Verzerrungskorrekturabschnitt 115 der Kamera 110 nutzt den Ausschneideparameter als den Korrekturparameter, um die Verzerrungskorrekturverarbeitung für das omnidirektionale Bild durchzuführen (Schritt S84), um dadurch das verzerrungskorrigierte Bild zu erhalten. Das erhaltene verzerrungskorrigierte Bild wird von der Kamera 110 zu dem Bildbetrachtungsgerät 210 übertragen (Schritt S85) und auf dem Ausgabeabschnitt 213 angezeigt (Schritt S86).
1-2. Zweite Ausführungsform
Im Folgenden wird eine zweite Ausführungsform der vorliegenden Erfindung beschrieben. 9 ist ein Blockdiagramm, das eine Ausgestaltung eines Aufnahmesystems gemäß einer zweiten Ausführungsform der vorliegenden Erfindung illustriert. Wie in der 9 illustriert, beinhaltet ein Aufnahmesystem 102 gemäß der zweiten Ausführungsform eine Kamera 120 und ein Bildbetrachtungsgerät 220. Dieselben Bezugszeichen sind denselben konstituierenden Elementen der Kamera 120 und des Bildbetrachtungsgeräts 220 zugewiesen wie denjenigen der Kamera 110 und des Bildbetrachtungsgeräts 210 der ersten Ausführungsform, und detaillierte Beschreibungen derselben sind weggelassen.
Die Kamera 120 weist einen omnidirektionalen Bildgebungsabschnitt 111, einen Maskierungsdaten-Halteabschnitt 112, einen Maskierungsausführungsabschnitt 113, einen Ausschneide-/Verzerrungskorrekturabschnitt 115 und einen Maskierungsbereich-Formungsabschnitt 126 auf. In der vorliegenden Ausführungsform formt der Maskierungsbereich-Formungsabschnitt 126 den Maskierungsbereich, der von dem Maskierungsdaten-Halteabschnitt 112 ausgelesenen wird, so, dass der Maskierungsbereich als ein Ergebnis der Verzerrungskorrekturverarbeitung, die der Ausschneide-/Verzerrungskorrekturabschnitt 115 hierfür durchführt, eine Form mit einem verbesserten Aussehen annimmt, und führt den resultierenden Maskierungsbereich dem Maskierungsausführungsabschnitt 113 zu. Der Maskierungsausführungsabschnitt 113 führt dann, auf dem omnidirektionalen Bild, die Maskierungsverarbeitung für den zuvor geformten Maskierungsbereich durch, und der Ausschneide-/Verzerrungskorrekturabschnitt 115 führt eine Ausschneide-/Verzerrungskorrekturverarbeitung für das omnidirektionale Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wird, durch.
Zu diesem Zweck weist die Kamera 120 den Maskierungsbereich-Formungsabschnitt 126 zwischen dem Maskierungsdaten-Halteabschnitt 112 und dem Maskierungsausführungsabschnitt 113 auf. Der Maskierungsbereich-Formungsabschnitt 126 beinhaltet einen Korrigierter-Maskierungsbereich-Erzeugungsabschnitt 1261, einen Korrigierter-Maskierungsbereich-Formungsabschnitt 1262 und einen Inverse-Transformation-/Korrekturabschnitt 1263. Der Ausschneideparameter, der durch den Ausschneideparameter-Einstellabschnitt 114 des Bildbetrachtungsgeräts 220 eingestellt ist, wird von dem Bildbetrachtungsgerät 220 zu der Kamera 120 übertragen und dem Korrigierter-Maskierungsbereich-Erzeugungsabschnitt 1261, dem Inverse-Transformation-/Korrekturabschnitt 1263 und dem Ausschneide-/Verzerrungskorrekturabschnitt 115 der Kamera 120 zugeführt.
Der Korrigierter-Maskierungsbereich-Erzeugungsabschnitt 1261 liest den Maskierungsbereich von dem Maskierungsdaten-Halteabschnitt 112 aus und nutzt den Ausschneideparameter als den Korrekturparameter, um den ausgelesenen Markierungsbereich zu korrigieren, um dadurch einen korrigierten Maskierungsbereich zu erzeugen. Die Korrektur, die auf den Maskierungsbereich angewendet wird, wird gemäß demselben Verfahren durchgeführt, wie diejenige, die in der Verzerrungskorrekturverarbeitung, die der Ausschneide-/Verzerrungskorrekturabschnitt 115 unter Nutzung desselben Ausschneideparameters durchführt, genutzt wird. Wie oben beschrieben, hält der Maskierungsdaten-Halteabschnitt 112 den rechteckigen Maskierungsbereich, der durch horizontale und vertikale Seiten gebildet ist. Dieser rechteckige Maskierungsbereich wird der oben beschriebenen Korrektur, die der Korrigierter-Maskierungsbereich-Erzeugungsabschnitt 1261 unter Nutzung des Ausschneideparameters durchführt, unterzogen, mit dem Ergebnis, dass der korrigierte Maskierungsbereich eine verzerrte Form annimmt. Der korrigierte Maskierungsbereich wird dem Korrigierter-Maskierungsbereich-Formungsabschnitt 1262 zugeführt.
Der Korrigierter-Maskierungsbereich-Formungsabschnitt 1262 formt den korrigierten Maskierungsbereich in eine Form, die ein verbessertes Aussehen aufweist. Ein konkretes Verfahren für das Formen wird nachstehend beschrieben. Der geformte Maskierungsbereich wird dem Inverse-Transformation-/Korrekturabschnitt 1263 zugeführt. Der Inverse-Transformation-/Korrekturabschnitt 1263 nutzt den Ausschneideparameter, um eine Korrektur durchzuführen, die invers ist zu der durch den Korrigierter-Maskierungsbereich-Erzeugungsabschnitt 1261 und den Ausschneide-/Verzerrungskorrekturabschnitt 115 durchgeführte Korrektur. Als ein Ergebnis nimmt der Maskierungsbereich, der ein verbessertes Aussehen aufweist, der durch das Formen in dem Korrigierter-Maskierungsbereich-Erzeugungsabschnitt 1261 erhalten wird, einmal mehr eine verzerrte Form an. Diese verzerrte Form ist eine Form, die rückgängig gemacht wird, durch Anwendung der Verzerrungskorrekturverarbeitung unter Nutzung des Ausschneideparameters, zu der Form mit dem verbesserten Aussehen, die zuvor durch das Formen in dem Korrigierter-Maskierungsbereich-Erzeugungsabschnitt 1261 erhalten wurde.
Der Maskierungsbereich, der der inversen Transformation durch den Inverse-Transformation-/Korrekturabschnitt 1263 unterzogen wird, wird dem Maskierungsausführungsabschnitt 113 zugeführt, und der Maskierungsausführungsabschnitt 113 führt die Maskierungsverarbeitung für den zugeführten Maskierungsbereich auf dem omnidirektionalen Bild aus. Der Ausschneide-/Verzerrungskorrekturabschnitt 115 führt die Ausschneide-/Verzerrungskorrekturverarbeitung unter Nutzung des Ausschneideparameters für das so erhaltene omnidirektionale Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wird, aus. Wie aus der 9 klar ist, ist der Ausschneideparameter, der als der Korrekturparameter in dem Ausschneide-/Verzerrungskorrekturabschnitt 115 zu verwenden ist, derselbe Parameter wie der Ausschneideparameter, der für die Korrektur des Maskierungsbereichs in dem Korrigierter-Maskierungsbereich-Erzeugungsabschnitt 1261 genutzt wird, und der Ausschneideparameter, der für die inverse Transformation in dem Inverse-Transformation-/Korrekturabschnitt 1263 genutzt wird.
Durch die Ausschneide-/Verzerrungskorrekturverarbeitung, die durch den Ausschneide-/Verzerrungskorrekturabschnitt 115 durchgeführt wird, wird der Maskierungsbereich so gemacht, dass er eine Form annimmt, die ein verbessertes Aussehen aufweist, und eine Verzerrung des Bereichs, der nicht dem Maskierungsbereich entspricht, wird eliminiert. Das so erhaltene verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung durchgeführt wird, wird von der Kamera 120 zu dem Bildbetrachtungsgerät 220 übertragen, und das Bildbetrachtungsgerät 220 zeigt das verzerrungskorrigierte Bild auf dem Ausgabeabschnitt 213 an.
Ein Verarbeitungsablauf in dem Aufnahmesystem 102, das die obige Ausgestaltung aufweist, wird zusammen mit Bildern und Maskierungsbereichen beschrieben. 10 ist eine Ansicht zum Erläutern des Verarbeitungsablaufs in dem Aufnahmesystem 102. Der Korrigierter-Maskierungsbereich-Erzeugungsabschnitt 1261 erfasst einen Maskierungsbereich MA21 von dem Maskierungsdaten-Halteabschnitt 112 und erfasst den Ausschneideparameter von dem Ausschneideparameter-Einstellabschnitt 114. Der Korrigierter-Maskierungsbereich-Erzeugungsabschnitt 1261 führt dann die Verzerrungskorrekturverarbeitung für den Maskierungsbereich MA21 unter Nutzung des Ausschneideparameters als den Korrekturparameter durch, um dadurch einen korrigierten Maskierungsbereich MA22 zu erzeugen (Schritt S101).
Der Korrigierter-Maskierungsbereich-Formungsabschnitt 1262 formt den korrigierten Maskierungsbereich MA22 in einen korrigierten Maskierungsbereich MA23 (Schritt S102). Der Inverse-Transformation-/Korrekturabschnitt 1263 erfasst dann den Ausschneideparameter von dem Ausschneideparameter-Einstellabschnitt 114 und nutzt den Ausschneideparameter als den Korrekturparameter, um, für den korrigierten Maskierungsbereich MA23, eine Transformation durchzuführen, die invers zu der in Schritt S102 durchgeführten Korrektur ist (Schritt S103), um dadurch einen invers transformierten/korrigierten Maskierungsbereich MA24 zu erhalten. Der omnidirektionale Bildgebungsabschnitt 111 nimmt einen zu überwachenden Ort auf, um ein omnidirektionales Bild IM21 zu erfassen (Schritt S104), und der Maskierungsausführungsabschnitt 113 nutzt den invers transformierten/korrigierten Maskierungsbereich NA, der durch den Inverse-Transformation-/Korrekturabschnitt 1263 erhaltenen wird, um die Maskierungsverarbeitung auf dem omnidirektionalen Bild IM21 durchzuführen (Schritt S105), um dadurch ein Bild IM22 zu erhalten, auf dem die Maskierungsverarbeitung durchgeführt ist.
Der Ausschneide-/Verzerrungskorrekturabschnitt 115 führt für das Bild IM22, auf dem die Maskierungsverarbeitung durchgeführt ist, die Ausschneide-/Verzerrungskorrekturverarbeitung des Ausschneidebereichs unter Nutzung des Ausschneideparameters, der durch den Ausschneideparameter-Einstellabschnitt 114 eingestellt ist, durch (Schritt S106), um dadurch ein verzerrungskorrigiertes Bild IM23 zu erhalten. Wie oben beschrieben, ist, in dem verzerrungskorrigierten Bild IM23, die Maskierungsverarbeitung für den Maskierungsbereich, der ein verbessertes Aussehen aufweist, der durch das Formen des Korrigierter-Maskierungsbereich-Formungsabschnitt 1262 erhaltenen wurde, durchgeführt.
Wie oben beschrieben, wird gemäß der zweiten Ausführungsform der vorliegenden Erfindung eine Korrektur unter Nutzung desselben Korrekturparameters wie derjenige, der in der Ausschneide-/Verzerrungskorrekturverarbeitung, die für das omnidirektionale Bild durchgeführt wird, für den Maskierungsbereich durchgeführt, mit dem Ergebnis, dass der Maskierungsbereich eine verzerrte Form annimmt. Dann wird der verzerrte Maskierungsbereich in eine Form mit einem verbesserten Aussehen geformt, der durch den Korrekturparameter einmal invers transformiert wird. Dann wird die Maskierungsverarbeitung auf dem omnidirektionalen Bild, welches Verzerrung aufweist, durchgeführt, wobei der Bereich nach der inversen Transformation als der Maskierungsbereich genutzt wird. Schließlich nutzt der Ausschneide-/Verzerrungskorrekturabschnitt 115 denselben Korrekturparameter noch einmal, um die Verzerrungskorrekturverarbeitung durchzuführen. Als ein Ergebnis nimmt der Maskierungsbereich in dem so erhaltenen verzerrungskorrigierten Bild eine Form mit einem verbesserten Aussehen an, die einmal durch das Formen, das durch den Korrigierter-Maskierungsbereich-Formungsabschnitt 1262 durchgeführt wird, erhalten wird.
In der zweiten Ausführungsform, wie in der 9 illustriert, braucht das Bildbetrachtungsgerät 220 gemäß der vorliegenden Erfindung lediglich den Ausschneideparameter-Einstellabschnitt 114 und den Ausgabeabschnitt 213 zu beinhalten. Da die Verarbeitungslasten des Ausschneideparameter-Einstellabschnitts 114 und des Ausgabeabschnitts 213 nicht so groß sind, kann das Bildbetrachtungsgerät 220 selbst in einem Gerät mit begrenzter Verarbeitungsleistung realisiert werden. Zum Beispiel ist die vorliegende Ausführungsform effektiv für einen Fall, in dem das Bildbetrachtungsgerät 220 durch ein mobiles Gerät realisiert ist.
1-3. Dritte Ausführungsform
Im Folgenden wird eine dritte Ausführungsform der vorliegenden Erfindung beschrieben. 11 ist ein Blockdiagramm, das eine Ausgestaltung eines Ausnahmesystems gemäß einer dritten Ausführungsform der vorliegenden Erfindung illustriert. Wie in der 11 illustriert, beinhaltet ein Aufnahmesystem 103 gemäß der dritten Ausführungsform eine Kamera 130 und ein Bildbetrachtungsgerät 230. Dieselben Bezugszeichen sind denselben konstituierenden Elementen der Kamera 130 und des Bildbetrachtungsgeräts 230 zugewiesen wie denjenigen der Kamera 110 und des Bildbetrachtungsgeräts 210 der ersten Ausführungsform, und detaillierte Beschreibungen derselben sind weggelassen.
Die Kamera 130 weist einen omnidirektionalen Bildgebungsabschnitt 111, einen Maskierungsdaten-Halteabschnitt 112, einen Maskierungsausführungsabschnitt 113, einen Ausschneide-/Verzerrungskorrekturabschnitt 115, einen Maskierungsbereich-Verzerrungskorrekturabschnitt 137 und einen Maskierungsbereich-Formungsabschnitt 138 auf.
Der Maskierungsbereich-Verzerrungskorrekturabschnitt 137 nutzt den Ausschneideparameter, der von dem Ausschneideparameter-Einstellabschnitt 114 erfasst wird, als den Korrekturparameter, um eine Ausschneide-/Verzerrungskorrekturverarbeitung des Ausschneidebereichs für den Maskierungsbereich, der in dem Maskierungsdaten-Halteabschnitt 112 gehaltenen wird, durchzuführen, um dadurch einen verzerrungskorrigierten Maskierungsbereich auf dem omnidirektionalen Bild zu erzeugen. Der verzerrungskorrigierte Maskierungsbereich ist ein Maskierungsbereich auf dem Ausschneidebereich und weist eine verzerrte Form auf. Der verzerrungskorrigierte Maskierungsbereich wird an den Maskierungsbereich-Formungsabschnitt 138 ausgegeben.
Der Maskierungsbereich-Formungsabschnitt 138 formt den verzerrungskorrigierten Maskierungsbereich auf dem Ausschneidebereich, der durch den Maskierungsbereich-Verzerrungskorrekturabschnitt 137 erzeugt wurde, in eine Form, die ein verbessertes Aussehen aufweist. Ein konkretes Verfahren für das Formen ist wie oben beschrieben.
Der Ausschneide-/Verzerrungskorrekturabschnitt 115 führt die Ausschneide-/Verzerrungskorrekturverarbeitung des Ausschneidebereichs für das omnidirektionale Bild, das durch den omnidirektionalen Bildgebungsabschnitt 111 erfasst wird, unter Nutzung des Ausschneideparameters, der von dem Ausschneideparameter-Einstellabschnitt 114 ausgelesenen wird, als den Korrekturparameter durch, um dadurch ein verzerrungskorrigiertes Bild zu erzeugen. Der Maskierungsausführungsabschnitt 113 gibt das verzerrungskorrigierte Bild, das durch den Ausschneide-/Verzerrungskorrekturabschnitt 115 erzeugt wird, und den Maskierungsbereich, der durch den Maskierungsbereich-Formungsabschnitt 138 geformt wird, ein und führt die Maskierungsverarbeitung für den geformten Maskierungsbereich auf dem verzerrungskorrigierten Bild durch.
Das verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung durch den Maskierungsausführungsabschnitt 113 durchgeführt wurde, wird von der Kamera 130 zu dem Bildbetrachtungsgerät 230 übertragen. Der Ausgabeabschnitt 213 des Bildbetrachtungsgeräts 230 zeigt das verzerrungskorrigierte Bild, das von der Kamera 130 übertragen wird, an.
Ein Verarbeitungsablauf in dem Aufnahmesystem 103, das die obige Ausgestaltung aufweist, wird zusammen mit Bildern und Maskierungsbereichen beschrieben. 12 ist eine Ansicht zum Erläutern des Verarbeitungsablaufs in dem Aufnahmesystem 103. Der Maskierungsbereich-Verzerrungskorrekturabschnitt 137 liest den Ausschneideparameter von dem Ausschneideparameter-Einstellabschnitt 114 aus und nutzt den ausgelesenen Ausschneideparameter als den Korrekturparameter, um einen Maskierungsbereich MA31, der von dem Maskierungsdaten-Halteabschnitt 112 ausgelesen wird, zu korrigieren (Schritt S121), um dadurch einen korrigierten Markierungsbereich MA32 zu erzeugen. Hier nutzt der Maskierungsbereich-Verzerrungskorrekturabschnitt 137 den Ausschneideparameter, um den Ausschneidebereich aus dem omnidirektionalen Bild auszuschneiden, und führt dann die Verzerrungskorrekturverarbeitung für den Maskierungsbereich MA31 durch. Danach formt der Maskierungsbereich-Formungsabschnitt 138 den Maskierungsbereich, der durch den Maskierungsbereich-Verzerrungskorrekturabschnitt 137 korrigiert wurde, in eine Form, die ein verbessertes Aussehen aufweist (Schritt S122), um dadurch einen geformten Maskierungsbereich MA33 zu erzeugen.
Der omnidirektionale Bildgebungsabschnitt 111 nimmt ein überwachtes Ziel auf, um ein omnidirektionales Bild IM31 zu erfassen (Schritt S123), und der Ausschneide-/Verzerrungskorrekturabschnitt 115 nutzt den Ausschneideparameter, der durch den Ausschneideparameter-Einstellabschnitt 114 eingestellt wurde, um den Ausschneidebereich aus dem omnidirektionalen Bild IM31 auszuschneiden, und führt die Verzerrungskorrekturverarbeitung für den Ausschneidebereich durch (Schritt S124), um dadurch ein verzerrungskorrigiertes Bild IM32 zu erzeugen. Der Maskierungsausführungsabschnitt 113 gibt das verzerrungskorrigierte Bild IM32 und den Maskierungsbereich MA33, der durch den Maskierungsbereich-Formungsabschnitt 138 erzeugt wurde, ein. Der Maskierungsausführungsabschnitt 113 führt dann die Maskierungsverarbeitung für den geformten Maskierungsbereich MA33 auf dem verzerrungskorrigierten Bild IM32 durch (Schritt 125), um dadurch ein verzerrungskorrigiertes Bild IM33 zu erzeugen, auf dem die Maskierungsverarbeitung für den Maskierungsbereich MA33 durchgeführt ist.
Wie oben beschrieben, wird gemäß der dritten Ausführungsform der vorliegenden Erfindung derselbe Parameter genutzt, um die Ausschneide-/Verzerrungskorrekturverarbeitung für den Maskierungsbereich und das omnidirektionale Bild durchzuführen. Der so korrigierte Maskierungsbereich wird geformt und dann auf das omnidirektionale Bild (verzerrungskorrigiertes Bild) angewendet, das der Ausschneide-/Verzerrungskorrekturverarbeitung unterzogen wird.
Des Weiteren beinhaltet, in dem Aufnahmesystem 103 gemäß der dritten Ausführungsform, das Bildbetrachtungsgerät 230 lediglich den Ausgabeabschnitt 213 und, mithin, kann das Bildbetrachtungsgerät 230 selbst in einem Gerät mit einer beschränkten Verarbeitungsleistung realisiert werden.
Außerdem können, in den zweiten und dritten Ausführungsformen, solange die Kamera 120 oder 130 zumindest den omnidirektionalen Bildgebungsabschnitt 111 beinhaltet und das Bildbetrachtungsgerät 220 oder 230 zumindest den Ausgabeabschnitt 213 beinhaltet, andere konstituierende Elemente entweder in der Kamera 120 oder 130 oder dem Bildbetrachtungsgerät 220 oder 230 bereitgestellt sein. Zum Beispiel kann, in dem Aufnahmesystem 103 gemäß der dritten Ausführungsform, der Ausschneideparameter-Einstellabschnitt 114 in dem Bildbetrachtungsgerät 230 bereitgestellt sein, wie in dem Aufnahmesystem 102 gemäß der zweiten Ausführungsform, um zu ermöglichen, dass der Ausschneidebereich auf der Seite des Bildbetrachtungsgeräts 230 spezifiziert wird.
Des Weiteren können, in dem Aufnahmesystem gemäß den ersten bis dritten Ausführungsformen, einige oder alle der konstituierenden Elemente mit Ausnahme des omnidirektionalen Bildgebungsabschnitts 111 und des Ausgabeabschnitts in einem Gerät bereitgestellt sein, das von der Kamera und dem Bildbetrachtungsgerät separat bereitgestellt und kommunizierfähig zwischen diesen angeordnet ist.
Im Folgenden werden Abwandlungen des in den ersten bis dritten Ausführungsformen beschriebenen Formens des Maskierungsbereichs beschrieben.
1-4. Abwandlungen des Formens des Maskierungsbereichs
1-4-1. Erste Abwandlung
13A und 13B sind Ansichten, die jeweils eine Ausschneiderichtung der Ausschneideverarbeitung, die durch den Ausschneide-/Verzerrungskorrekturabschnitt 115, der in der ersten bis dritten Ausführungsform beschrieben ist, durchgeführt wird, erläutern. 13A illustriert einen Fall, in dem der Ausschneidebereich in einer radialen Richtung eines kreisförmigen omnidirektionalen Bildes ausgeschnitten wird, und 13B illustriert einen Fall, in dem der Ausschneidebereich in einer Richtung, die von der radialen Richtung des kreisförmigen omnidirektionalen Bildes verschieden ist (einer Richtung, die einen Winkel α mit der Ausschneiderichtung der 13A bildet), ausgeschnitten wird. Den Ausschneidebereich in der Ausschneide-/Verzerrungskorrekturverarbeitung in einer gegebenen Richtung auszuschneiden, bedeutet, dass die Ausschneideverarbeitung so durchgeführt wird, dass die gegebene Richtung in einem rechteckigen Bild, das durch Ausschneiden des Ausschneidebereichs und Durchführen einer Verzerrungskorrekturverarbeitung für den Ausschneidebereich erhalten wird, aufwärts zeigt.
In einem Fall der 13A stimmt, als ein Ergebnis des Erzeugens eines verzerrungskorrigierten Bildes durch eine Ausschneideverarbeitung in der radialen Richtung eine aufrechte Richtung eines Subjekts, das eine Person M beinhaltet, die in einem Ausschneidebereich CA11 zu sehen ist, mit einer vertikalen Richtung in einem verzerrungskorrigierten Bild IM42 überein. Andererseits ist in einem Fall der 13B, als ein Ergebnis des Erzeugens eines verzerrungskorrigierten Bildes durch eine Ausschneideverarbeitung in einer Richtung, die einen Winkel α mit der radialen Richtung bildet, eine aufrechte Richtung eines Subjekts, das eine Person M beinhaltet, die in einem Ausschneidebereich CA12 zu sehen ist, um einen Winkel α in Bezug auf die vertikale Richtung in einem verzerrungskorrigierten Bild IM43 geneigt.
14 ist eine Ansicht zum Erläutern des Formens der Maskierungsbereiche, die jeweils in den 13A und 13B beschriebenen sind. In einem Fall, in dem der Ausschneidebereich CA11 in der radialen Richtung ausgeschnitten wird, und in dem die aufrechte Richtung des Subjekts in dem verzerrungskorrigierten Bild IM42 mit der vertikalen Richtung des verzerrungskorrigierten Bildes IM42 übereinstimmt, wird ein Maskierungsbereich MA41, der als ein Ergebnis der Verzerrungskorrekturverarbeitung eine verzerrte Form annimmt, in einen Maskierungsbereich MA42, der eine aufrechte rechteckige Form, die den Maskierungsbereich MA41 beinhaltet, aufweist, geformt, wodurch der Maskierungsbereich für den Nutzer leicht sichtbar gemacht werden kann.
Jedoch ist, in einem Fall, in dem der Ausschneidebereich CA12 in einer Richtung ausgeschnitten wird, die in Bezug auf die radiale Richtung geneigt ist, und in dem die aufrechte Richtung des Subjekts in dem verzerrungskorrigierten Bild IM43 in Bezug auf die vertikale Richtung des verzerrungskorrigierten Bildes IM43 geneigt ist, wenn ein Maskierungsbereich MA43, der als ein Ergebnis der Verzerrungskorrekturverarbeitung eine verzerrte Form annimmt, in einen Maskierungsbereich MA44 geformt wird, der eine aufrechte rechteckige Form, die den Maskierungsbereich MA43 beinhaltet, aufweist, der Maskierungsbereich MA44 aufrecht, wohingegen das Subjekt geneigt ist, was ein merkwürdiges Gefühl verursacht.
Um mit diesem Problem fertigzuwerden, wird, in der vorliegenden Abwandlung, in dem Fall, in dem die aufrechte Richtung des Subjekt in dem verzerrungskorrigierten Bild IM43 in Bezug auf die vertikale Richtung des verzerrungskorrigierten Bildes IM43 aufgrund der Neigung der Ausschneiderichtung geneigt ist, der Maskierungsbereich MA43, der als ein Ergebnis der Verzerrungskorrekturverarbeitung eine verzerrte Form annimmt, so geformt, dass die Neigung berücksichtigt wird. Namentlich wird der Maskierungsbereich MA43 in einen Maskierungsbereich MA45 geformt, dessen aufrechte Richtung in Bezug auf die radiale Richtung um denselben Winkel geneigt ist, wie der Neigungswinkel der Ausschneiderichtung.
Gemäß der vorliegenden Abwandlung stimmen, in dem verzerrungskorrigierten Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, die aufrechte Richtung des Subjekts und die aufrechte Richtung des geformten Maskierungsbereichs miteinander überein, wodurch ein verzerrungskorrigiertes Bild, das kein merkwürdiges Gefühl aufweist, als ein Ergebnis einer natürlichen Maskierungsverarbeitung erhalten werden kann.
1-4-2. Zweite Abwandlung
15 bis 17 sind Ansichten zum Erläutern einer zweiten Abwandlung des Formens des Maskierungsbereichs. Zunächst wird, unter Bezugnahme auf die 15, eine Verarbeitung des Ausscheidens des Ausschneidebereichs aus dem omnidirektionalen Bild und des Durchführens der Verzerrungskorrekturverarbeitung für den Ausschneidebereich, um so ein verzerrungskorrigiertes Bild zu erzeugen, beschrieben. In der vorliegenden Abwandlung werden, in einem Fall, in dem die Ausschneide-/Verzerrungskorrekturverarbeitung für einen Ausschneidebereich CA21 durchgeführt wird, Pixel in dem Ausschneidebereich CA21 in einem omnidirektionalen Bild IM51 koordinatentransformiert, um auf das verzerrungskorrigierte Bild projiziert zu werden. Zum Beispiel werden aus den Pixeln P11, P12 und P13 in dem omnidirektionalen Bild IM51 jeweils die Pixel P21, P22 und P23 auf dem verzerrungskorrigierten Bild. Ein Defizit von Pixeln in dem verzerrungskorrigierten Bild wird durch ein lineares Interpolieren der Quellkoordinaten für jedes Quadrat von 16 Pixeln × 16 Pixeln aufgefüllt, und, schließlich, wird ein verzerrungskorrigiertes Bild IM52 erzeugt.
In der vorliegenden Abwandlung werden die obigen Quadrate genutzt, um den Maskierungsbereich zu formen. Das heißt, das Formen des Maskierungsbereichs wird jeweils auf Basis eines Quadrats durchgeführt. 16 ist eine Ansicht, die ein erstes Verfahren der vorliegenden Abwandlung illustriert. In diesem Beispiel wird, wenn die Ausschneide-/Verzerrungskorrekturverarbeitung für den Ausschneidebereich CA21 auf dem omnidirektionalen Bild IM51 durchgeführt wird, um ein verzerrungskorrigiertes Bild IM53 zu erzeugen, ein Maskierungsbereich MA51, der in dem omnidirektionalen Bild IM51 eingestellt ist, zu einem Maskierungsbereich MA52, der eine verzerrte Form aufweist. Der Maskierungsbereich MA52 wird dann in einen Maskierungsbereich MA53 geformt, der eine Mehrzahl von Quadraten beinhaltet, die den Maskierungsbereich 52 bedecken und als Ganzes eine rechteckige Form aufweisen.
Namentlich werden Quadrate in einer Reihe, die ein Quadrat SQ1 beinhaltet, das den obersten Punkt des Maskierungsbereichs MA52, der als ein Ergebnis der Verzerrungskorrekturverarbeitung eine verzerrte Form annimmt, beinhaltet, als Quadrate eingestellt, die die oberste Reihe eines geformten Maskierungsbereichs bilden, Quadrate in einer Spalte, die ein Quadrat SQ2 beinhaltet, das den am meisten rechten Punkt des Maskierungsbereichs MA52 beinhaltet, werden als Quadrate, die die am meisten rechte Spalte des geformten Maskierungsbereichs bilden, eingestellt, Quadrate in einer Reihe, die ein Quadrat SQ3 beinhaltet, das den untersten Punkt des Maskierungsbereichs MA52 beinhaltet, werden als Quadrate, die die unterste Reihe des geformten Maskierungsbereichs bilden, eingestellt, und Quadrate in einer Spalte, die ein Quadrat SQ4 beinhaltet, das den am meisten linken Punkt des Maskierungsbereich MA52 beinhaltet, werden als Quadrate eingestellt, die die am meisten linke Spalte des geformten Maskierungsbereichs bilden, und ein rechteckiger Bereich, der von der obigen obersten Reihe, am meisten rechten Spalte, untersten Reihe und am meisten linken Spalte umgeben ist, wird als der geformte Maskierungsbereich MA53 eingestellt.
17 ist eine Ansicht, die ein zweites Verfahren der vorliegenden Abwandlung illustriert. In dem zweiten Verfahren werden (lediglich) Quadrate, die den Maskierungsbereich MA52, der als ein Ergebnis der Verzerrungskorrekturverarbeitung eine verzerrte Form annimmt, als ein geformter Maskierungsbereich MA54 eingestellt. Der geformte Maskierungsbereich MA54 ist ein Bereich, der nur durch horizontale und vertikale Linien gebildet wird. Das heißt, anders als der Maskierungsbereich MA52 vor dem Formen, beinhaltet der Maskierungsbereich MA54 keine diagonale Linie, was in einem verbesserten Aussehen resultiert.
Obwohl die ersten bis dritten Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf einen Fall beschrieben wurden, in dem der Ausschneidebereich aus dem omnidirektionalen Bild ausgeschnitten wird und die Verzerrungskorrekturverarbeitung für den Ausschneidebereich durchgeführt wird, kann die vorliegende Erfindung auch auf einen Fall angewendet werden, in dem die Verzerrungskorrektur für das omnidirektionale Bild durchgeführt wird, um ein Panoramabild zu erzeugen, und die Maskierungsverarbeitung dann für einen Teilbereich des PanoramaBildes durchgeführt wird. Des Weiteren ist, obwohl in den obigen Ausführungsformen das omnidirektionale Bild als das Bild, welches Verzerrung aufweist, aufgenommen wird, das Bild, welches Verzerrung aufweist, nicht auf das omnidirektionale Bild (das einen horizontalen Sichtwinkel von ungefähr 360° aufweist) beschränkt. Die vorliegende Erfindung wird effektiv auf ein Aufnahmesystem angewendet, das den Maskierungsbereich in dem Bild, welches Verzerrung aufweist, einstellt und für dieses die Verzerrungskorrektur durchführt.
2. Vierte bis sechste Ausführungsformen
Im Folgenden werden vierte bis sechste Ausführungsformen der vorliegenden Erfindung beschrieben. In jeder der vierten bis sechsten Ausführungsformen wird ein Aufnahmesystem, in dem eine Kamera, die ein Fischaugenobjektiv nutzt, genutzt wird, um das omnidirektionale Bild als das Bild, welches Verzerrung aufweist, abzubilden. Jedoch ist das Bild, welches Verzerrung aufweist, in der vorliegenden Erfindung nicht auf das omnidirektionale Bild beschränkt, sondern kann ein Bild sein, welches Verzerrung aufweist, aufgrund einer Bildgebung, die ein Weitwinkelobjektiv nutzt.
2-1. Vierte Ausführungsform
20 ist ein Blockdiagramm, das ein Bildanzeigesystem gemäß einer Ausführungsform der vorliegenden Erfindung illustriert. Wie in der 20 illustriert, beinhaltet ein Aufnahmesystem 104 eine Kamera 140 und ein Bildbetrachtungsgerät 240, die miteinander verbunden sind. In einem Fall, in dem die Kamera 140 eine Überwachungskamera ist, ist die Kamera 140 so installiert, dass sie in der Lage ist, einen zu überwachenden Ort zu erfassen, und das Bildbetrachtungsgerät 240 ist ein Gerät für einen Nutzer zum Betrachten eines Bildes, das durch die Kamera 140 erfasst und einer Bildverarbeitung unterzogen wird. Das Bildbetrachtungsgerät 240 kann, z. B., ein Personal-Computer oder ein Mobiles Gerät sein. Die Kamera 140 ist eine sogenannte Netzwerkkamera und kann mit dem Bildbetrachtungsgerät 240 drahtgebunden oder drahtlos verbunden sein. Des Weiteren können einige oder alle der konstituierenden Elemente, mit Ausnahme des omnidirektionalen Bildgebungsabschnitts 141, der Kamera 140 in dem Bildbetrachtungsgerät 240 bereitgestellt sein.
Die Kamera 140 beinhaltet einen omnidirektionalen Bildgebungsabschnitt 140, einen Maskierungsbereich-Empfangsabschnitt 142, einen Maskierungsrahmen-Erzeugungsabschnitt 143, einen Maskierungsrahmen-Überlagerungsabschnitt 144, einen Maskierungsausführungsabschnitt 145, einen Ausschneide-/Verzerrungskorrekturabschnitt 146 und einen Syntheseabschnitt 147. Das Bildbetrachtungsgerät 240 beinhaltet einen Eingabeabschnitt 241, einen Maskierungsbereich-Bestimmungsabschnitt 242, einen Anzeigeumschaltabschnitt 243 und einen Anzeigeabschnitt 244.
Der omnidirektionale Bildgebungsabschnitt 141 der Kamera 140 ist ein Bildgebungssystem, das ein Fischaugenobjektiv, was eine Art von Weitwinkelobjektiv ist, aufweist. Der omnidirektionale Bildgebungsabschnitt 141 wird genutzt, um ein kreisförmiges omnidirektionales Bild zu erfassen. Das omnidirektionale Bild ist das Bild, welches Verzerrung aufweist, wobei ein Grad der Verzerrung mit der Nähe zu einem äußeren Randbereich desselben ansteigt. Der omnidirektionale Bildgebungsabschnitt 141 gibt das omnidirektionale Bild, das durch das Erfassen erhalten wird, an den Maskierungsrahmen-Überlagerungsabschnitt 144 und den Maskierungsausführungsabschnitt 145, sowie, an den Bildbetrachtungsgerät 240, aus. Das Bild, das durch den omnidirektionalen Bildgebungsabschnitt 141 aufgenommen und ausgegeben wird, kann ein Standbild oder ein Bewegtbild sein. In dem letzteren Fall wird die nachfolgende Verarbeitung für jeden Rahmen des Bewegtbildes durchgeführt.
Der Eingabeabschnitt 241 des Bildbetrachtungsgeräts 240 gibt verschiedene Anweisungen von dem Nutzer ein. Die Anweisungen beinhalten eine Anzeigeumschaltanweisung, eine Maskierungsbereich-Spezifizierungsanweisung, eine Maskierungsbereich-Lösch-/-Bestimmungsanweisung und dergleichen. Die Anzeigeumschaltanweisung wird an dem Anzeigeumschaltabschnitt 243 eingegeben, und die Maskierungsbereich-Spezifizierungsanweisung und die Maskierungsbereich-Lösch-/-Bestimmungsanweisungen werden an dem Maskierungsbereich-Bestimmungsabschnitt 242 eingegeben. Der Eingabeabschnitt 241 beinhaltet, z. B., eine Maus und eine Tastatur oder einen Berührungssensor, der integral mit dem Anzeigeabschnitt 244 gebildet ist.
Der Maskierungsbereich-Bestimmungsabschnitt 242 berechnet den Maskierungsbereich aus Eingabedaten, die an dem Eingabeabschnitt 241 eingegeben werden. Namentlich wird ein Rechteck, das durch horizontale und vertikale Seiten, die sich von einem Vertex auf den omnidirektionalen Bild, der durch eine Maus angeklickt wird, und einem Vertex, auf den aktuell gezeigt wird, an einer diagonalen Position in Bezug auf den Vertex, aus erstrecken, berechnet. Eine Information, die eine Position und eine Form (eine Länge in einer vertikalen Richtung und eine Breite in einer horizontalen Richtung) des omnidirektionalen Bildes betrifft, wird zu der Kamera 140 als eine Information, die den Maskierungsbereich spezifiziert, übertragen.
Der Maskierungsbereich-Empfangsabschnitt 142 empfängt die Information, die den Maskierungsbereich, der durch den Maskierungsbereich-Bestimmungsabschnitt 242 bestimmt wurde, spezifiziert, und gibt die empfangene Information an den Maskierungsrahmen-Erzeugungsabschnitt 143 und den Maskierungsausführungsabschnitt 145 aus. Der Maskierungsrahmen-Erzeugungsabschnitt 143 erzeugt einen Maskierungsrahmen, der eine äußere Grenze des Maskierungsbereichs repräsentiert, basierend auf der Maskierungsbereich-Spezifizierungsinformation, die von dem Maskierungsrahmen-Empfangsabschnitt 142 erfasst wird. Der Maskierungsrahmen beinhaltet eine Information, die eine Position des Maskierungsrahmens in dem omnidirektionalen Bild anzeigt.
Der Maskierungsrahmen-Überlagerungsabschnitt 144 erfasst das omnidirektionale Bild von dem omnidirektionalen Bildgebungsabschnitt 141, erfasst den Maskierungsrahmen von dem Maskierungsrahmen-Erzeugungsabschnitt 143, und überlagert eine Form des Maskierungsrahmens auf dem omnidirektionalen Bild. Der Maskierungsrahmen-Überlagerungsabschnitt 144 gibt dann das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, an den Syntheseabschnitt 147 und den Anzeigeumschaltabschnitt 243 aus.
Der Maskierungsausführungsabschnitt 145 erfasst das omnidirektionale Bild von dem omnidirektionalen Bildgebungsabschnitt 141, erfasst die Maskierungsbereich-Spezifizierungsinformation von dem Maskierungsbereich-Empfangsabschnitt 142, und führt dann die Maskierungsverarbeitung für den Maskierungsbereich durch, der in dem omnidirektionalen Bild beinhaltet ist und zu der Spezifizierungsinformation korrespondiert. Die Maskierungsverarbeitung, die durch den Maskierungsausführungsabschnitt 145 durchgeführt wird, ist eine Verarbeitung des Ausschwärzens des Maskierungsbereichs. Die Maskierungsverarbeitung ist jedoch nicht hierauf beschränkt, sondern kann eine andere Verarbeitung sein, wie etwa eine Mosaikverarbeitung, die eine Informationsmenge eines Bildes, das zu dem Maskierungsbereich korrespondiert, reduziert. Der Maskierungsausführungsabschnitt 145 gibt das omnidirektionale Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wurde, an den Ausschneide-/Verzerrungskorrekturabschnitt 146 aus.
Der Ausschneide-/Verzerrungskorrekturabschnitt 146 schneidet den Ausschneidebereich aus dem omnidirektionalen Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wurde, aus, und führt die Verzerrungskorrektur für den Ausschneidebereich aus, um dadurch ein ausgeschnittenes/verzerrungskorrigiertes Bild zu erzeugen. In der vorliegenden Ausführungsform wird der Ausschneidebereich zuvor bestimmt. Ein Rahmen, der den Ausschneidebereich repräsentiert, kann in einer überlagerten Weise auf dem omnidirektionalen Bild angezeigt werden. Der Ausschneide-/Verzerrungskorrekturabschnitt 146 gibt das ausgeschnittene/verzerrungskorrigierte Bild an den Syntheseabschnitt 147 aus und überträgt dasselbe zu dem Bildbetrachtungsgerät 240.
Der Syntheseabschnitt 147 erfasst das omnidirektionale Bild, auf dem der Maskierungsrahmen von dem Maskierungsrahmen-Überlagerungsabschnitt 144 überlagert ist, erfasst das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung von dem Ausschneide-/Verzerrungskorrekturabschnitt 146 bereits für den Maskierungsbereich durchgeführt wurde, und synthetisiert diese dann, um dadurch ein Vorschaubild zu erzeugen, das beide Bilder gleichzeitig anzeigt. Der Syntheseabschnitt 147 überträgt das erzeugte Vorschaubild zu dem Bildbetrachtungsgerät 240.
Der Anzeigeumschaltabschnitt 243 empfängt das omnidirektionale Bild von dem omnidirektionalen Bildgebungsabschnitt 141, empfängt das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, von dem Maskierungsrahmen-Überlagerungsabschnitt 144, empfängt das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wurde, von dem Ausschneide-/Verzerrungskorrekturabschnitt 146, und empfängt das Vorschaubild von dem Syntheseabschnitt 147.
Nachstehend wird ein Anzeigemodus des Aufnahmesystems 104 beschrieben. Das Aufnahmesystem 104 schaltet zwischen einem Maskierungsbereich-Spezifizierungsmodus zum Bestimmen des Maskierungsbereichs und einem normalen Modus zum Anzeigen des ausgeschnittenen/verzerrungskorrigierten Bildes, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wird, um. Diese Anzeigemodi werden basierend auf einer Eingabe von dem Eingabeabschnitt 241 umgeschaltet. Der Anzeigeumschaltabschnitt 243 schaltet den Anzeigemodus durch Erfassen einer Modusumschaltinformation von dem Eingabeabschnitt 241 um.
In dem Maskierungsbereich-Spezifizierungsmodus gibt der Anzeigeumschaltabschnitt 243 zunächst das omnidirektionale Bild, das von dem omnidirektionalen Bildgebungsabschnitt 141 erfasst wurde, an den Anzeigeabschnitt 244 aus. Wenn das omnidirektionale Bild, auf dem der Maskierungsrahmen von dem Maskierungsrahmen-Überlagerungsabschnitt 144 überlagert ist, in dem Maskierungsbereich-Spezifizierungsmodus erfasst wird, gibt der Anzeigeumschaltabschnitt 243 das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, an den Anzeigeabschnitt 244 aus. Wenn das Vorschaubild von dem Syntheseabschnitt 147 in dem Maskierungsbereich-Spezifizierungsmodus erfasst wird, gibt der Anzeigeumschaltabschnitt 243 das Vorschaubild an den Anzeigeabschnitt 244 aus. Des Weiteren gibt, in dem normalen Modus, der Anzeigeumschaltabschnitt 243, an den Anzeigeabschnitt 244, entweder das omnidirektionale Bild, das von dem omnidirektionalen Bildgebungsabschnitt 141 erfasst wird, oder das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wurde, das von dem Ausschneide-/Verzerrungskorrekturabschnitt 146 erfasst wurde, aus. Welches von dem omnidirektionalen Bild und dem ausgeschnittenen/verzerrungskorrigierten Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wurde, ausgegeben wird, wird gemäß einer Anweisung von dem Eingabeabschnitt 241 bestimmt.
Der Anzeigeabschnitt 244 zeigt das Bild, dass von dem Anzeigeumschaltabschnitt 243 erfasst wird, an. Der Anzeigeabschnitt 244 ist, z. B., ein Flüssigkristallanzeigegerät, das mit einem Flüssigkristallanzeigefeld versehen ist. Wenn der Eingabeabschnitt 241 als ein Berührungssensor ausgestaltet ist, ist der Anzeigeabschnitt 244 als ein Berührungsfeld ausgestaltet, das integral mit dem Berührungssensor gebildet ist.
19 und 21 bis 24 illustrieren jeweils ein Anzeigebeispiel auf dem Anzeigeabschnitt 244. 21 ist eine Ansicht, die ein Beispiel des omnidirektionalen Bildes gemäß der vorliegenden Ausführungsform illustriert. Ein horizontaler Sichtwinkel des omnidirektionalen Bildgebungsabschnitts 141 beträgt 360° und, somit, weist das omnidirektionale Bild eine Kreisform, wie in der 21 illustriert, auf. Das kreisförmige omnidirektionale Bild beinhaltet Verzerrung, und ein Grad der Verzerrung ist nicht gleichförmig über den gesamten Bildbereich, sondern nimmt mit der Nähe zu einem äußeren Randbereich des Kreises zu. Das omnidirektionale Bild, das in der 21 illustriert ist, wird angezeigt, wenn die Anzeige des omnidirektionalen Bildes in dem normalen Modus ausgewählt ist, oder wenn der Maskierungsbereich in dem Maskierungsbereich-Spezifizierungsmodus spezifiziert wird.
22 ist eine Ansicht, die ein Beispiel der Maskierungsbereichspezifizierung gemäß der Ausführungsform der vorliegenden Erfindung illustriert. In der vorliegenden Ausführungsform wird der Maskierungsbereich auf dem omnidirektionalen Bild spezifiziert. Wie in der 22 illustriert, wird ein Zeiger, der sich gemäß der Operation einer Maus als dem Eingabeabschnitt 241 bewegt, auf dem omnidirektionalen Bild angezeigt, und ein Startpunkt des Maskierungsbereichs wird durch einen Mausklick spezifiziert. Wenn der Zeiger bewegt wird, nachdem der Startpunkt spezifiziert ist, berechnet der Maskierungsbereich-Bestimmungsabschnitt 242 ein Rechteck, das durch zwei Seiten parallel zu der vertikalen Richtung eines Bildschirms und zwei Seiten parallel zu der horizontalen Richtung des Bildschirms gebildet wird und das diagonale Punkte des Startpunktes und einer Zeigerposition aufweist. Der Maskierungsrahmen-Überlagerungsabschnitt 144 nutzt eine Information des Rechtecks (Spezifizierungsinformation des Maskierungsbereichs), um das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, zu erzeugen, und der Anzeigeabschnitt 244 zeigt das omnidirektionale Bild an.
23 ist eine Ansicht, die ein Beispiel der Maskierungsbereichspezifizierung gemäß der Ausführungsform der vorliegenden Erfindung illustriert. Ein Rahmen des berechneten Rechtecks wird in einer überlagerten Weise auf dem omnidirektionalen Bild angezeigt. Wenn der Zeiger bewegt ist, um einen Rahmen zu bilden, der einen gewünschten Maskierungsbereich repräsentiert, wird die Maus noch einmal an dieser Position geklickt. Dann wird das Vorschaubild durch Nutzen der derzeitigen Maskierungsbereich-Spezifizierungsinformation erzeugt und auf dem Anzeigeabschnitt 244 angezeigt.
19 ist eine Ansicht, die ein Beispiel des Vorschaubildes gemäß der Ausführungsform der vorliegenden Erfindung illustriert. In dem Vorschaubild wird das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, in einer überlagerten Weise auf dem omnidirektionalen Bild, auf dem der Maskierungsrahmen überlagert ist, angezeigt. Zu dieser Zeit ist das ausgeschnittene/verzerrungskorrigierte Bild in einer Sprechblase angeordnet, die plötzlich aus dem Maskierungsrahmen, der auf dem omnidirektionalen Bild überlagert ist, erschienen ist.
Ein „Löschen”-Knopf und ein „Bestimmung”-Knopf werden zusammen mit dem Vorschaubild angezeigt. Ein Nutzer bestätigt das ausgeschnittene/verzerrungskorrigierte Bild in der Sprechblase. Wenn der Nutzer mit dem Maskierungsbereich nicht zufrieden ist, löscht der Nutzer diesen Maskierungsbereich durch Drücken des „Löschen”-Knopfes. Wenn der Maskierungsbereich gelöscht ist, schaltet der Anzeigeumschaltabschnitt 243 den Anzeigemodus auf den Maskierungsbereich-Spezifizierungsmodus, der in der 22 illustriert ist, um. Der Nutzer bestätigt das ausgeschnittene/verzerrungskorrigierte Bild in der Sprechblase. Wenn der Nutzer mit dem Maskierungsbereich in dem ausgeschnittenen/verzerrungskorrigierten Bild zufrieden ist, drückt der Nutzer den „Bestimmung”-Knopf, um diesen Maskierungsbereich festzusetzen.
24 ist eine Ansicht, die das ausgeschnittene/verzerrungskorrigierte Bild gemäß der Ausführungsform der vorliegenden Erfindung illustriert. Das ausgeschnittene/verzerrungskorrigierte Bild wird angezeigt, wenn die Anzeige des ausgeschnittenen/verzerrungskorrigierten Bildes in dem normalen Modus ausgewählt ist. In dem ausgeschnittenen/verzerrungskorrigierten Bild ist die Maskierungsverarbeitung für den festgesetzten Maskierungsbereich durchgeführt. Jedoch ist dieser Maskierungsbereich als ein rechteckiger Bereich auf dem omnidirektionalen Bild spezifiziert und festgesetzt, so dass der Maskierungsbereich auf diesem ausgeschnittenen/verzerrungskorrigierten Bild, als ein Ergebnis der Verzerrungskorrektur, die durchgeführt wird, wenn das ausgeschnittene/verzerrungskorrigierte Bild aus dem omnidirektionalen Bild erzeugt wird, eine verzerrte Form an.
25 ist ein Ablaufdiagramm zum Erläutern einer Prozedur des Erzeugens des Vorschaubildes in der vierten Ausführungsform der vorliegenden Erfindung. Unter Bezugnahme auf die 25 wird eine Prozedur des Erzeugens des Vorschaubildes in der vorliegenden Ausführungsform beschrieben. Der omnidirektionale Bildgebungsabschnitt 141 bildet ein omnidirektionales Bild D71 ab. Ein Maskierungsbereich D72 wird dann auf dem omnidirektionalen Bild spezifiziert. Der Maskierungsrahmen-Überlagerungsabschnitt 144 überlagert einen Maskierungsrahmen, der unter Nutzung des Maskierungsbereichs D72 erzeugt wird, auf dem omnidirektionalen Bild D71, um ein omnidirektionales Bild D73, auf dem der Maskierungsrahmen überlagert ist, zu erzeugen. Der Maskierungsausführungsabschnitt 145 führt die Maskierungsverarbeitung für den Maskierungsbereich D72 auf dem omnidirektionalen Bild D71 durch, um ein omnidirektionales Bild D74, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, zu erzeugen.
Der Ausschneide-/Verzerrungskorrekturabschnitt 146 schneidet dann den Ausschneidebereich aus dem omnidirektionalen Bild D74, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wird, aus und führt die Verzerrungskorrekturverarbeitung für den Ausschneidebereich aus, um dadurch ein ausgeschnittenes/verzerrungskorrigiertes Bild D75, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wird, zu erzeugen. Schließlich überlagert der Syntheseabschnitt 147 eine Sprechblase, in der das ausgeschnittene/verzerrungskorrigierte Bild D75, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, beinhaltet ist, auf dem omnidirektionalen Bild D73, in dem der Maskierungsrahmen auf dem Maskierungsbereich überlagert ist, um dadurch ein Vorschaubild D76 zu erzeugen.
26 ist ein Betriebsablaufdiagramm des Aufnahmesystems gemäß der vierten Ausführungsform der vorliegenden Erfindung. Der Ablauf der 26 illustriert einen Betrieb des Aufnahmesystems 104 in dem Maskierungsbereich-Spezifizierungsmodus. Unter Bezugnahme auf die 26 wird der Betrieb des Aufnahmesystems 104 gemäß der vierten Ausführungsform beschrieben.
Der omnidirektionale Bildgebungsabschnitt 141 bildet ein omnidirektionales Bild ab, und der Anzeigeabschnitt 244 zeigt das omnidirektionale Bild an (Schritt S261). Dann wird durch den Eingabeabschnitt 241 bestimmt, ob die Maskierungsbereichspezifizierung gestartet wird (Schritt S262). Namentlich wird bestimmt, dass die Maskierungsbereichspezifizierung gestartet wird, indem detektiert wird, dass ein Startpunkt des Maskierungsbereichs durch eine Operation des Eingabeabschnitts 241 geklickt wird. Wenn die Maskierungsbereichspezifizierung nicht gestartet wird (NEIN in Schritt S262), befindet sich der Betrieb bis zum Start der Maskierungsbereichspezifizierung im Stand-by, während das omnidirektionale Bild angezeigt wird.
Wenn die Maskierungsbereichspezifizierung gestartet wird, das heißt, wenn der Startpunkt des Maskierungsbereichs auf dem omnidirektionalen Bild angeklickt wird (JA in Schritt S262), berechnet der Maskierungsbereich-Bestimmungsabschnitt 242 den Maskierungsbereich gemäß der Bewegung des Mauszeigers und überträgt die Spezifizierungsinformation des berechneten Maskierungsbereichs zu der Kamera 140, und der Maskierungsbereich-Empfangsabschnitt 142 erfasst die Maskierungsbereich-Spezifizierungsinformation (Schritt S263). Der Maskierungsrahmen-Erzeugungsabschnitt 143 erzeugt dann den Maskierungsrahmen basierend auf der Maskierungsbereich-Spezifizierungsinformation (Schritt S264), und der Maskierungsrahmen-Überlagerungsabschnitt 144 überlagert den Maskierungsrahmen auf dem omnidirektionalen Bild (Schritt S265). Die Erzeugung des Maskierungsrahmens und die Überlagerung desselben auf dem omnidirektionalen Bild werden gemäß einer Position des Zeigers durchgeführt, während der Zeiger, nachdem der Startpunkt angeklickt ist, bewegt wird.
Dann, wenn ein Endpunkt des Maskierungsbereichs angeklickt wird, wird der Maskierungsbereich temporär festgesetzt, und der Maskierungsausführungsabschnitt 145 führt die Maskierungsverarbeitung für den temporär festgesetzten Maskierungsbereich (nachstehend einfach als „Maskierungsbereich” bezeichnet) auf dem omnidirektionalen Bild durch (Schritt S266). Der Ausschneide-/Verzerrungskorrekturabschnitt 146 schneidet dann den Ausschneidebereich aus dem omnidirektionalen Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, aus und führt die Verzerrungskorrekturverarbeitung für den Ausschneidebereich aus, um dadurch das ausgeschnittene/verzerrungskorrigierte Bild zu erzeugen (Schritt S267). In dem erzeugten ausgeschnittenen/verzerrungskorrigierten Bild ist die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt. Der Syntheseabschnitt 147 synthetisiert das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, und das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, um dadurch das Vorschaubild zu erzeugen (Schritt S268), und überträgt das erzeugte Vorschaubild zu dem Bildbetrachtungsgerät 240.
Wenn er das Vorschaubild empfängt, gibt der Anzeigeumschaltabschnitt 243 des Bildbetrachtungsgeräts 240 das Vorschaubild an den Anzeigeabschnitt 244 aus, und der Anzeigeabschnitt 244 zeigt das Vorschaubild an (Schritt S269). Es wird bestimmt, ob der Nutzer den Maskierungsbereich, der in dem Vorschaubild angezeigt ist, durch den Eingabeabschnitt 241 festsetzt (Schritt S270). Wenn der Maskierungsbereich, der in dem Vorschaubild angezeigt ist, festgesetzt wird (JA in Schritt S270), endet diese Verarbeitung. Wenn der Nutzer den Maskierungsbereich, der in dem Vorschaubild angezeigt ist, durch den Eingabeabschnitt 241 löscht (NEIN in Schritt S270), schaltet der Anzeigeumschaltabschnitt 243 das Bild, das zu dem Anzeigeabschnitt 244 auszugeben ist, auf das omnidirektionale Bild um, und der Ablauf kehrt wieder zu dem Schritt S263 des Erfassens der Maskierungsbereich-Spezifizierungsinformation zurück.
Wie oben beschrieben wird gemäß dem Aufnahmesystem 104 der vorliegenden Ausführungsform und einem Bildanzeigeverfahren, das von diesem ausgeführt wird, der Maskierungsbereich auf dem omnidirektionalen Bild spezifiziert, und der spezifizierte Maskierungsbereich wird in dem Vorschaubild angezeigt, so dass er auf dem omnidirektionalen Bild wahrnehmbar ist. In dem Vorschaubild werden das ausgeschnittene/verzerrungskorrigierte Bild, auf dem der gesamte Bildbereich inklusive des Maskierungsbereichs der Verzerrungskorrektur ausgesetzt ist und in dem der Maskierungsbereich in einer wahrnehmbaren Weise beinhaltet ist, simultan angezeigt. Somit kann konfirmiert werden, welche Position und Form der Maskierungsbereich, der auf dem omnidirektionalen Bild spezifiziert ist, annimmt. Wenn der Nutzer, als ein Ergebnis der Konfirmierung, mit dem angezeigten Maskierungsbereich zufrieden ist, weist er oder sie die „Bestimmung”-Knopf für das Vorschaubild an, den Maskierungsbereich festzusetzen.
2-2. Fünfte Ausführungsform
Im Folgenden wird eine fünfte Ausführungsform der vorliegenden Erfindung beschrieben. 27 ist ein Blockdiagramm eines Aufnahmesystems gemäß der fünften Ausführungsform der vorliegenden Erfindung. Wie in der 27 illustriert, beinhaltet ein Aufnahmesystem 105 eine Kamera 150 und ein Bildbetrachtungsgerät 250, die miteinander verbunden sind. In einem Fall, in dem die Kamera 150 eine Überwachungskamera ist, ist die Kamera 150 so installiert, dass sie in der Lage ist, einen zu überwachenden Ort abzubilden, und das Bildbetrachtungsgerät 250 ist ein Gerät für einen Nutzer zum Betrachten eines Bildes, das durch die Kamera 150 erfasst und einer Bildverarbeitung unterzogen wird. Das Bildbetrachtungsgerät 250 kann, z. B., ein Personal-Computer oder ein mobiles Gerät sein. Die Kamera 150 ist eine sogenannte Netzwerkkamera und kann mit dem Bildbetrachtungsgerät 250 drahtgebunden oder drahtlos verbunden sein. Weiter können einige oder alle der konstituierenden Elemente, mit Ausnahme des omnidirektionalen Bildgebungsabschnitts 121, der Kamera 150 in dem Bildbetrachtungsgerät 250 bereitgestellt sein.
Die Kamera 150 beinhaltet einen omnidirektionalen Bildgebungsabschnitt 151, einen Maskierungsbereich-Empfangsabschnitt 152, einen Ausschneidebereich-Bestimmungsabschnitt 153, einen Maskierungsausführungsabschnitt 154, einen Ausschneide-/Verzerrungskorrekturabschnitt 155, und einen Syntheseabschnitt 156. Das Bildbetrachtungsgerät 250 beinhaltet einen Eingabeabschnitt 251, einen Maskierungsbereich-Bestimmungsabschnitt 252, einen Maskierungsrahmen-Erzeugungsabschnitt 253, einen Maskierungsrahmen-Überlagerungsabschnitt 254, einen Anzeigeumschaltabschnitt 255, und einen Anzeigeabschnitt 256.
Nachstehend werden Beschreibungen derselben Ausgestaltungen wie diejenigen der vierten Ausführungsform weggelassen. Die vorliegende Ausführungsform unterscheidet sich von der vierten Ausführungsform hauptsächlich in den folgenden zwei Punkten. Der erste Unterschied ist ein Unterschied in der Prozedur des Erzeugens des Vorschaubildes und in der Verteilung der Rollen zwischen der Kamera 150 und dem Bildbetrachtungsgerät 250 für die Vorschaubilderzeugung. Das heißt, in der vierten Ausführungsform führt, in der Kamera 140, der Maskierungsausführungsabschnitt 145 die Maskierungsverarbeitung auf dem omnidirektionalen Bild durch, und der Ausschneide-/Verzerrungskorrekturabschnitt 146 erzeugt dann das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, während der Maskierungsrahmen-Überlagerungsabschnitt 144 den Rahmen des Maskierungsbereichs auf dem omnidirektionalen Bild überlagert, um das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, zu erzeugen, und der Syntheseabschnitt 147 synthetisiert das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, und das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, um das Vorschaubild, das in der 19 illustriert ist, zu erzeugen. Andererseits wird, in der vorliegenden Ausführungsform, in der Kamera 150, die Maskierungsverarbeitung auf dem omnidirektionalen Bild durchgeführt, gefolgt von der Ausschneide-/Verzerrungskorrekturverarbeitung, um das ausgeschnittene/verzerrungskorrigierte Bild zu erzeugen, wie in dem Fall der vierten Ausführungsform. Das erzeugte ausgeschnittene/verzerrungskorrigierte Bild wird jedoch zunächst mit dem omnidirektionalen Bild synthetisiert, und das resultierende synthetische Bild wird zu dem Bildbetrachtungsgerät 250 übertragen. Das Bildbetrachtungsgerät 250 überlagert den Maskierungsrahmen auf dem synthetischen Bild, um dadurch das Vorschaubild, wie in der 19 illustriert, zu erzeugen.
Der zweite Unterschied besteht darin, dass, während der Ausschneidebereich in der vierten Ausführungsform in dem Ausschneide-/Verzerrungskorrekturabschnitt 146 fest ist, der Ausschneidebereich in der vorliegenden Ausführungsform basierend auf der Maskierungsbereich-Spezifizierungsinformation bestimmt wird. Eine genauere Beschreibung hinsichtlich dieses Punktes wird nachstehend gegeben.
Wenn er Eingabedaten von dem Eingabeabschnitt 251 empfängt, berechnet der Maskierungsbereich-Bestimmungsabschnitt 252 den Maskierungsbereich und gibt die Spezifizierungsinformation, die den Maskierungsbereich repräsentiert, an den Maskierungsrahmen-Erzeugungsabschnitt 253, sowie, an die Kamera 150, aus. Der Maskierungsbereich-Empfangsabschnitt 152 erfasst die Maskierungsbereich-Spezifizierungsinformation und gibt die erfasste Maskierungsbereich-Spezifizierungsinformation an den Ausschneidebereich-Bestimmungsabschnitt 153 und den Maskierungsausführungsabschnitt 154 aus. Der Ausschneidebereich-Bestimmungsabschnitt 153 bestimmt den Ausschneidebereich basierend auf der Maskierungsbereich-Spezifizierungsinformation, die von dem Maskierungsbereich-Empfangsabschnitt 152 erfasst wird. Der Ausschneidebereich-Bestimmungsabschnitt 153 speichert eine Beziehung zwischen dem Maskierungsbereich, der durch die Spezifizierungsinformation repräsentierten wird, und dem Ausschneidebereich. Wenn er die Maskierungsbereich-Spezifizierungsinformation empfängt, berechnet der Ausschneidebereich-Bestimmungsabschnitt 153 den Ausschneidebereich, der zu der Maskierungsbereich-Spezifizierungsinformation korrespondiert.
Verschiedene Beziehungen zwischen dem Maskierungsbereich, der durch die Spezifizierungsinformation repräsentiert ist, und dem Ausschneidebereich können erwogen werden. In der vorliegenden Ausführungsform bestimmt der Ausschneidebereich-Bestimmungsabschnitt 153, als den Ausschneidebereich, einen rechteckigen Bereich, der dasselbe Zentrum und dieselbe Orientierung aufweist wie der Maskierungsbereich und der eine Größe von 10/7 der Größe des Maskierungsbereichs aufweist.
Der Maskierungsausführungsabschnitt 154 führt, auf dem omnidirektionalen Bild, das von dem omnidirektionalen Bildgebungsabschnitt 151 erfasst wird, die Maskierungsverarbeitung für den Maskierungsbereich, der von dem Maskierungsbereich-Empfangsabschnitt 152 erfasst wird, durch. Der Ausschneide-/Verzerrungskorrekturabschnitt 155 schneidet den Ausschneidebereich, der durch den Ausschneidebereich-Bestimmungsabschnitt 153 bestimmt wird, aus dem omnidirektionalen Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, aus, um dadurch das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, zu erzeugen. Das erzeugte ausgeschnittene (verzerrungskorrigierte Bild wird an den Syntheseabschnitt 156 ausgegeben.
In der vorliegenden Ausführungsform wird das omnidirektionale Bild, das durch den omnidirektionalen Bildgebungsabschnitt 151 erfasst wird, direkt an den Syntheseabschnitt 156 ausgegeben und zu dem Bildbetrachtungsgerät 250 übertragen. Der Syntheseabschnitt 156 synthetisiert das omnidirektionale Bild und das ausgeschnittene/verzerrungskorrigierte Bild, das durch den Ausschneide-/Verzerrungskorrekturabschnitt 155 erzeugt wird, um dadurch ein synthetisches Bild zu erzeugen. Wie in der 19 illustriert, ist, in dem synthetischen Bild, die Sprechblase, die das ausgeschnittene/verzerrungskorrigierte Bild beinhaltet, auf dem omnidirektionalen Bild überlagert. Jedoch ist, in diesem synthetischen Bild, der Maskierungsrahmen, der den Maskierungsbereich, der durch den Nutzer spezifiziert wird, repräsentiert, nicht auf dem omnidirektionalen Bild überlagert. Der Syntheseabschnitt 156 überträgt das erzeugte synthetische Bild an den Bildbetrachtungsgerät 250.
Der Maskierungsrahmen-Überlagerungsabschnitt 254 des Bildbetrachtungsgeräts 250 empfängt das synthetische Bild. Andererseits erzeugt der Maskierungsrahmen-Erzeugungsabschnitt 253 einen Maskierungsrahmen basierend auf der Maskierungsbereich-Spezifizierungsinformation, die von dem Maskierungsbereich-Bestimmungsabschnitt 252 erfasst wird, und gibt den erzeugten Maskierungsrahmen an den Maskierungsrahmen-Überlagerungsabschnitt 254 aus. Der Maskierungsrahmen-Überlagerungsabschnitt 254 überlagert den Maskierungsrahmen, der von dem Maskierungsrahmen-Erzeugungsabschnitt 253 erfasst wird, auf dem synthetischen Bild, das von der Kamera 150 erfasste wird, um dadurch das Vorschaubild, wie in der 19 illustriert, zu erzeugen und gibt das Vorschaubild an den Anzeigeumschaltabschnitt 255 aus.
Wenn er das omnidirektionale Bild direkt von dem omnidirektionalen Bildgebungsabschnitt 151 empfängt, überlagert der Maskierungsrahmen-Überlagerungsabschnitt 254 den Maskierungsrahmen, der durch den Maskierungsrahmen-Erzeugungsabschnitt 253 erzeugt wird, auf dem omnidirektionalen Bild und gibt das resultierende Bild an den Anzeigeumschaltabschnitt 255 aus. Der Maskierungsrahmen-Überlagerungsabschnitt 254 überlagert, gemäß einer Zeigerposition, einen rechteckigen Maskierungsrahmen, der durch einen Startpunkt des Maskierungsbereichs und einen Endpunkt, der zu einer Zeigerposition während einer Zeit zwischen der Spezifizierung des Startpunktes des Maskierungsbereichs und eines Endpunktes desselben korrespondiert, auf dem omnidirektionalen Bild. Zu dieser Zeit überlagert der Maskierungsrahmen-Überlagerungsabschnitt 254 den Maskierungsrahmen auf dem omnidirektionalen Bild, das von dem omnidirektionalen Bildgebungsabschnitt 151 erfasst wird. Nachdem der Maskierungsbereich temporär festgesetzt ist, erzeugt der Ausschneide-/Verzerrungskorrekturabschnitt 155 das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den temporär festgesetzten Maskierungsbereich durchgeführt ist, und der Syntheseabschnitt 156 erzeugt dann das synthetische Bild, auf dem das ausgeschnittene/verzerrungskorrigierte Bild in der Sprechblase beinhaltet ist, und überträgt das synthetische Bild zu dem Bildbetrachtungsgerät 250. Wenn er das synthetische Bild empfängt, überlagert der Maskierungsrahmen-Überlagerungsabschnitt 254 den Maskierungsrahmen nicht auf dem omnidirektionalen Bild, das von dem omnidirektionalen Bildgebungsabschnitt 151 erfasst wird, sondern auf dem empfangenen synthetischen Bild, um das Vorschaubild zu erzeugen, und gibt das Vorschaubild an den Anzeigeumschaltabschnitt 255 aus.
Der Anzeigeumschaltabschnitt 255 erfasst das omnidirektionale Bild von dem omnidirektionalen Bildgebungsabschnitt 151, erfasst das Vorschaubild oder das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, von dem Maskierungsrahmen-Überlagerungsabschnitt, und erfasst das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, von dem Ausschneide-/Verzerrungskorrekturabschnitt 155. Der Anzeigeumschaltabschnitt 255 erfasst eine Anzeigemodus-Umschaltinformation von dem Eingabeabschnitt 251 und führt ein Umschalten des Anzeigemodus durch.
In dem Maskierungsbereich-Spezifizierungsmodus gibt der Anzeigeumschaltabschnitt 255 das omnidirektionale Bild, das von dem omnidirektionalen Bildgebungsabschnitt 151 erfasst wird, an den Anzeigeabschnitt 256 aus. Wenn er das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, in dem Maskierungsbereich-Spezifizierungsmodus von dem Maskierungsrahmen-Überlagerungsabschnitt 254 erfasst, gibt der Anzeigeumschaltabschnitt 255 das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, an den Anzeigeabschnitt 256 aus, während, wenn er das Vorschaubild von dem Maskierungsrahmen-Überlagerungsabschnitt 254 erfasst, der Anzeigeumschaltabschnitt 255 das Vorschaubild an den Anzeigeabschnitt 256 ausgibt. In dem normalen Modus gibt der Anzeigeumschaltabschnitt 255, an den Anzeigeabschnitt 256, entweder das omnidirektionale Bild, das von dem omnidirektionalen Bildgebungsabschnitt erfasst wird, oder das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, das von dem Ausschneide-/Verzerrungskorrekturabschnitt 155 erfasst wird, aus. Welches des omnidirektionalen Bildes und des ausgeschnittenen/verzerrungskorrigierten Bildes, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, auszugeben ist, wird gemäß einer Anweisung von dem Eingabeabschnitt 251 bestimmt.
28 ist ein Ablaufdiagramm zum Erläutern einer Prozedur des Erzeugens des Vorschaubildes in der fünften Ausführungsform der vorliegenden Erfindung. Unter Bezugnahme auf die 28 wird eine Prozedur des Erzeugens des Vorschaubildes in der vorliegenden Ausführungsform beschrieben. Der omnidirektionale Bildgebungsabschnitt 151 erfasst ein omnidirektionales Bild D11. Dann wird ein Maskierungsbereich D12 auf dem omnidirektionalen Bild spezifiziert. Der Maskierungsausführungabschnitt 154 führt die Maskierungsverarbeitung für den Maskierungsbereich D12 auf dem omnidirektionalen Bild D11 durch, um dadurch ein omnidirektionales Bild D13, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, zu erzeugen. Der Ausschneidebereich-Bestimmungsabschnitt 153 bestimmt den Ausschneidebereich basierend auf dem Maskierungsbereich D12. Der Ausschneide-/Verzerrungskorrekturabschnitt 155 schneidet den Ausschneidebereich aus dem omnidirektionalen Bild D13, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, aus und führt die Verzerrungskorrekturverarbeitung für den Ausschneidebereich aus, um dadurch ein ausgeschnittenes/verzerrungskorrigiertes Bild D14 zu erzeugen. Der Syntheseabschnitt 156 überlagert eine Sprechblase, in der das ausgeschnittene/verzerrungskorrigierte Bild D14, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, beinhaltet ist, auf dem omnidirektionalen Bild D11, um dadurch ein synthetisches Bild D15 zu erzeugen.
In dem Bildbetrachtungsgerät 250 erzeugt der Maskierungsrahmen-Erzeugungsabschnitt 253 einen Maskierungsrahmen D16. Der Maskierungsrahmen-Überlagerungsabschnitt 254 überlagert den Maskierungsrahmen D16 auf dem synthetischen Bild D15, um dadurch ein Vorschaubild D17 zu erzeugen.
29 ist ein Betriebsablaufdiagramm des Aufnahmesystems gemäß der fünften Ausführungsform der vorliegenden Erfindung. Der Ablauf der 29 illustriert einen Betrieb des Aufnahmesystems 105 in dem Maskierungsbereich-Spezifizierungsmodus. Unter Bezugnahme auf die 29 wird ein Bildanzeigeverfahren gemäß der fünften Ausführungsform beschrieben.
Der omnidirektionale Bildgebungsabschnitt 151 erfasst ein omnidirektionales Bild, und der Anzeigeabschnitt 256 zeigt das omnidirektionale Bild an (Schritt S291). Dann wird bestimmt, ob die Maskierungsbereichspezifizierung durch den Eingabeabschnitt 251 gestartet wird (Schritt S292). Namentlich wird bestimmt, dass die Maskierungsbereichspezifizierung gestartet wird, indem detektiert wird, dass ein Startpunkt des Maskierungsbereichs durch eine Operation des Eingabeabschnitts 251 angeklickt wird. Wenn die Maskierungsbereichspezifizierung nicht gestartet wird (NEIN in Schritt S292), befindet sich der Betrieb bis zum Start der Maskierungsbereichspezifizierung im Standby, während das omnidirektionale Bild angezeigt wird.
Wenn die Maskierungsbereichspezifizierung begonnen wird, das heißt, wenn der Startpunkt des Maskierungsbereichs auf dem omnidirektionalen Bild angeklickt wird (JA in Schritt S292), berechnet der Maskierungsbereich-Bestimmungsabschnitt 252 den Maskierungsbereich gemäß der Bewegung des Mauszeigers und überträgt die Spezifizierungsinformation des berechneten Maskierungsbereichs zu der Kamera 150 sowie zu dem Maskierungsrahmen-Erzeugungsabschnitt 253. Der Maskierungsbereich-Empfangsabschnitt 152 der Kamera 150 erfasst die Maskierungsbereich-Spezifizierungsinformation (Schritt S293). Weiter erzeugt der Maskierungsrahmen-Erzeugungsabschnitt 253 des Bildbetrachtungsgeräts 250 den Maskierungsrahmen basierend auf der Maskierungsbereich-Spezifizierungsformation (Schritt S294) und gibt den erzeugten Maskierungsrahmen an den Maskierungsrahmen-Überlagerungsabschnitt 254 aus. Der Maskierungsrahmen-Überlagerungsabschnitt 254 überlagert den Maskierungsrahmen auf dem omnidirektionalen Bild, und der Anzeigeabschnitt 256 zeigt das resultierende Bild an. Die Erzeugung des Maskierungsrahmens und die Überlagerung desselben auf dem omnidirektionalen Bild werden gemäß einer Position des Zeigers durchgeführt, während der Zeiger, nachdem der Startpunkt angeklickt ist, bewegt wird.
Dann wird, wenn ein Endpunkt des Maskierungsbereichs angeklickt wird, der Maskierungsbereich temporär festgesetzt, und der Maskierungsausführungsabschnitt 145 führt die Maskierungsverarbeitung für den temporär festgesetzten Maskierungsbereich auf dem omnidirektionalen Bild durch (Schritt S295), und der Ausschneidebereich-Bestimmungsabschnitt 153 bestimmt den Ausschneidebereich basierend auf dem temporär festgesetzten Maskierungsbereich (Schritt S296). Der Ausschneide-/Verzerrungskorrekturabschnitt 155 schneidet dann den Ausschneidebereich aus dem omnidirektionalen Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, aus und führt die Verzerrungskorrekturverarbeitung für den Ausschneidebereich durch, um dadurch das ausgeschnittene/verzerrungskorrigierte Bild zu erzeugen (Schritt S297). In dem erzeugten ausgeschnittenen/verzerrungskorrigierten Bild wird die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt. Der Syntheseabschnitt 156 synthetisiert das von dem omnidirektionalen Bildgebungsabschnitt 151 erfasste omnidirektionale Bild und das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt wird, um dadurch das synthetische Bild zu erzeugen (Schritt S298), und überträgt das erzeugte synthetische Bild zu dem Bildbetrachtungsgerät 250.
Wenn er das synthetische Bild empfängt, überlagert der Maskierungsrahmen-Überlagerungsabschnitt 254 den Maskierungsrahmen, der durch den Maskierungsrahmen-Erzeugungsabschnitt 253 erzeugt wird, auf dem synthetischen Bild, um dadurch das Vorschaubild zu erzeugen, und gibt das erzeugte Vorschaubild an den Anzeigeumschaltabschnitt 255 aus (Schritt S299), und der Anzeigeabschnitt 256 zeigt das Vorschaubild an (Schritt S300). Es wird bestimmt, ob der Nutzer den Maskierungsbereich, der in dem Vorschaubild angezeigt ist, durch den Eingabeabschnitt 251 festsetzt (Schritt S301). Wenn der Maskierungsbereich, der in dem Vorschaubild angezeigt ist, festgesetzt wird (JA in Schritt S301), endet diese Verarbeitung. Wenn der Nutzer den Maskierungsbereich, der in dem Vorschaubild angezeigt ist, durch den Eingabeabschnitt 251 löscht (NEIN in Schritt S301), schaltet der Anzeigeumschaltabschnitt 253 das Bild, das an den Anzeigeabschnitt 254 auszugeben ist, auf das omnidirektionale Bild um, und der Ablauf kehrt wieder zu dem Schritt S293 des Erfassens der Maskierungsbereich-Spezifizierungsinformation zurück.
Wie oben beschrieben, wird, in der vorliegenden Ausführungsform, der Maskierungsrahmen in dem Bildbetrachtungsgerät 250 erzeugt und, weiter, wird, in dem Bildbetrachtungsgerät 250, das Vorschaubild durch Überlagern des Maskierungsrahmens auf dem synthetischen Bild erzeugt, oder es wird das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, erzeugt. Wie oben beschrieben, wird, zum Spezifizieren des Maskierungsbereichs, der Startpunkt spezifiziert, und dann wird ein rechteckiger Rahmen, der zwei diagonale Vertexe des Startpunktes und einer aktuellen Zeigerposition aufweist, erzeugt und auf dem omnidirektionalen Bild überlagert. Zu dieser Zeit kann es, wenn eine Ausgestaltung so ist, dass eine Information des Startpunktes und der Zeigerposition zu der Kamera 150 übertragen wird, der rechteckige Rahmen auf der Seite der Kamera 150 erzeugt und auf dem omnidirektionalen Bild überlagert wird, und das resultierende Bild an den Bildbetrachtungsgerät 250 übertragen wird, schwierig sein, den rechteckigen Rahmen so auf dem omnidirektionalen Bild anzuzeigen, dass er der Bewegung des Zeigers folgt, wenn eine Kommunikationssituation schlecht ist. Andererseits wird, in der vorliegenden Ausführungsform, der Maskierungsrahmen in dem Bildbetrachtungsgerät 250, das mit dem Eingabeabschnitt 251 zum Spezifizieren der Zeigerposition und dem Anzeigeabschnitt 256 zum Anzeigen des omnidirektionalen Bildes, auf dem der Maskierungsrahmen überlagert ist, versehen ist, erzeugt. Somit kann, unabhängig von der Kommunikationssituation zwischen der Kamera 150 und dem Bildbetrachtungsgerät 250, der Maskierungsrahmen ohne Verzögerung in einer überlagerten Weise auf dem omnidirektionalen Bild angezeigt werden.
Weiter bestimmt, in der vorliegenden Ausführungsform, der Ausschneidebereich-Bestimmungsabschnitt 153 den Ausschneidebereich basierend auf der Maskierungsbereich-Spezifizierungsinformation, so dass es möglich ist, das ausgeschnittene/korrigierte Bild, das den Maskierungsbereich beinhaltet, zusammen mit dem omnidirektionalen Bild zu konfirmieren. Die Ausgestaltung zum Bestimmen des Ausschneidebereichs basierend auf der Maskierungsbereich-Spezifizierungsinformation, die in der vorliegenden Ausführungsform beschrieben wurde, kann auf das Aufnahmesystem gemäß den anderen Ausführungsformen der vorliegenden Erfindung angewendet werden.
2-3. Sechste Ausführungsform
Im Folgenden wird eine sechste Ausführungsform der vorliegenden Erfindung beschrieben. 30 ist ein Blockdiagramm eines Bildanzeigesystems gemäß der sechsten Ausführungsform der vorliegenden Erfindung. Wie in der 30 illustriert, beinhaltet ein Aufnahmesystem 106 eine Kamera 160 und ein Bildbetrachtungsgerät 260, die miteinander verbunden sind. In einem Fall, in dem die Kamera 160 eine Überwachungskamera ist, ist die Kamera 160 so installiert, dass sie in der Lage ist, einen zu überwachenden Ort abzubilden, und das Bildbetrachtungsgerät ist ein Gerät für einen Nutzer zum Betrachten eines Bildes, das durch die Kamera 160 erfasst und einer Bildverarbeitung unterzogen wird. Das Bildbetrachtungsgerät 260 kann, z. B., ein Personal-Computer oder ein mobiles Gerät sein. Die Kamera 160 ist eine sogenannte Netzwerkkamera und kann mit dem Bildbetrachtungsgerät 260 drahtgebunden oder drahtlos verbunden sein. Weiter können einige oder alle der konstituierenden Elemente, mit Ausnahme des omnidirektionalen Bildgebungsabschnitts 161, der Kamera 160 in dem Bildbetrachtungsgerät 260 bereitgestellt sein.
Die Kamera 160 beinhaltet einen omnidirektionalen Bildgebungsabschnitt 161, einen Maskierungsbereich-Empfangsabschnitt 162, einen Maskierungsrahmen-Erzeugungsabschnitt 163, einen Maskierungsbereich-Verzerrungskorrekturabschnitt 165, einen Ausschnitt-Maskierungsausführungsabschnitt 166, einen Ausschnittkorrekturabschnitt 167, und einen Syntheseabschnitt 168. Das Bildbetrachtungsgerät 260 beinhaltet einen Eingabeabschnitt 261, einen Maskierungsbereich-Bestimmungsabschnitt 262, einen Anzeigeumschaltabschnitt 263, und einen Anzeigeabschnitt 264.
Nachstehend werden Beschreibungen derselben Ausgestaltungen wie diejenigen der vierten Ausführungsform weggelassen. In der vorliegenden Ausführungsform wird, zum Erzeugen des ausgeschnittenen/verzerrungskorrigierten Bildes, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, die Ausschneide-/Verzerrungskorrekturverarbeitung für das omnidirektionale Bild durchgeführt, um das ausgeschnittene/verzerrungskorrigierte Bild zu erzeugen, während die Ausschneide-/Verzerrungskorrekturverarbeitung ebenfalls für den Maskierungsbereich unter Nutzung desselben Korrekturparameters (Transformationsmatrix) wie der, der in der Ausschneide-/Verzerrungskorrekturverarbeitung für das omnidirektionale Bild genutzt wird, durchgeführt wird, um dadurch einen ausgeschnittenen/verzerrungskorrigierten Maskierungsbereich zu erzeugen. Die Maskierungsverarbeitung wird dann für den ausgeschnittenen/verzerrungskorrigierten Maskierungsbereich in dem ausgeschnittenen/verzerrungskorrigierten Bild durchgeführt, um das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchführt ist, zu erzeugen. Eine genauere Beschreibung hinsichtlich dieses Punktes wird nachstehend gegeben.
Wenn der Eingabeabschnitt 261 Koordinaten des Startpunktes und des Endpunktes, die auf dem omnidirektionalen Bild spezifiziert sind, eingibt, berechnet der Maskierungsbereich-Bestimmungsabschnitt 262 den Maskierungsbereich und überträgt die korrespondierende Maskierungsbereich-Spezifizierungsinformation zu der Kamera 160. Der Maskierungsbereich-Empfangsabschnitt 162 der Kamera 160 empfängt die Maskierungsbereich-Spezifizierungsinformation und gibt die empfangene Maskierungsbereich-Spezifizierungsinformation an den Maskierungsbereich-Verzerrungskorrekturabschnitt 165 und den Maskierungsrahmen-Erzeugungsabschnitt 163 aus.
Der Maskierungsrahmen-Erzeugungsabschnitt 163 erzeugt den Maskierungsrahmen basierend auf der Maskierungsbereich-Spezifizierungsinformation, die von dem Maskierungsbereich-Empfangsabschnitt 162 erfasst wird, und gibt den erzeugten Maskierungsrahmen an den Maskierungsrahmen-Überlagerungsabschnitt 164 aus. Der Maskierungsrahmen-Überlagerungsabschnitt 164 erfasst das omnidirektionale Bild von dem omnidirektionalen Bildgebungsabschnitt 161 und überlagert den Maskierungsrahmen auf dem omnidirektionalen Bild, um dadurch das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, zu erzeugen, und gibt das resultierende omnidirektionale Bild an den Syntheseabschnitt 168 aus.
Andererseits führt der Maskierungsbereich-Verzerrungskorrekturabschnitt 165 die Ausschneide-/Verzerrungskorrekturverarbeitung für den Maskierungsbereich basierend auf der Maskierungsbereich-Spezifizierungsinformation, die von dem Maskierungsbereich-Empfangsabschnitt 162 erfasst wird, durch, um dadurch den ausgeschnittenen/verzerrungskorrigierten Maskierungsbereich zu erzeugen, und gibt den erzeugten ausgeschnittenen/verzerrungskorrigierten Maskierungsbereich an den Ausschnitt-Maskierungsausführungsabschnitt 166 aus. Der Ausschnittkorrekturabschnitt 167 führt die Ausschneide-/Verzerrungskorrekturverarbeitung für das omnidirektionale Bild, das von dem omnidirektionalen Bildgebungsabschnitt 161 erfasst wird, durch, um dadurch das ausgeschnittene/verzerrungskorrigierte Bild zu erzeugen, und gibt das erzeugte ausgeschnittene/verzerrungskorrigierte Bild an den Ausschnitt-Maskierungsausführungsabschnitt 166 aus.
Der Ausschnitt-Maskierungsausführungsabschnitt 166 führt die Maskierungsverarbeitung für den ausgeschnittenen/verzerrungskorrigierten Maskierungsbereich auf dem ausgeschnittenen/verzerrungskorrigierten Bild aus, um dadurch das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, zu erzeugen, und gibt das erzeugte ausgeschnittene/verzerrungskorrigierte Bild an den Syntheseabschnitt 168 aus. Der Syntheseabschnitt 168 erfasst das omnidirektionale Bild, auf dem der Maskierungsrahmen von dem Maskierungsrahmen-Überlagerungsabschnitt 164 überlagert ist, erfasst das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, von dem Ausschnitt-Maskierungsausführungsabschnitt 166, und nutzt die erfassten Bilder, um das Vorschaubild, wie in der 19 illustriert, zu erzeugen. Der Anzeigeumschaltabschnitt 263 und der Anzeigeabschnitt 264 in dem Bildbetrachtungsgerät 260 sind dieselben wie der Anzeigeumschaltabschnitt 243 und der Anzeigeabschnitt 244 der vierten Ausführungsform, so dass Beschreibungen von diesen weggelassen werden.
31 ist ein Ablaufdiagramm zum Erläutern einer Prozedur des Erzeugens des Vorschaubildes in der sechsten Ausführungsform der vorliegenden Erfindung. Unter Bezugnahme auf die 31 wird eine Prozedur des Erzeugens des Vorschaubildes in der vorliegenden Ausführungsform beschrieben. Der omnidirektionale Bildgebungsabschnitt 161 bildet ein omnidirektionales Bild D31 ab. Dann wird ein Maskierungsbereich D32 auf dem omnidirektionalen Bild D3 spezifiziert. Der Maskierungsrahmen-Erzeugungsabschnitt 163 erzeugt dann den Maskierungsrahmen, und der Maskierungsrahmen-Überlagerungsabschnitt 264 überlagert den Maskierungsrahmen auf dem omnidirektionalen Bild D31, um dadurch ein omnidirektionales Bild D34, auf dem der Maskierungsrahmen überlagert ist, zu erzeugen.
Andererseits schneidet der Ausschnittkorrekturabschnitt 167 den Ausschneidebereich aus dem omnidirektionalen Bild D31 aus und führt die Verzerrungskorrekturverarbeitung für den Ausschneidebereich durch, um dadurch ein ausgeschnittenes/verzerrungskorrigiertes Bild 35 zu erzeugen. Der Maskierungsbereich-Verzerrungskorrekturabschnitt 165 führt dieselbe Ausschneide-/Verzerrungskorrekturverarbeitung durch wie diejenige, die durch den Ausschnittkorrekturabschnitt 167 für einen Maskierungsbereich D32 durchgeführt wird, um dadurch einen ausgeschnittenen/verzerrungskorrigierten Maskierungsbereich D36 zu erzeugen. Der Ausschnitt-Maskierungsausführungsabschnitt 166 führt dann die Maskierungsverarbeitung für den ausgeschnittenen/verzerrungskorrigierten Maskierungsbereich D36 auf dem ausgeschnittenen/verzerrungskorrigierten Bild D35 durch, um dadurch ein ausgeschnittenes/verzerrungskorrigiertes Bild D37, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, zu erzeugen. Schließlich überlagert der Syntheseabschnitt 168, auf dem omnidirektionalen Bild D34, in dem der Maskierungsrahmen auf dem Maskierungsbereich überlagert ist, eine Sprechblase, in der das ausgeschnittene/verzerrungskorrigierte Bild D37, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, beinhaltet ist, um dadurch ein Vorschaubild D38 zu erzeugen.
32 ist ein Betriebsablaufdiagramm des Aufnahmesystems gemäß der sechsten Ausführungsform der vorliegenden Erfindung. Der Ablauf der 32 illustriert einen Betrieb des Aufnahmesystems 106 in dem Maskierungsbereich-Spezifizierungsmodus. Unter Bezugnahme auf die 32 wird ein Betrieb eines Bildanzeigeverfahrens gemäß der sechsten Ausführungsform beschrieben.
Der omnidirektionale Bildgebungsabschnitt 161 bildet ein omnidirektionales Bild ab, und der Anzeigeabschnitt 264 zeigt das omnidirektionale Bild an (Schritt S321). Dann wird bestimmt, ob die Maskierungsbereichspezifizierung durch den Eingabeabschnitt 261 gestartet wird (Schritt S322). Namentlich wird bestimmt, dass die Maskierungsbereichspezifizierung gestartet wird, indem detektiert wird, dass ein Startpunkt des Maskierungsbereichs durch eine Operation des Eingabeabschnitts 261 angeklickt wird. Wenn die Maskierungsbereichspezifizierung nicht gestartet wird (NEIN in Schritt S322), befindet sich der Betrieb bis zum Start der Maskierungsbereichspezifizierung im Stand-by, während das omnidirektionale Bild angezeigt wird.
Wenn die Maskierungsbereichspezifizierung gestartet wird, das heißt, wenn der Startpunkt des Maskierungsbereichs auf dem omnidirektionalen Bild angeklickt wird (JA in Schritt S322), berechnet der Maskierungsbereich-Bestimmungsabschnitt 262 den Maskierungsbereich gemäß der Bewegung des Mauszeigers und überträgt die Spezifizierungsinformation des berechneten Maskierungsbereichs zu der Kamera 160. Wenn der Maskierungsbereich-Empfangsabschnitt 162 der Kamera 160 die Maskierungsbereich-Spezifizierungsinformation erfasst (Schritt S323), erzeugt der Maskierungsrahmen-Erzeugungsabschnitt 163 den Maskierungsrahmen basierend auf der Maskierungsbereich-Spezifizierungsinformation (Schritt S324), der Maskierungsrahmen-Überlagerungsabschnitt 164 überlagert den Maskierungsrahmen auf dem omnidirektionalen Bild (Schritt S325), und der Anzeigeabschnitt 264 zeigt das resultierende Bild an. Die Erzeugung des Maskierungsrahmens und die Überlagerung desselben auf dem omnidirektionalen Bild werden gemäß einer Position des Zeigers durchgeführt, während der Zeiger, nachdem der Startpunkt angeklickt ist, bewegt wird.
Dann wird, wenn ein Endpunkt des Maskierungsbereichs angeklickt wird, der Maskierungsbereich temporär festgesetzt, und der Maskierungsrahmen-Überlagerungsabschnitt 164 gibt das omnidirektionale Bild, auf dem der Maskierungsrahmen überlagert ist, an den Syntheseabschnitt 168 aus. Der Ausschnittkorrekturabschnitt 167 führt die Ausschneide-/Verzerrungskorrekturverarbeitung für das omnidirektionale Bild durch, um dadurch das ausgeschnittene/verzerrungskorrigierte Bild zu erzeugen (Schritt S326). Der Maskierungsbereich-Verzerrungskorrekturabschnitt 165 führt dieselbe Korrekturverarbeitung durch, wie die Ausschneide-/Verzerrungskorrekturverarbeitung, die in dem Schritt S326 für einen Maskierungsbereich durchgeführt wird, um dadurch den ausgeschnittenen/verzerrungskorrigierten Maskierungsbereich zu erzeugen (Schritt S327). Der Ausschnitt-Maskierungsausführungsabschnitt 166 führt dann die Maskierungsverarbeitung für den ausgeschnittenen/verzerrungskorrigierten Maskierungsbereich, der in dem Schritt S327 erzeugt wird, auf dem ausgeschnittenen/verzerrungskorrigierten Bild, das in dem Schritt S326 erzeugt wird, auf dem die Maskierungsverarbeitung durchgeführt ist, aus (Schritt S328).
Der Syntheseabschnitt 168 erfasst das omnidirektionale Bild, auf dem der Maskierungsrahmen von dem Maskierungsrahmen-Überlagerungsabschnitt 164 überlagert ist, und erfasst das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, von dem Ausschnitt-Maskierungsausführungsabschnitt 166. Der Syntheseabschnitt 168 synthetisiert dann die erfassten Bilder, um das Vorschaubild, wie in der 19 illustriert, zu erzeugen (Schritt S329), und gibt das erzeugte Vorschaubild an den Anzeigeumschaltabschnitt 263 aus. Der Anzeigeabschnitt 264 zeigt dann das Vorschaubild an (Schritt S330). Es wird bestimmt, ob der Nutzer den Maskierungsbereich, der in dem Vorschaubild angezeigt ist, durch den Eingabeabschnitt 261 festsetzt (Schritt S331). Wenn der Maskierungsbereich, der in dem Vorschaubild angezeigt ist, festgesetzt wird (JA in Schritt S331), endet diese Verarbeitung. Wenn der Nutzer den Maskierungsbereich, der in dem Vorschaubild angezeigt ist, durch den Eingabeabschnitt 261 löscht (NEIN in Schritt S331), schaltet der Anzeigeumschaltabschnitt 263 das Bild, das an den Anzeigeabschnitt 264 auszugeben ist, auf das omnidirektionale Bild um, und der Ablauf kehrt wieder zu dem Schritt S323 des Erfassens der Maskierungsbereich-Spezifizierungsinformation zurück.
Wie oben beschrieben, wird, in der vorliegenden Ausführungsform, die Ausschneide-/Verzerrungskorrekturverarbeitung für den Maskierungsbereich und das omnidirektionale Bild unter Nutzung desselben Korrekturparameters durchgeführt, und das verzerrungskorrigierte Bild wird der Maskierungsverarbeitung mit Maskierungsbereich, der durch die Korrekturverarbeitung erhalten wird, ausgesetzt. Gemäß der vorliegenden Ausführungsform wird die Maskierungsverarbeitung nach der Verzerrungskorrekturverarbeitung ausgeführt, so dass es möglich ist, ein Anzeigeverfahren, das, z. B., nicht ein maskiertes Bild anzeigt, sondern das nur den Rahmen in dem Vorschaubild zeigt, zu nutzen. Weiter kann, wie oben beschrieben, die Ausgestaltung zum Bestimmen des Ausschneidebereichs basierend auf der Maskierungsbereich-Spezifizierungsinformation, die in der zweiten Ausführungsform beschrieben wurde, auf die vorliegende Ausführungsform angewendet werden. In diesem Fall wird eine Information des Ausschneidebereichs, die durch die Maskierungsbereich-Spezifizierungsinformation bestimmt wird, zwischen dem Ausschnittkorrekturabschnitt 167 und dem Maskierungsbereich-Verzerrungskorrekturabschnitt 165 geteilt.
Die vierten bis sechsten Ausführungsformen wurden somit beschrieben. Verschiedene Abwandlungen können an den vierten bis sechsten Ausführungsformen vollführt werden. Im Folgenden werden die verschiedenen Abwandlungen beschrieben.
2-4. Abwandlungen
33A bis 33D sind Ansichten, die jeweils eine Abwandlung der Anweisungsoperation der Vorschaubildanzeige der vorliegenden Erfindung zeigen. 33A bis 33D illustrierten Anzeigebeispiele des Betriebs von der Spezifizierung des Maskierungsbereichs bis zu der Anweisung der Vorschaubildanzeige in einem Fall, in dem ein Berührungsfeld, das ein Flüssigkristallfeld, das als der Anzeigeabschnitt dient, beinhaltet, und ein Berührungssensor, der als der Eingabeabschnitt dient, genutzt werden. 33A ist eine Ansicht, die ein Beispiel illustriert, in dem der Maskierungsbereich auf dem omnidirektionalen Bild spezifiziert wird. Der Nutzer vollführt eine „Pinch-in”-Operation auf dem Berührungsfeld, das das omnidirektionale Bild anzeigt, um dadurch den Maskierungsbereich zu spezifizieren. Hier wird, wie in dem Fall der obigen Ausführungsformen, ein rechteckiger Bereich, der durch vertikale und horizontale Seiten, die zwei Punkte, die durch die „Pinch-in”-Operation spezifiziert werden, als Vertexe aufweisen, gebildet wird, als der Maskierungsbereich eingestellt.
33B ist eine Ansicht, die ein Beispiel illustriert, in dem der Ausschneidebereich auf dem omnidirektionalen Bild spezifiziert wird. Der Nutzer vollführt eine „Pinch-in”-Operation auf dem omnidirektionalen Bild, auf dem der Maskierungsbereich überlagert ist, um dadurch den Ausschneidebereich zu spezifizieren. Hier wird eine Form, bei der zwei Punkte, die durch die „Pinch-in”-Operation spezifiziert werden, zwei diagonale Vertexe in dem ausgeschnittenen/korrigierten Bild, dessen Ausschneiderichtung die radiale Richtung ist, bilden, als der Ausschneidebereich eingestellt. 33C ist eine Ansicht, die ein Beispiel illustriert, in dem eine Anweisung zum Anzeigen des Vorschaubildes auf dem omnidirektionalen Bild erteilt wird. Wenn der Nutzer den Maskierungsbereich oder den Ausschneidebereich anknipst, wird das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich auf dem omnidirektionalen Bild durchgeführt ist, angezeigt. 33D ist eine Ansicht, die ein Anzeigebeispiel des Vorschaubildes illustriert. In dem Vorschaubild gemäß der vorliegenden Abwandlung wird eine Sprechblase, die das ausgeschnittene/verzerrungskorrigierte Bild beinhaltet, nicht angezeigt, sondern das ausgeschnittene/verzerrungskorrigierte Bild wird direkt in einer überlagerten Weise auf dem omnidirektionalen Bild angezeigt. Weiter ist, in dem Vorschaubild, das ausgeschnittene/verzerrungskorrigierte Bild an einem Endpunkt der Anknips-Operation angeordnet.
Solange das Vorschaubild ausgestaltet ist, um simultan das omnidirektionale Bild und das ausgeschnittene/verzerrungskorrigierte Bild anzuzeigen, wie in der vorliegenden Abwandlung, ist das Vorschaubild nicht auf das Beispiel, das in den obigen Ausführungsformen beschrieben wurde, beschränkt. Zum Beispiel können, in dem Vorschaubild, das omnidirektionale Bild und das ausgeschnittene/verzerrungskorrigierte Bild nebeneinander angeordnet sein.
Weiter ist, in den obigen Ausführungsformen, für das omnidirektionale Bild, der Maskierungsrahmen auf dem omnidirektionalen Bild überlagert, um so den Maskierungsbereich zu repräsentiert, während, für das ausgeschnittene/verzerrungskorrigierte Bild, die Maskierungsverarbeitung tatsächlich für den Maskierungsbereich durchgeführt wird, um so den Maskierungsbereich zu repräsentieren. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Der Maskierungsbereich auf dem omnidirektionalen Bild kann der Maskierungsverarbeitung unterzogen werden, um so den Maskierungsbereich auf dem omnidirektionalen Bild zu repräsentieren, und der Maskierungsrahmen kann auf dem ausgeschnittenen/verzerrungskorrigierten Bild überlagert werden, um so den Maskierungsbereich auf dem ausgeschnittenen/verzerrungskorrigierten Bild zu repräsentieren.
Weiter spezifiziert der Nutzer, in den obigen Ausführungsformen, wenn er den Maskierungsbereich spezifiziert, zwei Punkte eines Startpunktes und eines Endpunktes auf dem omnidirektionalen Bild und stellt, als den Maskierungsbereich auf dem omnidirektionalen Bild, ein Rechteck ein, das durch vertikale und horizontale Seiten gebildet ist und die spezifizierten zwei Punkte als diagonale Vertexe aufweist. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Zum Beispiel kann die folgende Prozedur genommen werden: Spezifizieren von zwei Punkten auf dem omnidirektionalen Bild, um, auf dem ausgeschnittenen/verzerrungskorrigierten Bild, einen rechteckigen Bereich, der durch vertikale und horizontale Seiten gebildet ist und die spezifizierten zwei Punkte als die zwei Vertexe aufweist, zu berechnen; Durchführen einer Transformation, die invers zu der Ausschneide-/Verzerrungskorrekturverarbeitung ist, für den berechneten rechteckigen Bereich, um den Maskierungsbereich auf dem omnidirektionalen Bild zu berechnen; und Überlagern des berechneten Maskierungsbereichs auf dem omnidirektionalen Bild. In dieser Prozedur spezifiziert der Nutzer die zwei Punkte auf dem omnidirektionalen Bild. Jedoch wird, auf dem omnidirektionalen Bild, der rechteckige Bereich, der die spezifizierten zwei Punkte als die diagonalen Vertexe aufweist, nicht als der spezifizierte Bereich, der zu verarbeiten ist, angezeigt, sondern ein verzerrter Bereich (der nach der Ausschneide-/Verzerrungskorrekturverarbeitung ein Rechteck annimmt) wird auf dem omnidirektionalen Bild überlagert. Weiter versteht es sich von selbst, dass der Maskierungsbereich, der zu spezifizieren ist, nicht auf das Rechteck beschränkt ist.
Weiter wird, in den obigen Ausführungsformen, der Maskierungsbereich durch Spezifizieren von zwei Punkten auf dem omnidirektionalen Bild spezifiziert. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Eine Größe und eine Form des Maskierungsbereichs können im Vorfeld bestimmt werden, und, in diesem Fall, braucht der Nutzer nur einen Punkt zum Spezifizieren der Position des Maskierungsbereichs, der eine vorbestimmte Größe und eine vorbestimmte Form aufweist, auf dem omnidirektionalen Bild zu spezifizieren.
Weiter wird, in den obigen Ausführungsformen, wenn der Maskierungsbereich auf dem omnidirektionalen Bild spezifiziert wird, das ausgeschnittene/verzerrungskorrigierte Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, mit dem omnidirektionalen Bild synthetisiert, um dadurch das Vorschaubild zu erzeugen. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Zum Beispiel kann die folgende Prozedur genommen werden: Anzeigen des ausgeschnittenen/verzerrungskorrigierten Bildes im Vorfeld; Spezifizieren des Maskierungsbereichs auf dem zuvor angezeigten ausgeschnittenen/verzerrungskorrigierten Bild, um den spezifizieren Maskierungsbereich auf dem ausgeschnittenen/verzerrungskorrigierten Bild zu repräsentieren; Synthetisieren des omnidirektionalen Bildes, auf dem die Maskierungsverarbeitung für den Maskierungsrahmen, der den Maskierungsbereich repräsentiert, durchgeführt ist, und das ausgeschnittene/verzerrungskorrigierte Bild; und Anzeigen des resultierenden synthetischen Bildes.
Weiter wurden, in den obigen Ausführungsformen, die Beispiele beschrieben, in denen der Ausschneidebereich zuvor bestimmt wird und in denen der Ausschneidebereich basierend auf der Spezifizierung des Maskierungsbereichs bestimmt wird. Der Ausschneidebereich kann jedoch auch gemäß einem anderen Verfahren bestimmt werden. Zum Beispiel kann der Ausschneidebereich auch durch eine Spezifizierung des Ausschneidebereichs durch den Nutzer unabhängig von der Spezifizierung des Maskierungsbereichs bestimmt werden. Weiter kann eine Position des Ausschneidebereichs fest oder bewegbar sein. Weiter kann ein unterschiedlicher Ausschneidebereich jedes Mal eingestellt werden, wenn der Nutzer den Maskierungsbereich nach dem „Löschen” des angezeigten Vorschaubildes neu spezifiziert.
Weiter wird, in den obigen Ausführungsformen, ein ausgeschnittenes/verzerrungskorrigiertes Bild, auf dem die Maskierungsverarbeitung für den Maskierungsbereich, der auf dem omnidirektionalen Bild spezifiziert wird, durchgeführt ist, mit dem omnidirektionalen Bild synthetisiert, um das Vorschaubild zu erzeugen. Es kann jedoch auch eine Mehrzahl der ausgeschnittenen/verzerrungskorrigierten Bilder, auf denen jeweils die Maskierungsverarbeitung für den Maskierungsbereich durchgeführt ist, in dem Vorschaubild angezeigt werden. Das heißt, selbst wo ein Maskierungsbereich auf dem omnidirektionalen Bild spezifiziert ist, ist, wenn der Ausschneidebereich, der für den Maskierungsbereich eingestellt ist, unterschiedlich ist, der Maskierungsbereich auf dem ausgeschnittenen/verzerrungskorrigierten Bild, der zu jedem Ausschneidebereich korrespondiert, entsprechend unterschiedlich. Somit kann, wenn unterschiedliche Ausschneidebereiche für den Maskierungsbereich eingestellt sind, das Vorschaubild eine Mehrzahl der ausgeschnittenen/verzerrungskorrigierten Bilder, auf denen jeweils die Maskierungsverarbeitung für den Maskierungsbereich, der zu den unterschiedlichen Ausschneidebereichen korrespondiert, durchgeführt ist, anzeigen. Weiter kann, wenn eine Mehrzahl der Maskierungsbereiche auf dem omnidirektionalen Bild spezifiziert ist, ein Vorschaubild, das eine Mehrzahl der ausgeschnittenen/verzerrungskorrigierten Bilder beinhaltet, durch Durchführen derselben Verarbeitung wie oben für jeden Maskierungsbereich erzeugt werden.
Weiter ist, in den obigen Ausführungsformen, die Maskierungsverarbeitung eine Verarbeitung des Ausschwärzens des Verarbeitungsbereichs zum Schutz der Privatsphäre. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Zum Beispiel ist es möglich, andere Verarbeitungen zum Reduzieren einer Menge von Information, wie etwa eine Verarbeitung (Mosaikverarbeitung) zum Reduzieren einer Auflösung des Maskierungsbereichs, um so die Privatsphäre zu schützen, durchzuführen. Weiter ist es möglich, als die Maskierungsverarbeitung, eine „Interessierender Bereich”-Verarbeitung (ROI) des Spezifizierens eines wichtigen Bereichs als einen Verarbeitungsbereich und, vorzugsweise, des Alloziierens einer Codemenge für den Verarbeitungsbereich durchzuführen, um so, vorzugsweise, die Bildqualität des Verarbeitungsbereichs selbst in einem Kommunikationsnetzwerk mit niedriger Geschwindigkeit sicherzustellen.
Weiter bildet, in den obigen Ausführungsformen, der omnidirektionale Bildgebungsabschnitt das omnidirektionale Bild als das Bild, welches Verzerrung aufweist, unter Nutzung eines Fischaugenobjektivs ab, und das Bildanzeigesystem erfasst dieses omnidirektionale Bild. Jedoch ist das Bild, welches Verzerrung aufweist, nicht auf das omnidirektionale Bild beschränkt, solange es ein Bild ist, welches Verzerrung aufweist, die korrigiert werden kann.
3. Siebte Ausführungsform
Im Folgenden wird eine siebte Ausführungsform der vorliegenden Erfindung beschrieben. 35 ist ein Blockdiagramm eines Aufnahmesystems gemäß der siebten Ausführungsform der vorliegenden Erfindung. Wie in der 35 illustriert, beinhaltet ein Aufnahmesystem 107 eine Kamera 170, ein Bildbetrachtungsgerät 270, und einen Bildprozessor 370. Der Bildprozessor 370 ist mit der Kamera 170 und dem Bildbetrachtungsgerät 270 verbunden.
Die Kamera 170 wird genutzt, um ein Bild, das einer Bildverarbeitung in dem Bildprozessor 370 zu unterziehen ist und auf dem Bildbetrachtungsgerät 270 anzuzeigen ist, abzubilden. Die Kamera 170 ist an einer vorbestimmten Position befestigt, um ein Objekt, das aufzunehmen ist, aufzunehmen.
Das Bildbetrachtungsgerät 270 ist ein Gerät für einen Nutzer zum Betrachten eines Bildes, das durch die Kamera 170 aufgenommenen und einer Bildverarbeitung in dem Bildprozessor 370 unterzogenen wird. Das Bildbetrachtungsgerät 270 kann, z. B., ein Personal-Computer oder ein mobiles Gerät sein. In einem Fall, in dem die Kamera 170 eine Überwachungskamera ist, ist die Kamera 170 so installiert, dass sie in der Lage zu sein, einen zu überwachenden Ort abzubilden, und das Bildbetrachtungsgerät 270 wird durch eine Person benutzt, die das Bild überwacht.
Das Aufnahmesystem 107 ist zwischen der Kamera 170 und dem Bildbetrachtungsgerät 270 angeordnet und mit diesen verbunden. Der Bildprozessor 370 kann mit der Kamera 170 und dem Bildbetrachtungsgerät 270 drahtgebunden oder drahtlos verbunden sein. Weiter können einige oder alle der konstituierenden Elemente des Bildprozessors 370 in der Kamera 170 oder in dem Bildbetrachtungsgerät 270 bereitgestellt sein.
Die Kamera 170 beinhaltet einen omnidirektionalen Bildgebungsabschnitt 171. Der omnidirektionale Bildgebungsabschnitt 171 ist ein Bildgebungssystem, das ein Fischaugenobjektiv, was eine Art von Weitwinkelobjektiv ist, aufweist. Der omnidirektionale Bildgebungsabschnitt 171 wird genutzt, um ein kreisförmiges omnidirektionales Bild abzubilden. Das omnidirektionale Bild ist das Bild, welches Verzerrung aufweist, das durch ein Fischaugenobjektiv unter Nutzung eines Projektionssystems, wie etwa einem stereographischen Projektionssystem, einem Äquidistanzprojektionssystem, einem Equisolidwinkelprojektionssystem oder einem Orthogonalprojektionssystem, abgebildet wird. Der omnidirektionale Bildgebungsabschnitt 171 gibt das erhaltene omnidirektionale Bild an den Bildprozessor 370 aus. Das Bild, das durch den omnidirektionalen Bildgebungsabschnitt 171 erfasst und ausgegeben wird, kann ein Standbild oder ein Bewegtbild sein.
Das Bildbetrachtungsgerät 270 beinhaltet einen Eingabeabschnitt 272 und einen Bildanzeigeabschnitt 271. Der Eingabeabschnitt 272 führt verschiedene Eingabeoperationen unter Nutzung eines Eingabegeräts, wie etwa einer Maus oder eines Berührungsfelds, durch. Insbesondere führt, in der vorliegenden Ausführungsform, der Eingabeabschnitt 272 eine Eingabe zur Positionsspezifizierung und zur Bereichsfestsetzung auf dem omnidirektionalen Bild, das durch die Kamera 170 aufgenommen wird, durch.
Der Bildanzeigeabschnitt 271 zeigt ein Bild, das von dem Bildprozessor 370 ausgegeben wird, an. Der Bildanzeigeabschnitt 271 kann, z. B., ein Flüssigkristallanzeigefeld sein. Der Bildanzeigeabschnitt 271 zeigt ein Vorschaubild für einen Nutzer zum Spezifizieren eines Verarbeitungsbereichs in einem Bereichspezifizierungsmodus, der später zu beschreiben ist, an, während er ein normales Bild, auf dem der Verarbeitungsbereich einer vorbestimmten Verarbeitung unterworfen ist, in einem normalen Modus, der später zu beschreiben ist, anzeigt.
Der Bildprozessor 370 beinhaltet einen Anzeigeumschaltabschnitt 371, einen Bereichverarbeitungsabschnitt 372, einen Bereichspeicherabschnitt 373, einen Bereichüberlagerungsabschnitt 374, einen Festsetzungsbestimmungsabschnitt 375, einen Verzerrungskorrekturabschnitt 376, einen Bildausgabeabschnitt 377, einen Bereichberechnungsabschnitt 378, und einen Bereichspezifizierungsabschnitt 379. Der Bildprozessor 370 arbeitet in einem normalen Modus oder in einem Bereichspezifizierungsmodus. Der normale Modus ist ein Modus zum Anzeigen des Bildes, das durch die Kamera 170 aufgenommen wird, auf dem Bildbetrachtungsgerät 270, und der Bereichspezifizierungsmodus ist ein Modus zum Bestimmen eines Verarbeitungsbereichs.
Der Anzeigeumschaltabschnitt 371 empfängt eine Eingabe des omnidirektionalen Bildes, das durch den omnidirektionalen Bildgebungsabschnitt 171 aufgenommen wird, und bestimmt dann ein Ausgabeziel des omnidirektionalen Bildes. Der Anzeigeumschaltabschnitt 371 gibt das Eingabebild in dem normalen Modus an den Bereichverarbeitungsabschnitt 372 aus, während er das Eingabebild in dem Bereichspezifizierungsmodus an den Bereichüberlagerungsabschnitt 374 ausgibt. Der Anzeigeumschaltabschnitt 371 gibt, an den Bildausgabeabschnitt 377, eine Information aus, die angibt, welcher der Abschnitte 374 und 371 als das Ausgabeziel bestimmt ist.
Der normale Modus beinhaltet eine Mehrzahl von Anzeigemodi, wie etwa einen Modus zum Anzeigen eines panoramischen Bildes, ein Modus zum Anzeigen einer Mehrzahl der ausgeschnittenen/verzerrungskorrigierten Bilder, und einen Modus zum Anzeigen eines einzelnen ausgeschnittenen/verzerrungskorrigierten Bildes. Der Anzeigeumschaltabschnitt 371 gibt, zusammen mit dem Eingabebild, eine Information, die den Anzeigemodus betrifft, an den Bereichverarbeitungsabschnitt 372 aus.
Der Bereichverarbeitungsabschnitt 372 erfasst das omnidirektionale Bild von dem Anzeigeumschaltabschnitt 371 und nutzt die Information, die den Verarbeitungsbereich betrifft, die in dem Bereichspeicherabschnitt 373 gespeichert ist, um eine Bildverarbeitung für den Verarbeitungsbereich in dem omnidirektionalen Bild durchzuführen. In der vorliegenden Ausführungsform führt der Bereichverarbeitungsabschnitt 372, als die Bildverarbeitung, eine Maskierungsverarbeitung des Ausschwärzens des Verarbeitungsbereichs durch. Der Verarbeitungsbereich korrespondiert somit zu dem Maskierungsbereich.
Der Bereichverarbeitungsabschnitt 372 wählt einen Bearbeitungsbereich, der zu dem Anzeigemodus korrespondiert, von dem Verarbeitungsbereich, der in dem Bereichspeicherabschnitt 373 gespeichert ist, aus. Weiter stellt, wenn das omnidirektionale Bild direkt angezeigt wird, in einem Fall, in dem eine Mehrzahl von Verarbeitungsbereichen, die jeweils zu einer Mehrzahl von Anzeigemodi korrespondieren, in dem Bereichspeicherabschnitt 373 gespeichert ist, der Bereichverarbeitungsabschnitt 372, als den Verarbeitungsbereich, einen Bereich, der durch Kombinieren (UND-Verarbeitung) der Mehrzahl von Verarbeitungsbereichen erhalten wird, ein.
Der Bereichspeicherabschnitt 373 speichert eine Information, die den Verarbeitungsbereich, der der Bildverarbeitung durch den Bereichverarbeitungsabschnitt 372 zu unterziehen ist, betrifft. In einem Fall, in dem der normale Modus die Mehrzahl von Anzeigemodi beinhaltet, speichert der Bereichspeicherabschnitt 373 den Verarbeitungsbereich für jeden Anzeigemodus. Die Information, die den Verarbeitungsbereich betrifft, wird von dem Festsetzungsbestimmungsabschnitt 375 erfasst.
Der Bereichspeicherabschnitt 373 kann den Verarbeitungsbereich als einen Satz von Koordinaten von Positionen auf einem äußeren Randbereich (Rahmen) des Verarbeitungsbereichs auf dem omnidirektionalen Bild speichern, oder er kann den Verarbeitungsbereich als einen Satz von Funktionen, die Kurven, die den äußeren Randbereich (Rahmen) des Verarbeitungsbereichs bilden, repräsentieren, speichern.
36A und 36B sind jeweils Ansichten, die den Verarbeitungsbereich, der in dem Bereichspeicherabschnitt 373 gespeichert ist, illustrieren. 36A illustriert einen Fall, in dem der Verarbeitungsbereich als ein Satz von Koordinaten gespeichert ist, und 36B illustriert einen Fall, in dem der Verarbeitungsbereich als ein Satz von Funktionen gespeichert ist. In der 36A speichert der Bereichspeicherabschnitt 373 Koordinaten (x0, y0), (x1, y1), ... von allen Punkten (Pixeln), die den äußeren Randbereich des Verarbeitungsbereichs bilden. In der 36B speichert der Bereichspeicherabschnitt 373 vier Funktionen f(x), g(x), h(x) und k(x), die jeweils Kurven, die den äußeren Randbereich des Verarbeitungsbereichs bilden, repräsentieren.
Der Bereichüberlagerungsabschnitt 374, der Festsetzungsbestimmungsabschnitt 375, der Bereichberechnungsabschnitt 378, und der Bereichspezifizierungsabschnitt 379 werden in dem Bereichspezifizierungsmodus genutzt. Der Modus (Bereichspezifizierungsmodus oder normaler Modus), der auszuwählen ist, wird durch eine Nutzeroperation durch den Eingabeabschnitt 272 des Bildbetrachtungsgeräts 270 spezifiziert, und die Eingabeinformation wird an den Bildprozessor 370 gegeben.
Der Bereichüberlagerungsabschnitt 374 erfasst in dem Bereichspezifizierungsmodus das omnidirektionale Bild von dem Anzeigeumschaltabschnitt 371, überlagert eine Bildinformation, die einen nicht festgelegten Verarbeitungsbereich, der von dem Festlegungsbestimmungsabschnitt 375 ausgegeben wird, auf dem erfassten omnidirektionalen Bild repräsentiert, und gibt das resultierende Bild an den Bildausgabeabschnitt 377 aus. In der vorliegenden Ausführungsform ist die Bildinformation, die den Verarbeitungsbereich repräsentiert, ein Liniensegment, das den Verarbeitungsbereich umgibt. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt, sondern die Bildinformation kann eine andere Information sein, wie etwa ein gefüllter Verarbeitungsbereich.
Wenn das omnidirektionale Bild in dem Bereichspezifizierungsmodus als das Vorschaubild auf dem Bildanzeigeabschnitt 271 des Bildbetrachtungsgeräts 270 angezeigt wird, erfasst der Bereichspezifizierungsabschnitt 379 die Koordinaten, die der Nutzer durch den Eingabeabschnitt 272 auf dem angezeigten omnidirektionalen Bild spezifiziert, und gibt die erfassten Koordinaten an den Bereichberechnungsabschnitt 378 aus.
37A und 37B sind jeweils Ansichten zum Erläutern der Bereichsspezifizierung, die durch den Nutzer vollführt wird. 37A ist eine Ansicht zum Erläutern des Starts der Bereichspezifizierung, und 37B ist eine Ansicht zum Erläutern einer des Betriebs während der Bereichspezifizierung oder der Festsetzung der Bereichspezifizierung. Wenn das omnidirektionale Bild als das Vorschaubild für die Bereichspezifizierung auf dem Bildanzeigeabschnitt 271 angezeigt wird, spezifiziert der Nutzer den Verarbeitungsbereich auf dem angezeigten omnidirektionalen Bild. In der vorliegenden Ausführungsform ist der Eingabeabschnitt 272 ein Gerät, das unter Nutzung einer Maus einen Zeiger bewegt, und der so ausgestaltete Eingabeabschnitt 272 wird genutzt, um einen Startpunkt und einen Endpunkt zu spezifizieren.
Der Nutzer spezifiziert zwei diagonale Vertexe eines Bereichs, der nach der Verzerrungskorrekturverarbeitung ein Rechteck annimmt. Namentlich nutzt der Nutzer den Eingabeabschnitt 272, um den Zeiger über einen Abschnitt, der als der Startpunkt einzustellen ist, zu setzen, wie in der 37 illustriert, gefolgt durch ein Anklicken, und der Zeiger wird zu einem Abschnitt, der als der Endpunkt einzustellen ist, gezogen, wie in der 37B illustriert. Wenn die Ziehoperation an dem Abschnitt, der als der Endpunkt einzustellen ist, beendet wird, wird die derzeitige Zeigerposition als der Endpunkt eingestellt. Mit der obigen Operation werden der Startpunkt und der Endpunkt festgelegt. Während der Ziehoperation wird ein Verarbeitungsbereich, der aus dem Startpunkt und einem Endpunkt, der zu einer Position des gezogenen Zeigers korrespondiert, berechnet wird, in einer überlagerten Weise auf dem Vorschaubild angezeigt, wie in der 37B illustriert. Während der Zeiger gezogen wird, gibt der Bereichspezifizierungsabschnitt 379 Koordinaten des Startpunktes und Koordinaten des Endpunktes, der zu einer Position des gezogenen Zeigers korrespondiert, an den Bereichberechnungsabschnitt 378 aus. Nach der Beendigung der Ziehoperation gibt der Bereichspezifizierungsabschnitt 379 Koordinaten des Startpunktes und Koordinaten des festgesetzten Endpunktes an den Bereichberechnungsabschnitt 378 aus.
Der Bereichberechnungsabschnitt 378 nutzt die Koordinaten des Startpunktes und des Endpunktes, die von dem Bereichspezifizierungsabschnitt 379 erfasst werden, um einen Bereich auf dem omnidirektionalen Bild, der nach der Verzerrungskorrekturverarbeitung ein Rechteck annimmt, zu berechnen. Eine Form des Bereichs auf dem omnidirektionalen Bild, der, nach der Verzerrungskorrekturverarbeitung, ein Rechteck annimmt, das zwei diagonale Vertexe, die durch den Bereichspezifizierungsabschnitt 379 spezifiziert werden, annimmt, variiert in Abhängigkeit von dem Verzerrungskorrekturparameter, d. h., einem Verzerrungskorrekturverfahren (panoramische Korrektur, Ausschneide-/Verzerrungskorrektur, oder dergleichen) oder einer Position (Ausschneidezentrum) und einen Sichtwinkel (Zoomvergrößerung) des Bereichs, der der Verzerrungskorrektur in der Ausschneide-/Verzerrungskorrektur zu unterziehen ist.
Somit ist, zur Berechnung der Form des omnidirektionalen Bildes, das ein Rechteck annimmt, das die spezifizierten zwei diagonalen Vertexe aufweist, eine Information des Parameters (nachstehend als „Verzerrungskorrekturparameter” bezeichnet) für die Verzerrungskorrektur, die für das omnidirektionale Bild durchzuführen ist, erforderlich. Der Verzerrungskorrekturparameter beinhaltet, z. B., ein Verzerrungskorrekturverfahren (panoramische Korrektur, Ausschneide-/Verzerrungskorrektur, oder dergleichen) und eine Position (Ausschneidezentrum) und einen Sichtwinkel (Zoomvergrößerung) des Bereichs, der der Verzerrungskorrektur in der Ausschneide-/Verzerrungskorrektur zu unterziehen ist.
Wenn das Verzerrungsverfahren das Ausschneide-/Verzerrungskorrekturverfahren ist, und die Ausschneideposition im Vorfeld festgelegt wurde, kann der Bereichberechnungsabschnitt 378 eine Information der Ausschneideposition aufweisen. Wenn es eine Mehrzahl der zuvor festgelegten Ausschneidepositionen gibt, kann der Bereichberechnungsabschnitt 378 die Information für jeden Anzeigebereich derselben aufweisen. Eine solche festgelegte Ausschneideposition wird genutzt, um Eingänge und Ausgänge durch eine Tür zu überwachen, und die Position, die der Ausschneide-/Verzerrungskorrektur zu unterziehen ist, ist auf eine Position, die zu der Tür korrespondiert, festgelegt. Wenn der Verzerrungskorrekturparameter durch den Nutzer spezifiziert wird, kann der Bereichberechnungsabschnitt 378 eine Eingabe des Nutzers an dem Eingabeabschnitt 272, die den Verzerrungskorrekturparameter betrifft, von dem Bereichspezifizierungsabschnitt 379 erfassen und den Verzerrungskorrekturparameter basierend auf der erfassten Eingabe bestimmen. Der Verzerrungskorrekturparameter wird mit dem Verzerrungskorrekturabschnitt 376 geteilt, und, in dem normalen Modus, führt der Verzerrungskorrekturabschnitt 376 die Verzerrungskorrektur basierend auf dem Verzerrungskorrekturparameter durch.
Der Verzerrungskorrekturparameter, der für die Berechnung des Verarbeitungsbereichs zu nutzen ist, kann basierend auf der Spezifizierung des Verarbeitungsbereichs, die durch den Nutzer vollführt wird, bestimmt werden. 38A und 38B sind jeweils Ansichten, die eine Verarbeitung des Bestimmens eines Anzeigebereichs basierend auf der Spezifizierung des Verarbeitungsbereichs illustrieren. 38A ist eine Ansicht, die den Startpunkt und den Endpunkt des Verarbeitungsbereichs, der auf dem omnidirektionalen Bild spezifiziert wird, illustriert, und die 38B ist eine Ansicht, die einen Zustand illustriert, in dem der Verarbeitungsbereich, der in der 38A illustriert ist, auf einem Bild nach der Ausschneide-/Verzerrungskorrektur angezeigt wird.
Wie in der 38A illustriert, bestimmt, wenn die zwei diagonalen Vertexe des Verarbeitungsbereichs, der nach der Verzerrungskorrekturverarbeitung ein Rechteck annimmt, durch die oben-beschriebene Prozedur spezifiziert werden, der Bereichberechnungsabschnitt 378 eine Ausschneideposition in dem Verzerrungskorrekturparameter, so dass das Ausschneidezentrum an einem Mittelpunkt zwischen den zwei Vertexen positioniert ist. Der Ausschneidesichtwinkel (Zoomvergrößerung) kann fest sein oder gemäß einem Abstand zwischen dem Startpunkt und dem Endpunkt bestimmt werden. Es ist zum Beispiel möglich, den Verzerrungskorrekturparameter so einzustellen, dass eine Linie, die den Startpunkt und den Endpunkt verbindet, ein bestimmtes Verhältnis zu einer diagonalen Linie des Ausschneidebereichs aufweist. In den Beispielen der 38A und 38B ist der Verzerrungskorrekturparameter so bestimmt, dass die Linie, die den Startpunkt und den Endpunkt verbindet, 70% der diagonalen Linie des Ausschneidebereichs aufweist, und der Mittelpunkt zwischen dem Startpunkt und dem Endpunkt ist an dem Zentrum des Ausschneidebereichs gelegen. Wenn der Startpunkt und der Endpunkt als die zwei diagonalen Vertexe (Ecken) des Ausschneidebereichs eingestellt werden, stimmen der Verarbeitungsbereich und der Ausschneidebereich miteinander überein. In diesem Fall führt der Bereichverarbeitungsabschnitt 372 die Bildverarbeitung für den gesamten Ausschneidebereich durch.
Nachdem der Verzerrungskorrekturparameter so bestimmt wurde, erfasst der Bereichberechnungsabschnitt 378 die Koordinaten des Startpunktes und des Endpunktes von dem Bereichspezifizierungsabschnitt 379 und nutzt dann den Verzerrungskorrekturparameter und die Information des Startpunktes und des Endpunktes des Verarbeitungsbereichs, um einen Verarbeitungsbereich auf dem omnidirektionalen Bild zu berechnen. Der Verarbeitungsbereich auf dem omnidirektionalen Bild ist ein Bereich, der nach der Verzerrungskorrekturverarbeitung, die basierend auf dem Verzerrungskorrekturparameter durchgeführt wird, ein Rechteck annimmt.
Wenn eine Mehrzahl der Anzeigemodus eingestellt ist, berechnet der Bereichberechnungsabschnitt 378 den Bereich, der nach der Verzerrungskorrekturverarbeitung unter Nutzung der Verzerrungskorrekturparameter, die zu entsprechenden Anzeigemodi korrespondierenden, ein Rechteck annimmt. 39 ist eine Ansicht, die den Verarbeitungsbereich, der in einer überlagerten Weise auf dem Vorschaubild angezeigt wird, illustriert. Nachstehend wird angenommen, dass der Verzerrungskorrekturparameter einen ersten Verzerrungskorrekturparameter (für, z. B., ein ausgeschnittenes/verzerrungskorrigiertes Bild, das zu einem fre wählbaren Teilbereich korrespondiert) und einen zweiten Verzerrungskorrekturparameter (für, z. B., ein Panoramabild) beinhaltet.
Auf die Erfassung der Information des Startpunktes und des Endpunktes hin, berechnet der Bereichberechnungsabschnitt 378 den Verarbeitungsbereich, der nach der Korrektur basierend auf jedem des ersten und des zweiten Verzerrungskorrekturparameters ein Rechteck annimmt.
Der Bereichberechnungsabschnitt 378 berechnet ein erstes Rechteck, das, als die diagonalen Vertexe, einen Startpunkt und einen Endpunkt, die durch eine Koordinatentransformation basierend auf dem ersten Verzerrungskorrekturparameter erhalten werden, aufweist. Der Bereichberechnungsabschnitt 378 führt, für das erste Rechteck, eine Transformation durch, die invers zu der Koordinatentransformation ist, die zuvor gemäß dem ersten Verzerrungskorrekturparameter durchgeführt wird. In diesem Fall führt der Bereichberechnungsabschnitt 378 eine Koordinatentransformation unter Nutzung einer Funktion, die invers zu einer Transformationsfunktion für ein Koordinatentransformationsverfahren, das durch den ersten Verzerrungskorrekturparameter angegeben wird, aus. Als ein Ergebnis, nimmt das erste Rechteck eine verzerrte Form an. Die verzerrte Form korrespondiert zu einem ersten Verarbeitungsbereich CA1 auf dem omnidirektionalen Bild, das in der 39 illustriert ist.
Der Bereichberechnungsabschnitt 378 berechnet ein zweites Rechteck, das, als die diagonalen Vertexe, einen Startpunkt und einen Endpunkt, die durch eine Koordinatentransformation basierend auf dem zweiten Verzerrungskorrekturparameter erhalten werden, aufweist. Der Bereichberechnungsabschnitt 378 führt, für das zweite Rechteck, eine Transformation durch, die invers zu der Koordinatentransformation ist, die zuvor gemäß dem zweiten Verzerrungskorrekturparameter durchgeführt wird. Als ein Ergebnis, nimmt das zweite Rechteck eine verzerrte Form an. Die verzerrte Form korrespondiert zu einem ersten Verarbeitungsbereich CA2 auf dem omnidirektionalen Bild, das in der 39 illustriert ist.
Wenn der Nutzer den Endpunkt nicht festgesetzt hat (zum Beispiel, wenn der Nutzer die Maus zieht), gibt der Festsetzungsbestimmungsabschnitt 375 den Verarbeitungsbereich, der durch den Bereichberechnungsabschnitt 378 berechnet wird, an den Bereichüberlagerungsabschnitt 374 aus, und, wenn er eine Festlegungsaktion (zum Beispiel, eine Beendigung der Mausziehoperation), die der Nutzer für den Eingabeabschnitt 272 vollführt, empfängt, speichert der Festsetzungsbestimmungsabschnitt 375 den Verarbeitungsbereich, den der Bereichberechnungsabschnitt 378 zu diesem Zeitpunkt berechnet, in dem Bereichspeicherabschnitt 373.
Der Bereichüberlagerungsabschnitt 374 empfängt in dem Bereichspezifizierungsmodus ein Eingabebild (omnidirektionales Bild) von dem Anzeigeumschaltabschnitt 371, überlagert den Verarbeitungsbereich, der von dem Festlegungsbestimmungsabschnitt 375 ausgegeben wird, auf dem omnidirektionalen Bild, und gibt das resultierende Bild an den Bildausgabeabschnitt 377 aus. Wenn die Mehrzahl von Verarbeitungsbereichen, die zu der Mehrzahl von Anzeigebereichen korrespondieren, wie oben beschrieben durch den Bereichberechnungsabschnitt 378 berechnet werden, überlagert der Bereichüberlagerungsabschnitt 374 all die Verarbeitungsbereiche auf dem omnidirektionalen Bild.
Der Verzerrungskorrekturabschnitt 376 wird in dem normalen Modus genutzt. In dem normalen Modus wird das omnidirektionale Bild, das an dem Anzeigeumschaltabschnitt 371 eingegeben wird, an den Bereichverarbeitungsabschnitt 372 ausgegeben, wo eine Bildverarbeitung für den Verarbeitungsbereich, der in dem Bereichspeicherabschnitt 373 gespeichert ist, durchgeführt wird, und das omnidirektionale Bild, das teilweise der Bildverarbeitung unterzogen ist, wird an dem Verzerrungskorrekturabschnitt 376 eingegeben.
Der Verzerrungskorrekturabschnitt 376 führt die Verzerrungskorrekturverarbeitung für das eingegebene omnidirektionale Bild (auf dem die Bildverarbeitung für den Verarbeitungsbereich durchgeführt ist) aus, um ein verzerrungskorrigiertes Bild zu erzeugen. Wenn es eine Mehrzahl von Displaymodi, d. h., Verzerrungskorrekturverfahren, gibt und eine Mehrzahl von Verarbeitungsbereichen, die zu der Mehrzahl von Displaymodi korrespondieren, in dem Bereichspeicherabschnitt 373 gespeichert sind, liest der Bereichverarbeitungsabschnitt 372 den Verarbeitungsbereich gemäß dem Displaymodus aus und führt eine Bildverarbeitung für den ausgelesenen Verarbeitungsbereich durch. Wenn die Ausschneide-/Verzerrungskorrekturverarbeitung durchgeführt wird, kann das Ausschneidezentrum von dem Zentrum des Verarbeitungsbereiches verschieden sein, und, in diesem Fall, ist der Verarbeitungsbereich von dem Zentrum des Ausschneidebereichs versetzt positioniert und nimmt eine leicht verzerrte Form an. Weiter sollte, wenn der Verarbeitungsbereich basierend auf einer Mehrzahl von Ausschneidezentren berechnet ist, eine Bildverarbeitung für den Verarbeitungsbereich, der basierend auf einem Ausschneidezentrum, das am nächsten ist zu demjenigen, das in dem Verzerrungskorrekturabschnitt 376 genutzt wird, berechnet wird, durchgeführt werden.
Dann wird, ebenfalls in dem Verzerrungskorrekturabschnitt 376, die Ausschneide-/Verzerrungskorrekturverarbeitung auf dem Anzeigebereich, der zu dem Anzeigemodus korrespondiert, durchgeführt. Wenn der Anzeigemodus ein Modus zum Anzeigen eines panoramischen Bildes ist, ist das ausgeschnittene/verzerrungskorrigierte Bild das panoramische Bild. Wenn der Anzeigemodus ein Modus zum Anzeigen eines ausgeschnittenen frei wählbaren Bereichs ist, ist das ausgeschnittene/verzerrungskorrigierte Bild ein Bild, das durch Ausschneiden des frei wählbaren Teilbereichs gefolgt durch die Verzerrungskorrekturverarbeitung für den Ausschneidebereich erhalten wird. Das durch den Verzerrungskorrekturabschnitt 376 erzeugte ausgeschnittene/verzerrungskorrigierte Bild wird an den Bildausgabeabschnitt 377 ausgegeben.
Der Bildausgabeabschnitt 377 gibt in dem Bereichspezifizierungsmodus das Bild, das von dem Bereichüberlagerungsabschnitt 374 ausgegeben wird, an den Bildanzeigeabschnitt 271 des Bildbetrachtungsgeräts 270 aus, während er das Bild, das von dem Verzerrungskorrekturabschnitt 376 ausgegeben wird, an den Bildanzeigeabschnitt 271 des Bildbetrachtungsgeräts 270 ausgibt. Der Bildausgabeabschnitt 377 erfasst, von dem Anzeigeumschaltabschnitt 371, eine Information, die angibt, welches des Bildes, das von dem Bereichüberlagerungsabschnitt 374 ausgegeben wird, und des Bildes, das von dem Verzerrungskorrekturabschnitt 376 ausgegeben wird, auszugeben ist, das heißt, ob der aktuelle Modus der Bereichspezifizierungsmodus oder der normale Modus ist.
Der Bildanzeigeabschnitt 271 zeigt in dem Bereichspezifizierungsmodus das Bild, das von dem Bildausgabeabschnitt 377 ausgegeben wird, als das Vorschaubild an, und zeigt das Bild, das von dem Bildausgabeabschnitt 377 ausgegeben wird, als ein normales Bild an, das teilweise einer Bildverarbeitung unterzogen ist.
40A und 40B sind jeweils Ansichten, die ein Beispiel des Anzeigens auf dem Bildanzeigeabschnitt 271 in den normalen Modus illustrieren. 40A illustriert ein Beispiel, in dem das ausgeschnittene/verzerrungskorrigierte Bild, das durch Ausschneiden des frei wählbaren Teilbereichs aus dem omnidirektionalen Bild gefolgt durch die Verzerrungskorrekturverarbeitung für den ausgeschnittenen Bereich erhalten wird, und 40B illustriert ein Beispiel, in dem das panoramische Bild durch Entwickeln einer rechten Hälfte des omnidirektionalen Bildes in einer panoramischen Weise erhalten wird.
Wie in der 40A illustriert, nimmt der erste Verarbeitungsbereich CA1, der auf dem omnidirektionalen Bild in der 39 überlagert ist, ein Rechteck auf dem ausgeschnittenen/verzerrungskorrigierten Bild an, und der rechteckige Verarbeitungsbereich wird der Maskierungsverarbeitung unterzogen. Weiter nimmt, wie in der 40B illustriert, der zweite Verarbeitungsbereich CA2, der auf dem omnidirektionalen Bild der 39 überlagert ist, ein Rechteck auf dem panoramischen Bild an, und der rechteckige Verarbeitungsbereich wird der Maskierungsverarbeitung unterzogen.
Im Folgenden wird ein Betrieb des Bildprozessors 370 beschrieben. 34 ist ein Ablaufdiagramm, das den Betrieb des Bildprozessors 370 illustriert. Der Anzeigeumschaltabschnitt 371 gibt das omnidirektionale Bild von dem omnidirektionalen Bildgebungsabschnitt 171 ein (Schritt S341) und bestimmt, ob der aktuelle Modus der Bereichspezifizierungsmodus oder der normale Modus ist (Schritt S342).
Wenn der aktuelle Modus der Bereichspezifizierungsmodus ist („Bereichspezifizierungsmodus” in Schritt S342), gibt der Anzeigeumschaltabschnitt 371 das omnidirektionale Bild (Eingabebild) an den Bereichüberlagerungsabschnitt 374 aus. Dann wird das omnidirektionale Bild durch den Bildausgabeabschnitt 377 an den Bildanzeigeabschnitt 271 geliefert, um darauf als das Vorschaubild angezeigt zu werden, und eine Information des Startpunktes und des Endpunktes zum Spezifizieren des Verarbeitungsbereichs, die unter Nutzung des Vorschaubildes durch den Eingabeabschnitt 272 eingegeben werden, wird an dem Bereichspezifizierungsabschnitt 379 eingegeben (Schritt S343).
Der Bereichberechnungsabschnitt 378 nutzt die Information des Startpunktes und des Endpunktes, die an dem Bereichspezifizierungsabschnitt 379 eingegeben wird, und eine Information des Anzeigebereichs, um die Koordinatentransformation des Startpunktes und des Endpunktes durchzuführen, berechnet ein Rechteck, das den koordinaten-transformierten Startpunkt und Endpunkt als die diagonalen Vertexe aufweist, und führt, für das berechnete Rechteck, eine Transformation durch, die invers zu der vorherigen Koordinatentransformation ist, um dadurch den Verarbeitungsbereich zu berechnen (Schritt S344).
Der Bereichfestsetzungsabschnitt 375 bestimmt, ob der Bereich festgelegt ist (Schritt S345), und gibt, wenn der Bereich nicht festgelegt ist (NEIN in Schritt S345), ein Liniensegment, das einen äußeren Randbereich des Verarbeitungsbereichs, der durch den Bereichberechnungsabschnitt 378 berechnet wird, repräsentiert, an den Bereichüberlagerungsabschnitt 374 aus. Der Bereichüberlagerungsabschnitt 374 überlagert (synthetisiert) dann das Liniensegment auf dem omnidirektionalen Bild, das von dem Anzeigeumschaltabschnitt 371 eingegeben wird (Schritt S346). Das omnidirektionale Bild, auf dem das Liniensegment, das den Verarbeitungsbereich repräsentiert, überlagert ist, wird durch den Bildausgabeabschnitt 377 an den Bildanzeigeabschnitt 271 ausgegeben, um darauf angezeigt zu werden (Schritt S347). 37 illustriert ein Beispiel des angezeigten Bildes.
Der Nutzer bestimmt, ob der angezeigte Verarbeitungsbereich akzeptabel ist, während das Vorschaubild, auf dem das Liniensegment, das den Verarbeitungsbereich repräsentiert, überlagert ist, konfirmiert wird, und nutzt den Eingabeabschnitt 272, um eine Aktion des Festsetzens des Verarbeitungsbereichs (Beenden der Mausziehoperation) oder eine Aktion des Fortführens der Bereichspezifizierung (Fortführen der Mausziehoperation) durchzuführen. Wenn der Verarbeitungsbereich nicht festgelegt wird, und die Verarbeitung der Schritte S345, S346, und S347 endet, kehrt der Verarbeitungsablauf zu dem Schritt S343 zurück, in dem der Nutzer aufgefordert wird, einen neuen Endpunkt zu spezifizieren.
Wenn der Verarbeitungsbereich festgelegt wird (JA in Schritt S345), gibt der Bereichfestsetzungsabschnitt 345 eine Information des Verarbeitungsbereichs an den Bereichspeicherabschnitt 373 aus, um so den Verarbeitungsbereich in dem Bereichspeicherabschnitt 373 zu speichern (S348). Nach Vollendung der Verarbeitung des Schritts S348, wird der Bearbeitungsmodus zu dem normalen Modus geändert. In einem Fall, in dem der Bearbeitungsmodus durch den Schritt S348 zu dem normalen Modus geändert wird oder in dem in dem Schritt S342 bestimmt wird, dass der aktuelle Modus der normale Modus ist, wendet der Bereichverarbeitungsabschnitt 372 den Verarbeitungsbereich, der von dem Bereichspeicherabschnitt 373 eingegeben wird, auf das omnidirektionale Bild, das von dem Anzeigeumschaltabschnitt 371 eingegeben wird, an, und führt eine Bildverarbeitung für den Verarbeitungsbereich durch (Schritt S349).
Der Verzerrungskorrekturabschnitt 376 erfasst das omnidirektionale Bild, auf dem der Verarbeitungsbereich einer Bildverarbeitung durch den Bereichverarbeitungsabschnitt 372 unterzogen ist, schneidet den Anzeigebereich aus dem omnidirektionalen Bild aus, und führt die Verzerrungskorrekturverarbeitung für den ausgeschnittenen Anzeigebereich durch, um dadurch das ausgeschnittene/verzerrungskorrigierte Bild zu erzeugen (Schritt S350). Der Bildausgabeabschnitt 377 gibt das ausgeschnittene/verzerrungskorrigierte Bild, das durch den Verzerrungskorrekturabschnitt 376 erzeugt wird, an den Bildanzeigeabschnitt 31 aus, und der Bildanzeigeabschnitt 271 zeigt das ausgeschnittene/verzerrungskorrigierte Bild an (Schritt S351). 40A und 40B illustrieren jeweils ein Beispiel des angezeigten Bildes.
Wie oben beschrieben, wird, gemäß dem Aufnahmesystem der vorliegenden Ausführungsform, wenn der Nutzer, auf dem omnidirektionalen Bild, die zwei diagonalen Vertexe des Bereichs, der als der Verarbeitungsbereich einzustellen ist, spezifiziert, der Bereich, der ein rechteckiger Bereich sein wird, der die spezifizierten zwei Punkte als die zwei diagonalen Vertexe aufweist, nachdem das omnidirektionale Bild der Verzerrungskorrekturverarbeitung durch den Verzerrungskorrekturabschnitt 376 unterworfen wurde, auf dem omnidirektionalen Bild angezeigt, wodurch es dem Nutzer ermöglicht wird, auf dem omnidirektionalen Bild, den Verarbeitungsbereich, der ein Rechteck annimmt, nachdem das omnidirektionale Bild der Verzerrungskorrekturverarbeitung unterworfen wurde, zu konfirmieren. Weiter wird der Verarbeitungsbereich, der zu einer Position des Zeigers während der Mausziehoperation korrespondiert, angezeigt, wodurch es ermöglicht wird, zu konfirmieren, ob eine nutzerspezifizierte Position in den Verarbeitungsbereich fällt, wenn die aktuelle Zeigerposition als der Endpunkt festgelegt wird. Weiter können, wenn es eine Mehrzahl der Verzerrungskorrekturverfahren gibt (das heißt, wenn es eine Mehrzahl von Anzeigebereichen, die zu der Mehrzahl von Anzeigemodi korrespondieren, gibt), die Verarbeitungsbereiche, die jeweils ein Rechteck nach der Verzerrungskorrekturverarbeitung, die zu der Mehrzahl von Anzeigemodi korrespondiert, annehmen, simultan auf dem omnidirektionalen Bild konfimiert werden. Dies macht es möglich, zu konfirmieren, ob die nutzerspezifizierte Position in jedem Anzeigemodus in den Verarbeitungsbereich fällt.
Die siebte Ausführungsform der vorliegenden Erfindung wurde somit beschrieben. Verschiedene Abwandlungen können im Rahmen der vorliegenden Erfindung an der obigen Ausführungsform vollführt werden. Zum Beispiel kann, obwohl in der obigen Ausführungsform eine Bildverarbeitung für ein Inneres des Verarbeitungsbereichs durchgeführt wird, die Bildverarbeitung auch für ein Außeres des Verarbeitungsbereichs durchgeführt werden. Zum Beispiel wird die Bildverarbeitung nicht für den Verarbeitungsbereich durchgeführt, der als ein anzuzeigender Bereich spezifiziert wurde, sondern die Maskierungsverarbeitung kann für einen diesen umgebenen Bereich durchgeführt werden. Weiter ist es möglich, eine „Interessierender Bereich”-Verarbeitung (ROI) des Spezifizierens eines wichtigen Bereichs als den Verarbeitungsbereich und, vorzugsweise, des Alloziierens einer Codemenge für den Verarbeitungsbereich durchzuführen, um so, vorzugsweise, die Bildqualität des Verarbeitungsbereichs selbst in einem Kommunikationsnetzwerk mit niedriger Geschwindigkeit sicherzustellen.
Weiter kann, in der obigen Ausführungsform, der Bereich, der durch den Verzerrungskorrekturabschnitt auszuschneiden ist, basierend auf dem Bereich, der durch den Bereichspezifizierungsabschnitt 379 spezifiziert wird, bestimmt werden, und, in diesem Fall, kann der gesamte spezifizierte Bereich als der Verarbeitungsbereich eingestellt werden. In diesem Fall kann jedoch dieser Verarbeitungsbereich als der Bereich, der der Ausschneideverarbeitung durch den Verzerrungskorrekturabschnitt 376 zu unterziehen ist, eingestellt werden. In diesem Fall schneidet der Bereichverarbeitungsabschnitt 372 den Verarbeitungsbereich als die Bildverarbeitung aus, und der Verzerrungskorrekturabschnitt 376 führt die Verzerrungskorrekturverarbeitung für ein Bild, das zu dem ausgeschnittenen Bereich, der von dem Bereichspeicherabschnitt 373 erfasst wird, korrespondiert, durch.
Weiter berechnet, in der obigen Ausführungsform, der Bereichberechnungsabschnitt 378 den Verarbeitungsbereich, der nach der Verzerrungskorrekturverarbeitung ein Rechteck annimmt. Der Verarbeitungsbereich, der nach der Verzerrungskorrekturverarbeitung zu erhalten ist, kann jedoch auch eine andere Form aufweisen, wie etwa eine Ellipse oder einen Zirkel. Weiter kann, wenn der Verarbeitungsbereich, der nach der Verzerrungskorrekturverarbeitung zu erhalten ist, eine andere Form als ein Rechteck aufweist, der Nutzer drei oder mehr Punkte als Punkte zum Berechnen des Verarbeitungsbereichs spezifizieren. Weiter kann, wenn eine Form und eine Größe des Verarbeitungsbereichs fest sind, der Nutzer lediglich die Position des Verarbeitungsbereichs spezifizieren (der Nutzer kann, zum Beispiel, lediglich einen Punkt, der ein Zentrum des Verarbeitungsbereichs repräsentiert, spezifizieren).
Weiter kann, nachdem die Information des Verarbeitungsbereichs, die durch den Nutzer spezifiziert und festgelegt wird, in dem Bereichspeicherabschnitt 373 gespeichert ist, der Nutzer den Eingabeabschnitt 272 nutzen, um eine Operation für den gespeicherten Verarbeitungsbereich zum Deformieren des Verarbeitungsbereichs auf dem Vorschaubild durchzuführen, das heißt, um die Spezifizierung des Verarbeitungsbereichs zu ändern. Auch in diesem Fall wird der Verarbeitungsbereich, der zu deformieren ist, immer in eine Form deformiert, die nach der Verzerrungskorrekturverarbeitung eine vorbestimmte Form annimmt, wie etwa ein Rechteck.
Weiter bildet, in der obigen Ausführungsform, der omnidirektionale Bildgebungsabschnitt 171 das omnidirektionale Bild als das Bild, welches Verzerrung aufweist, unter Nutzung eines Fischaugenobjektivs ab, und der Bildprozessor 370 erfasst dieses omnidirektionale Bild. Das Bild, welches Verzerrung aufweist, ist jedoch nicht auf das omnidirektionale Bild beschränkt, solange es ein Bild ist, welches Verzerrung aufweist, die korrigiert werden kann.
4. Achte Ausführungsform
Im Folgenden wird eine achte Ausführungsform der vorliegenden Erfindung beschrieben. Wie oben beschrieben, kann ein omnidirektionales Bild in ein Panoramabild deformiert werden. Weiter ist es möglich, das ausgeschnittene/verzerrungskorrigierte Bild, das durch Ausschneiden eines Teils des omnidirektionalen Bildes erhalten wird, anzuzeigen, und eine Korrekturverarbeitung für den ausgeschnittenen Teil durchzuführen. In diesem Fall kann, durch Verändern der Ausschneideposition in Echtzeit, eine PTZ-Kamerafunktion erzielt werden. Wie oben beschrieben, kann das omnidirektionale Bild in verschiedenen Modi angezeigt werden. Weiter kann es, in einer Videokamera, einen Fall geben, in dem eine Bildverarbeitung für einen spezifizierten frei wählbaren Bereich durchgeführt wird. Zum Beispiel wird die Maskierungsverarbeitung zum Schutz der Privatsphäre durchgeführt.
Wenn jedoch die Bereichspezifizierung unter Nutzung des Verfahrens, wie es in der Patentliteratur 2 beschrieben ist, durchgeführt wird, das einen frei wählbaren Bereich auf einem Bild, welches Verzerrung aufweist, spezifiziert, ändert sich die Form des Bereichs in Abhängigkeit des Vorhandenseins/Nichtvorhandenseins der Verzerrungskorrekturverarbeitung, eines Unterschieds im Anzeigemodus, oder einer Bildausschneideposition. Dies verkompliziert die Bereichspezifizierung, die durch einen Nutzer vorzunehmen ist, und eine Position des spezifizierten Bereichs ist schwer zu verstehen. Weiter ist es, bei der in der Patentliteratur 2 beschriebenen Technologie, notwendig, eine große Anzahl von Koordinaten vor und nach der Verzerrungskorrekturverarbeitung zu projizieren und, demzufolge, wird eine Menge von zu verarbeitenden Informationen extrem groß.
Somit wird, in der vorliegenden Ausführungsform, ein Aufnahmesystem beschrieben, das in der Lage ist, die Einfachheit einer Operation zur Bereichspezifizierung durch einen Nutzer zu erhöhen und eine Menge von zu verarbeitenden Informationen, die den Bereich, der vor und nach der Verzerrungskorrekturverarbeitung geteilt wird, beschreiben, zu verringern.
42 ist ein Blockdiagramm, das eine Ausgestaltung eines Aufnahmesystems 108 gemäß der achten Ausführungsform der vorliegenden Erfindung illustriert. Wie in der 42 illustriert, ist ein Bildprozessor 380 mit einer Kamera 180 und einem Bildbetrachtungsgerät 280 verbunden, um das Aufnahmesystem 108 zu bilden.
Die Kamera 180 wird genutzt, um ein Bild, das einer Bildverarbeitung in dem Bildprozessor 380 zu unterziehen und auf dem Bildbetrachtungsgerät 280 anzuzeigen ist, aufzunehmen. Die Kamer 180 ist an einer vorbestimmten Position so befestigt, dass sie ein Objekt, das aufzunehmen ist, aufnimmt.
Das Bildbetrachtungsgerät 280 ist ein Gerät für einen Benutzer zum Betrachten eines Bildes, das durch die Kamera 180 aufgenommen und einer Bildverarbeitung in dem Bildprozessor 380 unterzogen wird. Das Bildbetrachtungsgerät 280 kann, z. B., ein Personal-Computer oder ein mobiles Gerät sein. In einem Fall, in dem die Kamera 180 eine Überwachungskamera ist, ist die Kamera 180 so installiert, dass sie in der Lage ist, einen zu überwachenden Bereich abzubilden, und das Bildbetrachtungsgerät 280 wird durch eine Person genutzt, die das Bild überwacht.
Der Bildprozessor 380 ist zwischen der Kamera 180 und dem Bildbetrachtungsgerät 280 angeordnet und mit diesem verbunden. Der Bildprozessor 380 kann mit der Kamera 180 und dem Bildbetrachtungsgerät 280 drahtgebunden oder drahtlos verbunden sein. Weiter können einige oder alle der konstituierenden Elemente des Bildprozessors 380 in der Kamera 180 oder in dem Bildbetrachtungsgerät 280 bereitgestellt sein.
Die Kamera 180 beinhaltet einen omnidirektionalen Bildgebungsabschnitt 181. Der omnidirektionale Bildgebungsabschnitt 181 ist ein Bildgebungssystem, das ein Fischaugenobjektiv, was eine Art von Weitwinkelobjektiv ist, aufweist. Der omnidirektionale Bildgebungsabschnitt 181 wird genutzt, um ein kreisförmiges omnidirektionales Bild abzubilden. Das omnidirektionale Bild ist das Bild, welches Verzerrung aufweist, das durch ein Fischaugenobjektiv unter Nutzung eines Projektionssystems, wie etwa einem stereographischen Projektionssystem, einem Äquidistanzprojektionssystem, einem Equisolidwinkelprojektionssystem oder einem Orthogonalprojektionssystem, abgebildet wird. Der omnidirektionale Bildgebungsabschnitt 181 gibt das erhaltene omnidirektionale Bild an den Bildprozessor 380 aus. Das Bild, das durch den omnidirektionalen Bildgebungsabschnitt 171 erfasst und ausgegeben wird, kann ein Standbild oder ein Bewegtbild sein.
Das Bildbetrachtungsgerät 280 beinhaltet einen Eingabeabschnitt 282 und einen Bildanzeigeabschnitt 281. Der Eingabeabschnitt 282 führt verschiedene Eingabeoperationen unter Nutzung eines Eingabegeräts, wie etwa einer Maus und einem Bedienfeld, aus. Insbesondere führt, in der vorliegenden Ausführungsform, der Eingabeabschnitt 282 eine Eingabe zur Positionsspezifizierung auf dem omnidirektionalen Bild, das durch die Kamera 180 aufgenommen wird, aus.
Der Bildanzeigeabschnitt 281 zeigt ein Bild, das von dem Bildprozessor 380 ausgegeben wird, an. Der Bildanzeigeabschnitt 281 kann, z. B., ein Flüssigkristallanzeigefeld sein. Der Bildanzeigeabschnitt 281 zeigt ein Bild für einen Nutzer zum Spezifizieren eines Verarbeitungsbereichs in einer Bereichspezifizierungszeit, die später zu beschreiben ist, an, und zeigt ein Bild, auf dem der Verarbeitungsbereich einer vorbestimmten Verarbeitung unterworfen ist, zu einer Bildanzeigezeit, die später zu beschreiben ist, an.
Der Bildprozessor 380 beinhaltet einen Bilderfassungsabschnitt 381, einen Verzerrungskorrekturabschnitt 382, einen Bereichanwendungsabschnitt 383, einen Bildverarbeitungsabschnitt 384, einen Anzeigeeinstellabschnitt 385, einen Bereicherzeugungsabschnitt 386, einen Positionsspezifizierungsabschnitt 387, einen Positionsspeicherabschnitt 388, und einen Koordinatenprojektionsabschnitt 389. Der Bildprozessor 380 weist zwei Funktionen des Erzeugens, aus einem Bild, das von der Kamera 180 aufgenommen wird, eines Bildes, das auf dem Bildbetrachtungsgerät 280 anzuzeigen ist, und zum Spezifizieren des Verarbeitungsbereichs auf.
Der Bilderfassungsabschnitt 381 erfasst das omnidirektionale Bild, das durch den omnidirektionalen Bildgebungsabschnitt 381 der Kamera 180 aufgenommen wird.
Der Verzerrungskorrekturabschnitt 382 führt eine Verzerrungskorrekturverarbeitung für das omnidirektionale Bild, das durch den Bilderfassungsabschnitt 381 erfasst wird, durch. Verschiedene Verzerrungskorrekturverfahren werden angenommen, und das Korrekturverfahren, das zu nutzen ist, wird durch einen Verzerrungskorrekturparameter bestimmt. 49A ist eine Ansicht, die ein Beispiel eines herkömmlichen omnidirektionalen Bildes illustriert, die 49B ist eine Ansicht, die ein Anzeigebeispiel eines panoramischen Bildes des herkömmlichen omnidirektionalen Bildes illustriert, und die 49C ist eine Ansicht, die ein Beispiel illustriert, in dem ausgeschnittene Bilder, die zu einer Mehrzahl von Ausschneidebereichen korrespondieren, in einer nebeneinandergestellten Weise, zusammen mit dem herkömmlichen omnidirektionalen Bild, angezeigt werden. Zum Beispiel ist ein Verfahren verfügbar, wie in der 49B illustriert, das eine Mehrzahl von Bereichen, die aus dem omnidirektionalen Bild der 49A ausgeschnitten und dann der Korrekturverarbeitung unterzogen werden (nachstehend als Ausschneide-/Verzerrungskorrekturverarbeitung bezeichnet), anzeigt, und ein Verfahren, wie in der 49C illustriert, das panoramische Bilder anzeigt, eins über dem anderen, jedes mit einem 180-Grad-Sichtwinkel, der aus dem omnidirektionalen Bild erzeugt wird (nachstehend als panoramische Korrektur oder panoramische Entwicklung bezeichnet). In der vorliegenden Ausführungsform führt der Verzerrungskorrekturabschnitt 12 die Ausschneide-/Verzerrungskorrekturverarbeitung oder die panoramische Verarbeitung durch und gibt das resultierende Bild aus. Der Verzerrungskorrekturparameter beinhaltet das obige Verzerrungskorrekturverfahren und einen Parameter (zum Beispiel, in der Ausschneide-/Verzerrungskorrekturverarbeitung, eine Ausschneideposition und -größe), die in dem Verfahren erforderlich ist.
Der Anzeigeeinstellabschnitt 385 stellt den Verzerrungskorrekturparameter für die Verzerrungskorrekturverarbeitung durch den Verzerrungskorrekturabschnitt 382 ein. Wenn die Verzerrungskorrekturverarbeitung nicht durchgeführt wird, stellt der Anzeigeeinstellabschnitt 385 den Verzerrungskorrekturparameter nicht ein. Der Verzerrungskorrekturparameter, der durch den Anzeigeeinstellabschnitt 385 eingestellt wird, wird an den Verzerrungskorrekturabschnitt 382, den Bereicherzeugungsabschnitt 386, und den Koordinatenprojektionsabschnitt 389 geliefert.
Der Bereichanwendungsabschnitt 383 erfasst ein Bild, das der Verzerrungskorrekturverarbeitung unterzogen ist, von dem Verzerrungskorrekturabschnitt 382, fügt eine Bereichinformation, die durch den Bereicherzeugungsabschnitt 386 erzeugt wird, zu dem erfassten Bild hinzu, und gibt das resultierende Bild aus. Die hinzugefügt Bereichinformation wird als ein Verarbeitungsbereich für eine frei wählbare Bildverarbeitung verwendet. Wenn der Bereicherzeugungsabschnitt 386 die Bereichinformation nicht erzeugt, gibt der Bereichanwendungsabschnitt 383 direkt das Eingabebild aus.
Der Bildverarbeitungsabschnitt 384 erfasst, von dem Bereichanwendungsabschnitt 383, das Bild, dem die Bereichinformation hinzugefügt ist, und führt eine frei wählbare Bildverarbeitung für einen zu der Bereichinformation korrespondierenden Bereich aus. Die Bildverarbeitung kann auf einen inversen Bereich der Bereichinformation angewendet werden. In der vorliegenden Ausführungsform führt der Bildverarbeitungsabschnitt 384, als die Bildverarbeitung, eine Maskierungsverarbeitung des Ausschwärzens des Verarbeitungsbereichs zum Schutz der Privatsphäre durch. Der Verarbeitungsbereich korrespondiert somit zu dem Maskierungsbereich.
Der Positionsspezifizierungsabschnitt 387 überträgt eine Koordinateninformation auf dem Anzeigebild basierend auf einer Eingabeoperation, die durch den Eingabeabschnitt 282 durchgeführt wird. In der vorliegenden Ausführungsform korrespondiert die Positionsinformation zu einem Koordinatenwert eines Punktes des Bildes, das auf dem Bildanzeigeabschnitt 281 anzuzeigen ist.
Der Koordinatenprojektionsabschnitt 389 transformiert, basierend auf dem Verzerrungskorrekturparameter, der durch den Anzeigeeinstellabschnitt 385 eingestellt wird, die Koordinateninformation auf dem Anzeigebild, die von dem Positionsspezifizierungsabschnitt 387 eingegeben wird, in eine Koordinateninformation auf dem omnidirektionalen Bild.
Der Positionsspeicherabschnitt 388 speichert die Koordinateninformation (nachstehend als „Positionsinformation” bezeichnet) auf dem omnidirektionalen Bild, die von dem Koordinatenprojektionsabschnitt 389 eingegeben wird. In der vorliegenden Ausführungsform speichert der Positionsspeicherabschnitt 388 einen Punkt in einem orthogonalen Koordinatensystem auf dem omnidirektionalen Bild. Die Positionsinformation kann ein anderes Koordinatensystem nutzen, wie etwa ein polares Koordinatensystem, und kann in der Form einer Positionsinformationstabelle, die gemeinsam zwischen unterschiedlichen Anzeigeeinstellungen genutzt werden kann, gespeichert werden.
Der Bereicherzeugungsabschnitt 386 erzeugt, basierend auf der Positionsinformation, die in dem Positionsspeicherabschnitt 388 gespeichert ist, und dem Verzerrungskorrekturparameter, der durch den Anzeigeeinstellabschnitt 385 eingestellt wird, eine Bereichinformation, die eine vorgeschriebene Form, die an einer spezifizierten Position gelegen ist, repräsentiert. In der vorliegenden Ausführungsform transformiert der Bereicherzeugungsabschnitt 386 die Positionskoordinaten auf dem omnidirektionalen Bild, die in dem Positionsspeicherabschnitt 388 gespeichert sind, in ein Koordinatensystem auf dem Bild, das der Verzerrungskorrekturverarbeitung basierend auf dem Verzerrungskorrekturparameter unterzogen ist, und erzeugt, als die Bereichinformation, einen Kreis, der einen festen Radius aufweist und auf den erhaltenen Positionskoordinaten zentriert ist.
Im Folgenden wird ein Betrieb des Bildprozessors 380 beschrieben. Der Betrieb des Bildprozessors 380 beinhaltet zwei Operationen der Bildanzeige und der Bereicheinstellung. Zunächst wird die Bildanzeigeoperation beschrieben. 43 ist ein Ablaufdiagramm, das eine Verarbeitung in dem Bildanzeigegerät gemäß der achten Ausführungsform der vorliegenden Erfindung illustriert. Der Bilderfassungsabschnitt 381 gibt das omnidirektionale Bild, das von der Kamera 180 eingegeben wird, an den Verzerrungskorrekturabschnitt 382 aus (Schritt S341), und der Verzerrungskorrekturabschnitt 382 bestimmt, ob der Verzerrungskorrekturparameter, der von dem Anzeigeeinstellabschnitt 385 zu empfangen ist, vorhanden oder nicht vorhanden ist (Schritt S432).
Wenn der Verzerrungskorrekturparameter vorhanden ist, führt der Verzerrungskorrekturabschnitt 382 die Verzerrungskorrekturverarbeitung basierend auf dem Verzerrungskorrekturparameter durch (Schritt S433). Wenn der Verzerrungskorrekturparameter nicht vorhanden ist, wird die Verarbeitung des Schritts S433 übersprungen, und der Verarbeitungsablauf schreitet zu dem Schritt S434 vor.
Dann wird bestimmt, ob die Positionsinformation des Positionsspeicherabschnitts 388 vorhanden oder nicht vorhanden ist (Schritt S434). Die Positionsinformation des Positionsspeicherabschnitts 388 wird erzeugt, wenn die später zu beschreibende Bereicheinstelloperation durchgeführt wird. Wenn die Bereicheinstellung durchgeführt ist, das heißt, wenn die Positionsinformation vorhanden ist, gibt der Bereicherzeugungsabschnitt 386 die Bereichinformation, die zu der Positionsinformation korrespondiert, aus, und der Bereichanwendungsabschnitt 383 fügt die Bereichinformation zu dem Bild, das von dem Verzerrungskorrekturabschnitt 382 ausgegeben wird, hinzu (Schritt S435). Wenn die Bereicheinstellung nicht durchgeführt wird oder wenn die Einstellung zurückgesetzt wird, das heißt, wenn die Bereichinformation nicht vorhanden ist, wird die Hinzufügung der Bereichinformation nicht vollführt.
Hier werden Details der Erzeugung der Bereichinformation beschrieben. 44 ist ein Ablaufdiagramm, das eine Verarbeitung in dem Bereicherzeugungsabschnitt gemäß der vorliegenden Ausführungsform illustriert. Der Bereicherzeugungsabschnitt 386 erfasst die Positionsinformation von dem Positionsspeicherabschnitt (Schritt S441). In der vorliegenden Ausführungsform korrespondiert die Positionsinformation zu Koordinaten eines Punktes auf dem omnidirektionalen Bildes. Der Bereicherzeugungsabschnitt 386 bestimmt dann, ob der Verzerrungskorrekturparameter des Anzeigeeinstellabschnitts 385 vorhanden oder nicht vorhanden ist (Schritt S442).
Wenn die Verzerrungskorrekturverarbeitung vorhanden ist, transformiert der Bereicherzeugungsabschnitt 386 die Positionsinformation basierend auf dem Verzerrungskorrekturparameter, der von dem Anzeigeeinstellabschnitt 385 erfasst wird. In der vorliegenden Ausführungsform werden die Koordinaten auf dem omnidirektionalen Bild in Koordinaten auf dem Bild, das der Verzerrungskorrekturverarbeitung unterzogen ist, transformiert (Schritt S443). Wenn die Verzerrungskorrekturverarbeitung nicht vorhanden ist, schreitet der Verarbeitungsablauf zu dem Schritt S444 vor, wobei der Schritt S443 übersprungen wird. Nachfolgend erzeugt der Bereicherzeugungsabschnitt 386 die Bereichinformation, die eine vorbestimmte Form beschreibt, wobei eine letztlich erhaltene Positionsinformation als ein Basispunkt eingestellt ist (Schritt S444). In der vorliegenden Ausführungsform ist ein Kreis, der einen vorgeschriebenen Radius aufweist und auf den letztlich erhaltenen Positionskoordinaten nach der Verzerrungskorrekturverarbeitung zentriert ist, als die Bereichinformation gebildet. Die Positionsinformation, die letztlich erhalten wird, wenn der Verzerrungskorrekturparameter nicht vorhanden ist, bedeutet Koordinaten auf dem omnidirektionalen Bild (Positionsinformation, die in dem Positionsspeicherabschnitt 388 gehalten ist).
Zurückkehrend zu dem Ablaufdiagramm des Bildprozessors 380, wird das Bild, das von dem Bereichanwendungsabschnitt 383 ausgegeben wird, an dem Bildverarbeitungsabschnitt 384 eingegeben, und der Bildverarbeitungsabschnitt 384 wendet eine frei wählbare Bildverarbeitung auf den Verarbeitungsbereich, der durch die Bereichinformation, die zu dem Bild hinzugefügt ist, repräsentiert wird, an (Schritt S436). Das Bild, das der Bildverarbeitung unterzogen wird, wird dann an den Bildanzeigeabschnitt 281 ausgegeben und dem Nutzer angezeigt (Schritt S437).
Nachfolgend wird die Bereicheinstelloperation, die in dem Bildprozessor 380 durchzuführen ist, beschrieben. 45 ist ein Ablaufdiagramm, das eine Verarbeitung des Erzeugens der Positionsinformation der vorliegenden Ausführungsform illustriert. Der Positionsspezifizierungsabschnitt 387 gibt die Positionsinformation auf dem Bild, das auf dem Bildanzeigeabschnitt 281 angezeigt wird, gemäß einer Eingabeinformation des Nutzers von dem Eingabeabschnitt 282 aus (Schritt S451). Der Koordinatenprojektionsabschnitt 389 empfängt die Einstellinformation auf dem Anzeigeeinstellabschnitt 385 und bestimmt das Vorhandensein/Nichtvorhandensein des Verzerrungskorrekturparameters (Schritt S452).
Wenn der Verzerrungskorrekturparameter in der Einstellinformation vorhanden ist, transformiert der Koordinatenprojektionsabschnitt 389, basierend auf dem Verzerrungskorrekturparameter, die Positionsinformation in Koordinaten auf dem omnidirektionalen Bild vor der Verzerrungskorrekturverarbeitung (Schritt 453). Wenn in Schritt S452 bestimmt wird, dass der Verzerrungskorrekturparameter nicht vorhanden ist, ist die Positionsinformation unnötig, so dass der Schritt S453 übersprungen wird, und der Verarbeitungsablauf schreitet zu dem Schritt S454 vor. Schließlich werden die Koordinaten des omnidirektionalen Bildes als die Positionsinformation in dem Positionsspeicherabschnitt gehalten (Schritt S454).
46 ist eine Ansicht, die ein Beispiel der Bildverarbeitung in der vorliegenden Ausführungsform illustriert. Unter Bezugnahme auf die 46 wird ein Beispiel beschrieben, in dem die Bereichspezifizierung auf dem Bild vollführt wird, und das Bild, das der Bildverarbeitung unterzogen wird, angezeigt wird. Ein verzerrungskorrigiertes Bild 510 ist ein Bild, das eine Mehrzahl von Abschnitten auf dem omnidirektionalen Bild 520, die der Ausschneide-/Verzerrungskorrekturverarbeitung durch den Verzerrungskorrekturabschnitt 382 unterzogen werden, beinhaltet. Der Nutzer spezifiziert durch den Eingabeabschnitt 282 eine Position 511 für die Bereichspezifizierung auf dem verzerrungskorrigierten Bild 510.
Der Koordinatenprojektionsabschnitt 389 nutzt dann den Verzerrungskorrekturparameter zur Erzeugung des ausgeschnittenen/verzerrungskorrigierten Bildes 510 aus dem omnidirektionalen Bild 520, um die spezifizierte Position 511 in Koordinaten 521 auf dem omnidirektionalen Bild 520 zu transformieren. Nachfolgend speichert der Positionsspeicherabschnitt 388 die Koordinaten 521, die nach der Transformation erhalten werden.
Nachfolgend sei angenommen, dass der Nutzer die panoramische Entwicklung als den Verzerrungskorrekturparameter auswählt. Der Anzeigeeinstellabschnitt 15 schaltet dann den Verzerrungskorrekturparameter von der Ausschneide-/Verzerrungskorrektur auf panoramische Entwicklung um. Der Verzerrungskorrekturabschnitt 382 führt die panoramische Entwicklung durch, um ein Panoramaentwicklungsbild 530 zu erzeugen. Der Bereicherzeugungsabschnitt 386 nutzt die Koordinaten 521, die von dem Positionsspeicherabschnitt 388 ausgelesen werden, und den Verzerrungskorrekturparameter, um Koordinaten 531 auf dem panoramischen Entwicklungsbild zu berechnen. Nachfolgend erzeugt der Bereicherzeugungsabschnitt 386, als einen Bereich 352, einen Kreis, der eine vorgeschriebene Form aufweist, so dass ein Punkt, der durch die Koordinaten 531 repräsentiert wird, an einem Zentrum des Kreises positioniert ist.
Nachfolgend wendet der Bereichanwendungsabschnitt 383 den erzeugten Bereich 532 auf das panoramische Entwicklungsbild 530 an. Weiter führt der Bildverarbeitungsabschnitt 384 eine Verarbeitung zum Schutz der Privatsphäre für den Bereich 532 durch. Schließlich zeigt der Bildanzeigeabschnitt 281 das Bild, das der Verarbeitung zum Schutz der Privatsphäre unterzogen wurde, an. Beim Spezifizieren der Position 511 kann ein Kreis, der eine vorgeschriebene Form aufweist, auf den Koordinaten 511 zentriert angezeigt werden.
Wie oben beschrieben, ermöglicht, gemäß dem Bildprozessor 380 der vorliegenden Ausführungsform, eine Spezifizierung von lediglich einem Punkt auf dem verzerrungskorrigierten Bild durch den Nutzer ein Erreichen einer Bildverarbeitung für einen frei wählbaren Bereich auf dem Bild. Weiter nimmt, zu der Zeit der Bildverarbeitung, der Bereich, der der Bildverarbeitung zu unterziehen ist, immer dieselbe Form an, unabhängig von dem Vorhandensein/Nichtvorhandensein der Verzerrungskorrekturverarbeitung oder dem Parametertyp, wodurch eine nutzerfreundliche Bildanzeige erreicht wird.
Die achte Ausführungsform der vorliegenden Erfindung wurde somit beschrieben. Verschiedene Abwandlungen können im Rahmen der vorliegenden Erfindung an der achten Ausführungsform vollführt werden. Zum Beispiel können andere Formen als der Kreis als der Bereich genutzt werden. 47A und 47B sind Ansichten, die jeweils ein Beispiel der Bereichinformation gemäß der achten Ausführungsform der vorliegenden Ausführungsform illustrieren. 47A illustriert einen Fall, in dem ein Kreis, ein Quadrat, ein reguläres Dreieck, und ein reguläres Hexagon als die Form des Bereichs genutzt werden. 47B illustriert einen Fall, in dem eine Ellipse, eine längliche Form, und ein Rhombus als die Form des Bereichs genutzt werden.
Wenn eine andere Form als der Kreis als der Bereich genutzt wird, ist es notwendig, eine Richtung der Form zu bestimmen. Als ein Verfahren zum Bestimmen der Richtung kann ein Verfahren in Betracht gezogen werden, bei dem der Nutzer auch die Richtung der Form, zusätzlich zu ihrer Position, beim Durchführen der Positionsspezifizierung spezifiziert. 48 ist eine Ansicht, die ein Beispiel des Spezifizierens der Richtung der Form in der achten Ausführungsform der vorliegenden Erfindung illustriert. Ein Bezugszeichen 710 ist ein angezeigtes Bild, das der Verzerrungskorrekturverarbeitung durch den Verzerrungskorrekturabschnitt 382 unterzogen wird, und der Nutzer spezifiziert eine Position 711 und eine Richtung 712 als die Bereichspezifizierung. Bevorzugt berührt der Nutzer die Position 711 auf einem Berührungsfeld mit seinem oder ihrem Finger und gleitet mit dem Finger entlang der Richtung 712. Bei der in der 47A illustrierten Ellipse kann der Nutzer aufgefordert werden, ein Seitenverhältnis der Ellipse zu bestimmen. Weiter kann die Größe der Form durch Einstellen eines Loslasspunktes des gleitenden Fingers eingestellt werden.
Alternativ kann, als ein Verfahren zum Bestimmen der Richtung, ein Verfahren in Betracht gezogen werden, das eine bestimmte Richtung auf dem Bild als eine Standardrichtung einstellt und den Bereich gemäß der Standardrichtung einstellt. Insbesondere kann die Richtung der Form so eingestellt sein, dass ein Pfeil in der 47A mit einer vertikalen Richtung des Bildes zusammenfällt.
Weiter werden, in der obigen Ausführungsform, die Koordinaten auf dem omnidirektionalen Bild als die Positionsinformation genutzt. Es kann jedoch eine beliebige Information genutzt werden, solange diese mit einem Punkt auf dem omnidirektionalen Bild assoziiert werden kann. Zum Beispiel können, wenn die Verzerrungskorrekturverarbeitung vorhanden ist, sowohl der Verzerrungskorrekturparameter als auch die Koordinaten auf dem verzerrungskorrigierten Bild als die Positionsinformation eingestellt werden. In diesem Fall ist es möglich, die Koordinaten auf dem verzerrungskorrigierten Bild mit den Koordinaten auf dem omnidirektionalen Bild durch Nutzung des Verzerrungskorrekturparameters zu assoziieren. Weiter können Koordinaten in einem absoluten Raum zur Nutzung als die Positionsinformation durch eine Transformation erhalten werden.
Weiter kann die Größe der Form gemäß einer Zoomvergrößerung des Verzerrungskorrekturparameters variiert werden. Wenn die Zoomvergrößerung groß ist (wenn ein Objekt in dem Bild für die Anzeige vergrößert wird), wird die Größe der Form klein eingestellt, während, wenn die Zoomvergrößerung klein ist, die Größe der Form groß eingestellt wird. Somit ist es, selbst wenn die Zoomvergrößerung verändert wird, möglich, eine Bildverarbeitung für dasselbe Ziel auf dem Bild durchzuführen.
Weiter nimmt, in der obigen Ausführungsform, der omnidirektionale Bildgebungsabschnitt 181 das omnidirektionale Bild unter Nutzung eines Fischaugenobjektives auf, und der Bildprozessor 380 erfasst dieses omnidirektionale Bild. Das Bild, das aufzunehmen ist, ist jedoch nicht auf das omnidirektionale Bild beschränkt, solange es ein Bild ist, welches Verzerrung aufweist, die korrigiert werden kann.
Die ersten bis achten Ausführungsformen wurden als bevorzugte Ausführungsformen der vorliegenden Erfindung beschrieben. Es kann verstanden werden, dass verschiedene Abwandlungen an den obigen einzelnen Ausführungsformen vollführt werden können und das alle solche Abwandlungen im Rahmen des Geistes und des Umfangs der vorliegenden Erfindung in den beigefügten Ansprüchen beinhaltet sind.
Weiter kann eine gegebene Ausführungsform und Abwandlung der gegebenen Ausführungsform oder andere Möglichkeiten zusätzlich oder alternativ auf andere Ausführungsformen angewendet werden, wo immer dies praktikabel ist.
Gewerbliche Anwendbarkeit
Wie oben beschrieben, hat die vorliegende Erfindung einen Effekt des Verbesserns des Aussehens des maskierten Bereichs, der in dem verzerrungskorrigierten Bild, das als ein Ergebnis der Verzerrungskorrekturverarbeitung für das Bild, welches Verzerrung aufweist, erhalten wird, beinhaltet ist, und ist nützlich als ein Bildprozessor oder dergleichen zum Durchführen der Verzerrungskorrekturverarbeitung für das Bild, welches Verzerrung aufweist, und zum Anwenden der Maskierungsverarbeitung auf einen Teilbereich des Bildes, welches Verzerrung aufweist.
Bezugszeichenliste

100: Kamera
11: Gehäuse
12: Kuppelabdeckung
13: Basis
14: Optische Einheit
15: Hauptplatine
16: Fischaugenobjektiv
17: öffenbare/verschließbare Abdeckung
18: Montagebügel
19: Objektivhalter
20: Packmaterial
21: Sensorplatine
22: Durchgangsbohrung
23: Befestigungsschraube
24: MOS-Halter
25: MOS-Bügel
26: Befestigungsschraube
28: Abstandsblock
29: Anschlussansatz
27: Spiralfeder
101 bis 103: Aufnahmesystem
110, 120, 130: Kamera
111: Omnidirektionaler Bildgebungsabschnitt
112: Maskierungsdaten-Halteabschnitt
113: Maskierungsausführungsabschnitt
114: Ausschneideparameter-Einstellabschnitt
115: Ausschneide-/Verzerrungskorrekturabschnitt
126: Maskierungsbereich-Formungsabschnitt
1261: Korrigierter-Maskierungsbereich-Erzeugungsabschnitt
1262: Korrigierter-Maskierungsbereich-Formungsabschnitt
1263: Inverse-Transformation-/Korrekturabschnitt
137: Maskierungsbereich-Verzerrungskorrekturabschnitt
138: Maskierungsbereich-Formungsabschnitt
210, 220, 230: Bildbetrachtungsgerät
211: Maskierungsbereich-Detektionsabschnitt
212: Maskierungsbereich-Formungsabschnitt
213: Ausgabeabschnitt
104 bis 106: Aufnahmesystem
140, 150, 160: Kamera
141, 151, 161: Omnidirektionaler Bildgebungsabschnitt
142, 152, 162: Maskierungsbereich-Empfangsabschnitt
143, 153, 163: Maskierungsrahmen-Erzeugungsabschnitt
144, 154, 164: Maskierungsrahmen-Überlagerungsabschnitt
145, 154: Maskierungsausführungsabschnitt
146, 155, 167: Ausschneide-/Verzerrungskorrekturabschnitt
147, 156, 168: Syntheseabschnitt
155: Ausschneide-/Verzerrungskorrekturabschnitt
165: Maskierungsbereich-Verzerrungskorrekturabschnitt
166: Ausschnitt-Maskierungsausführungsabschnitt
240, 250, 260: Bildbetrachtungsgerät
241, 251, 261: Eingabeabschnitt
242, 252, 262: Maskierungsbereich-Bestimmungsabschnitt
243, 255, 263: Anzeigeumschaltabschnitt
244, 256, 264: Anzeigeabschnitt
107: Aufnahmesystem
170: Kamera
171: Omnidirektionaler Bildgebungsabschnitt
270: Eingabeabschnitt
370: Bildprozessor
371: Anzeigeumschaltabschnitt
372: Bereichverarbeitungsabschnitt
373: Bereichspeicherabschnitt
374: Bereichüberlagerungsabschnitt
375: Festsetzungsbestimmungsabschnitt
376: Verzerrungskorrekturabschnitt
377: Bildausgabeabschnitt
378: Bereichberechnungsabschnitt
379: Bereichspezifizierungsabschnitt
108: Aufnahmesystem
180: Kamera
181: Omnidirektionaler Bildgebungsabschnitt
280: Bildbetrachtungsgerät
281: Bildanzeigeabschnitt
282: Eingabeabschnitt
380: Bildprozessor
381: Bilderfassungsabschnitt
382: Verzerrungskorrekturabschnitt
383: Bereichanwendungsabschnitt
384: Bildverarbeitungsabschnitt
385: Anzeigeeinstellabschnitt
386: Bereicherzeugungsabschnitt
387: Positionsspezifizierungsabschnitt
388: Positionsspeicherabschnitt
389: Koordinatenprojektionsabschnitt

Claims

Bildverarbeitungsvorrichtung, umfassend: einen Maskierungsbereich-Halteabschnitt, der einen Maskierungsbereich, der für ein Bild, welches Verzerrung aufweist, eingestellt ist, hält; einen Maskierungsverarbeitungsabschnitt, der eine Maskierungsverarbeitung für das Bild, welches Verzerrung aufweist, unter Nutzung des Maskierungsbereichs des Maskierungsbereich-Halteabschnitts durchführt; einen Verzerrungskorrekturabschnitt, der das Bild, welches Verzerrung aufweist, das der Maskierungsverarbeitung unterzogen wird, unter Nutzung eines Korrekturparameters zum Korrigieren von Verzerrung des Bildes, welches Verzerrung aufweist, korrigiert; und einen Maskierungsbereich-Formungsabschnitt, der den Maskierungsbereich des korrigierten Bildes in eine vorbestimmte Form formt.
Bildverarbeitungsvorrichtung nach Anspruch 1, des Weiteren umfassend einen Maskierungsbereich-Detektionsabschnitt, der den Maskierungsbereich des Bildes, das durch den Verzerrungskorrekturabschnitt korrigiert wurde, detektiert, wobei der Maskierungsbereich-Formungsabschnitt kann den Maskierungsbereich, der durch den Maskierungsbereich-Detektionsabschnitt detektiert wird, in eine vorbestimmte Form formt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei der Maskierungsbereich-Formungsabschnitt den Maskierungsbereich in ein Rechteck formt, das von Linien, die senkrecht und parallel zu dem Bild sind, umgeben ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei der Maskierungsbereich-Formungsabschnitt den Maskierungsbereich so formt, dass eine Linie, die durch die Verzerrungskorrekturverarbeitung durch den Verzerrungskorrekturabschnitt in eine Kurve transformiert wird, in eine gerade Linie transformiert wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei das Bild, welches Verzerrung aufweist, ein Bild ist, das aus einem omnidirektionalen Bild ausgeschnitten ist, und der Maskierungsbereich-Formungsabschnitt den Maskierungsbereich gemäß einer Richtung, in der das Bild, welches Verzerrung aufweist, aus dem omnidirektionalen Bild ausgeschnitten ist, formt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei beim Durchführen der Korrekturverarbeitung, der Verzerrungskorrekturabschnitt für jedes Quadrat, das aus einer Mehrzahl von Pixeln gebildet ist, Quellkoordinaten linear interpoliert, um Pixel korrespondierender Koordinaten aufzufüllen, und der Maskierungsbereich-Formungsabschnitt das Quadrat, das den korrigierten Maskierungsbereich beinhaltet, als einen Maskierungsbereich nach dem Formen einstellt.
Bildverarbeitungsvorrichtung nach Anspruch 6, wobei der Maskierungsbereich-Formungsabschnitt eine Mehrzahl von Quadraten, die die Quadrate, die den korrigierten Maskierungsbereich beinhalten, beinhalten und die als Ganzes in eine rechteckige Form geformt sind, als einen Maskierungsbereich nach dem Formen einstellt.
Bildverarbeitungsvorrichtung nach Anspruch 1, des Weiteren umfassend einen Bildgebungsabschnitt, der das Bild, welches Verzerrung aufweist, eingibt.
Bildverarbeitungsvorrichtung nach Anspruch 8, wobei der Bildgebungsabschnitt ein Fischaugenobjektiv beinhaltet.
Bildverarbeitungsvorrichtung nach Anspruch 1, des Weiteren umfassend: einen Spezifizierungsabschnitt, den ein Nutzer nutzt, um, auf dem Bild, welches Verzerrung aufweist, einen Maskierungsbereich, der in dem Maskierungsbereich-Halteabschnitt zu halten ist, zu spezifizieren; und einen Maskierungsbereich-Korrekturabschnitt, der, durch den Korrekturparameter, den Maskierungsbereich, der durch den Spezifizierungsabschnitt spezifiziert wird, korrigiert, wobei der korrigierte Maskierungsbereich simultan angezeigt wird, wenn der Nutzer den Maskierungsbereich spezifiziert.
Bildverarbeitungsvorrichtung nach Anspruch 1, des Weiteren umfassend: einen Spezifizierungsabschnitt, den ein Nutzer nutzt, um, auf dem Bild, welches Verzerrung aufweist, einen Maskierungsbereich, der in dem Maskierungsbereich-Halteabschnitt zu halten ist, zu spezifizieren; und einen Maskierungsbereich-Korrekturabschnitt, der, durch den Korrekturparameter, den Maskierungsbereich, der durch den Spezifizierungsabschnitt spezifiziert wird, korrigiert, wobei der korrigierte Maskierungsbereich in einer überlagerten Weise auf dem Bild, welches Verzerrung aufweist, angezeigt wird, wenn der Nutzer den Maskierungsbereich spezifiziert.
Bildverarbeitungsvorrichtung, umfassend: einen Maskierungsbereich-Halteabschnitt, der einen Maskierungsbereich, der für ein Bild, welches Verzerrung aufweist, eingestellt ist, hält; einen Maskierungsbereich-Korrekturabschnitt, der den Maskierungsbereich des Maskierungsbereich-Halteabschnitts unter Nutzung eines Korrekturparameters zum Korrigieren des Bildes, welches Verzerrung aufweist, korrigiert; einen Maskierungsbereich-Formungsabschnitt, der den Maskierungsbereich, der durch den Maskierungsbereich-Korrekturabschnitt korrigiert wird, in eine vorbestimmte Form formt; einen Inverse-Transformation-/Korrekturabschnitt, der eine inverse Transformation unter Nutzung des Korrekturparameters für den Maskierungsbereich, der durch den Maskierungsbereich-Formungsabschnitt geformt ist, durchführt; einen Maskierungsverarbeitungsabschnitt, der eine Maskierungsverarbeitung für das Bild, welches Verzerrung aufweist, unter Nutzung des Maskierungsbereichs, der der inversen Transformation durch den Inverse-Transformation-/Korrekturabschnitt unterzogen wurde, durchführt; und einen Verzerrungskorrekturabschnitt, der das Bild, welches Verzerrung aufweist, das der Maskierungsverarbeitung unterzogen wurde, unter Nutzung des Korrekturparameters korrigiert.
Bildverarbeitungsvorrichtung, umfassend: einen Maskierungsbereich-Halteabschnitt, der einen Maskierungsbereich, der für ein Bild, welches Verzerrung aufweist, eingestellt ist, hält; einen Verzerrungskorrekturabschnitt, der das Bild, welches Verzerrung aufweist, unter Nutzung eines Korrekturparameters zum Korrigieren von Verzerrung des Bildes, welches Verzerrung aufweist, korrigiert; einen Maskierungsbereich-Korrekturabschnitt, der den Maskierungsbereich des Maskierungsbereich-Halteabschnitts unter Nutzung eines Korrekturparameters zum Korrigieren des Bildes, welches Verzerrung aufweist, korrigiert; einen Maskierungsbereich-Formungsabschnitt, der den Maskierungsbereich, der durch den Maskierungsbereich-Korrekturabschnitt korrigiert wird, in eine vorbestimmte Form formt; und einen Maskierungsverarbeitungsabschnitt, der eine Maskierungsverarbeitung für den Maskierungsbereich auf dem Bild, das durch den Verzerrungskorrekturabschnitt korrigiert wurde, der durch den Maskierungsbereich-Formungsabschnitt geformt wurde, durchführt.
Bildverarbeitungsverfahren, umfassend die Schritte: Erfassen eines Bildes, welches Verzerrung aufweist; Halten eines Maskierungsbereichs, der für das Bild, welches Verzerrung aufweist, eingestellt ist; Durchführen einer Maskierungsverarbeitung für das Bild, welches Verzerrung aufweist, unter Nutzung des Maskierungsbereichs; Korrigieren des Bildes, welches Verzerrung aufweist, das der Maskierungsverarbeitung unterzogen wird, unter Nutzung eines Korrekturparameters zum Korrigieren von Verzerrung des Bildes, welches Verzerrung aufweist; und Formen des Maskierungsbereichs des korrigierten Bildes in eine vorbestimmte Form.