CN111033476A - 存储器访问装置、图像处理装置和摄像装置 - Google Patents

存储器访问装置、图像处理装置和摄像装置 Download PDF

Info

Publication number
CN111033476A
CN111033476A CN201780093760.3A CN201780093760A CN111033476A CN 111033476 A CN111033476 A CN 111033476A CN 201780093760 A CN201780093760 A CN 201780093760A CN 111033476 A CN111033476 A CN 111033476A
Authority
CN
China
Prior art keywords
image processing
data processing
processing
image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780093760.3A
Other languages
English (en)
Other versions
CN111033476B (zh
Inventor
本间伸祐
千田和江
上野晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN111033476A publication Critical patent/CN111033476A/zh
Application granted granted Critical
Publication of CN111033476B publication Critical patent/CN111033476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/36—Handling requests for interconnection or transfer for access to common bus or bus system
    • G06F13/368—Handling requests for interconnection or transfer for access to common bus or bus system with decentralised access control
    • G06F13/374—Handling requests for interconnection or transfer for access to common bus or bus system with decentralised access control using a self-select method with individual priority code comparator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1605—Handling requests for interconnection or transfer for access to memory bus based on arbitration
    • G06F13/161—Handling requests for interconnection or transfer for access to memory bus based on arbitration with latency improvement
    • G06F13/1626—Handling requests for interconnection or transfer for access to memory bus based on arbitration with latency improvement by reordering requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • G06F13/30—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal with priority control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4812—Task transfer initiation or dispatching by interrupt, e.g. masked
    • G06F9/4831—Task transfer initiation or dispatching by interrupt, e.g. masked with variable priority
    • G06F9/4837—Task transfer initiation or dispatching by interrupt, e.g. masked with variable priority time dependent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G06F9/4887—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues involving deadlines, e.g. rate based, periodic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Bus Control (AREA)
  • Studio Devices (AREA)

Abstract

存储器访问装置具有：数据处理部，其输出请求访问与数据总线连接的存储器的访问请求，并对所访问的存储器的数据进行数据处理，并且通知数据处理的进展状况；优先级切换控制部，其根据从数据处理部通知的数据处理的进展状况，判定数据处理部进行的数据处理的紧急度，并输出通知切换数据处理部的优先级的优先级切换信号；以及总线仲裁器，其与数据总线连接，在对针对存储器的访问请求进行仲裁时，根据优先级切换信号变更从数据处理部输出的访问请求的优先级来进行仲裁，并根据通过仲裁而受理的访问请求来控制对存储器的访问。

Description

存储器访问装置、图像处理装置和摄像装置
技术领域
本发明涉及存储器访问装置、图像处理装置和摄像装置。
背景技术
在静态图像用照相机、动态图像用照相机、医疗用内窥镜照相机或工业用内窥镜照相机等摄像装置中，通过所搭载的系统LSI等图像处理装置进行各种图像处理。在图像处理装置中内置有用于进行摄像装置中的各种图像处理的多个处理块，各个处理块与设置于图像处理装置的内部的数据总线连接。此外，在图像处理装置中，与数据总线连接的各个处理块作为总线主控器而共享与图像处理装置的外部连接的一个DRAM(Dynamic RandomAccess Memory：动态随机存取存储器)。而且，在图像处理装置中，各个处理块(总线主控器)通过经由数据总线的DMA(Direct Memory Access：直接存储器存取)传输来访问DRAM，经由DRAM交换用于进行图像处理的各种数据交换。
此外，在通过多个处理块(总线主控器)共享一个DRAM的结构的图像处理装置中，具有对从各个总线主控器输出的DMA传输的访问请求进行仲裁的仲裁电路(所谓的DMA仲裁电路)。仲裁电路适当地对从各个总线主控器输出的对DRAM的访问请求(所谓的DMA请求)进行仲裁，并且控制对DRAM的实际的访问。仲裁电路基本上根据表示各个总线主控器的优先顺位的优先级，决定对DRAM的访问请求被受理(许可)的总线主控器。由此，在图像处理装置中，确保各个总线主控器在与DRAM之间进行数据交换时的数据总线中的数据流即总线频带，实现搭载有图像处理装置的摄像装置的作为系统整体的功能。
此外，近年来，摄像装置中的高性能化正在发展。因此，在搭载于摄像装置的图像处理装置中，所具有的处理块(总线主控器)也增加，各个处理块中执行的处理也复杂起来。例如，在近年来的图像处理装置中，伴随着用于显示所拍摄的图像的显示装置的高精细化，能够显示具有与HDTV(High Definition TeleVision：高清晰度电视)对应的全HD尺寸(1920×1080)的分辨率的图像、具有与UHDTV(Ultra High Definition TeleVision：超高清电视)对应的4K尺寸(3840×2160)的分辨率的图像。因此，在图像处理装置中，经由数据总线进行交换的数据量也增加，各个处理块(总线主控器)经由数据总线访问DRAM所需要的总线频带(每单位时间的数据访问量)剧增。
而且，在对DRAM的访问量较多且数据总线拥挤的状态、即总线频带高的状态时，当仲裁电路根据优先级进行仲裁时，能够进行仲裁以可靠地受理(许可)来自优先级高的处理块(总线主控器)的访问请求，但是，认为来自优先级低的处理块(总线主控器)的访问请求受理(许可)的比例较少。即，优先级低的处理块(总线主控器)对DRAM的访问请求未被受理(许可)，由此，无法在与DRAM之间进行必要数据的交换，认为无法在预先规定的处理时间内结束处理。但是，即使是优先级低的处理块(总线主控器)，当未在预定的处理时间内结束处理时，成为搭载有图像处理装置的摄像装置的作为系统的动作和功能失败的因素。
因此，例如公开了专利文献1的总线仲裁系统的技术。在专利文献1中提出了如下的总线仲裁系统：在来自进行实时处理的必要性高的总线主控器的总线请求与来自其他总线主控器的总线请求发生竞争的情况下，在判断为需要进行实时处理的总线主控器中的访问得等待的情况下，针对需要进行实时处理的总线主控器优先赋予共享总线使用权。此时，在专利文献1所公开的总线仲裁系统中，在实际对任意一个总线主控器赋予共享总线使用权之前，根据各个总线主控器中的可待机的最长时间和各个总线主控器中的共享总线的占有预定时间，验证假设对一个候选的总线主控器赋予共享总线使用权的情况下对其他总线主控器的影响后，决定实际赋予共享总线使用权的总线主控器。由此，在专利文献1所公开的总线仲裁系统中，能够进行总线仲裁，以使得需要进行实时处理的总线主控器的处理不会延迟，即，不会超过总线主控器中的待机时间。
现有技术文献
专利文献
专利文献1：日本特开2000-148668号公报
发明内容
发明要解决的课题
如上所述，在专利文献1所公开的技术中，在来自多个总线主控器的总线请求发生竞争的情况下，在实际对任意总线主控器赋予共享总线使用权之前，判断实际对哪个总线主控器赋予共享总线使用权。但是，各个处理块(总线主控器)根据自身进行的处理的状态而输出访问请求。因此，来自各个处理块(总线主控器)的访问请求不一定同时输出。此外，各个处理块(总线主控器)输出访问请求的周期也不一定始终是相同周期。而且，在专利文献1所公开的技术中，没有考虑从总线主控器输出总线请求的时刻。因此，在专利文献1所公开的技术中，关于同时输出的来自多个总线主控器的总线请求，能够进行总线仲裁，但是，无法将赋予共享总线使用权后输出的总线请求包含在内地进行总线仲裁。因此，在专利文献1所公开的技术中，不一定能够以不超过总线主控器中的待机时间的方式进行总线仲裁，作为系统的动作和功能可能失败。
本发明是根据上述课题认知而完成的，其目的在于，提供如下的存储器访问装置、图像处理装置和摄像装置：在多个处理块共享DRAM的情况下，即使是优先级低的处理块，也在预先规定的处理时间内结束处理，能够削减系统失败的因素。
用于解决课题的手段
根据本发明的第1方式，存储器访问装置具有：数据处理部，其输出请求访问与数据总线连接的存储器的访问请求，并对所访问的所述存储器的数据进行数据处理，并且通知所述数据处理的进展状况；优先级切换控制部，其根据从所述数据处理部通知的所述数据处理的进展状况，判定所述数据处理部进行的所述数据处理的紧急度，并输出通知切换所述数据处理部的优先级的优先级切换信号；以及总线仲裁器，其与所述数据总线连接，在对针对所述存储器的访问请求进行仲裁时，根据所述优先级切换信号变更从所述数据处理部输出的所述访问请求的优先级来进行仲裁，并根据通过所述仲裁而受理的访问请求来控制对所述存储器的访问。
根据本发明的第2方式，在上述第1方式的存储器访问装置中，也可以是，所述优先级切换控制部根据从所述数据处理部通知的所述数据处理的进展状况，计算所述数据处理部进行的所述数据处理中的剩余处理时间，根据所述剩余处理时间、作为所述数据处理部需要完成所述数据处理的时间而规定的极限时间、以及所述数据处理部开始进行所述数据处理后到当前为止的处理时间，计算所述数据处理部进行所述数据处理时的处理富余时间，根据所述处理富余时间和预定的紧急度阈值时间，判定所述数据处理部进行的所述数据处理的紧急度。
根据本发明的第3方式，在上述第2方式的存储器访问装置中，也可以是，所述优先级切换控制部在所述处理富余时间比预定的紧急度阈值时间短的情况下，判定为所述数据处理部进行的所述数据处理的紧急度高，输出通知提高所述数据处理部的优先级的所述优先级切换信号，在所述处理富余时间不比所述紧急度阈值时间短的情况下，判定为所述数据处理部进行的所述数据处理的紧急度低，输出通知将所述数据处理部的优先级依然设为低的所述优先级切换信号，所述总线仲裁器在对针对所述存储器的访问请求进行仲裁时，提高从通过所述优先级切换信号被通知提高优先级的所述数据处理部输出的所述访问请求的优先级，来进行仲裁。
根据本发明的第4方式，在上述第3方式的存储器访问装置中，也可以是，所述数据处理部通知表示所述数据处理完成的比例的处理完成比例，作为所述数据处理的进展状况，所述优先级切换控制部根据所述数据处理部中的所述数据处理的速度和处理量、以及被通知的所述处理完成比例，计算所述剩余处理时间。
根据本发明的第5方式，在上述第3方式的存储器访问装置中，也可以是，所述数据处理部在分成多次来进行所述数据处理的情况下，通知表示所述数据处理完成的次数的处理完成数，作为所述数据处理的进展状况，所述优先级切换控制部根据剩余处理次数、分开进行的一次所述数据处理中的处理量、以及所述数据处理部中的所述数据处理的速度，计算所述剩余处理时间，所述剩余处理次数是基于所述数据处理部分开进行的所述数据处理的次数和被通知的所述处理完成数求出的。
根据本发明的第6方式，在上述第3方式的存储器访问装置中，也可以是，所述数据处理部在分成处理量不同的多次来进行所述数据处理的情况下，通知表示到当前为止所述数据处理结束的处理量的处理完成量，作为所述数据处理的进展状况，所述优先级切换控制部根据剩余处理量、以及所述数据处理部中的所述数据处理的速度，计算所述剩余处理时间，所述剩余处理量是基于所述数据处理部进行的所述数据处理中的整体的处理量和被通知的处理完成量求出的。
根据本发明的第7方式，在上述第2方式～上述第6方式中的任意一个方式的存储器访问装置中，也可以是，所述优先级切换控制部对所述剩余处理时间和所述极限时间中的任意一方或双方乘以由针对时间的比例表示的预定的时间系数后，计算所述处理富余时间。
根据本发明的第8方式，在上述第3方式的存储器访问装置中，也可以是，所述存储器访问装置具有多个所述数据处理部，该多个所述数据处理部按照预定的顺序依次进行一连串处理中对应的所述数据处理，各个所述数据处理部在先开始的所述一连串处理中包含的对应的所述数据处理结束后，开始进行下一个所述一连串处理中包含的对应的所述数据处理，由此，多个所述数据处理部并列地进行不同的所述一连串处理中包含的对应的所述数据处理，所述优先级切换控制部根据从各个所述数据处理部通知的所述数据处理的进展状况，以所述一连串处理为单位判定各个所述数据处理部进行的所述数据处理的紧急度，在判定为多个所述数据处理部中的所述数据处理的紧急度高的情况下，输出通知提高如下的所述数据处理部的优先级的所述优先级切换信号，该数据处理部进行先开始的所述一连串处理中包含的对应的所述数据处理。
根据本发明的第9方式，在上述第3方式的存储器访问装置中，也可以是，所述存储器访问装置具有多个所述数据处理部，该多个所述数据处理部按照预定的顺序依次进行一连串处理中对应的所述数据处理，各个所述数据处理部在先开始的所述一连串处理中包含的对应的所述数据处理结束后，开始进行下一个所述一连串处理中包含的对应的所述数据处理，由此，多个所述数据处理部并列地进行不同的所述一连串处理中包含的对应的所述数据处理，所述优先级切换控制部根据每个所述数据处理部的所述剩余处理时间、各个所述一连串处理中按照每个所述数据处理部设定的所述极限时间、以及每个所述数据处理部的所述处理时间，按照每个所述数据处理部计算所述处理富余时间，所述剩余处理时间是基于从各个所述数据处理部通知的所述数据处理的进展状况计算出的，根据每个所述数据处理部的所述处理富余时间和所述紧急度阈值时间，按照每个所述数据处理部判定所述数据处理的紧急度，输出通知提高优先级的所述优先级切换信号，以使得进行各个一连串处理中最后对应的所述数据处理的所述数据处理部进行的所述数据处理的完成不超过所设定的所述极限时间。
根据本发明的第10方式，图像处理装置具有存储器访问装置，该存储器访问装置具有：数据处理部，其输出请求访问与数据总线连接的存储器的访问请求，并对所访问的所述存储器的数据进行数据处理，并且通知所述数据处理的进展状况；优先级切换控制部，其根据从所述数据处理部通知的所述数据处理的进展状况，判定所述数据处理部进行的所述数据处理的紧急度，并输出通知切换所述数据处理部的优先级的优先级切换信号；以及总线仲裁器，其与所述数据总线连接，在对针对所述存储器的访问请求进行仲裁时，根据所述优先级切换信号变更从所述数据处理部输出的所述访问请求的优先级来进行仲裁，并根据通过所述仲裁而受理的访问请求来控制对所述存储器的访问。
根据本发明的第11方式，摄像装置具有图像处理装置，该图像处理装置具有存储器访问装置，该存储器访问装置具有：数据处理部，其输出请求访问与数据总线连接的存储器的访问请求，并对所访问的所述存储器的数据进行数据处理，并且通知所述数据处理的进展状况；优先级切换控制部，其根据从所述数据处理部通知的所述数据处理的进展状况，判定所述数据处理部进行的所述数据处理的紧急度，并输出通知切换所述数据处理部的优先级的优先级切换信号；以及总线仲裁器，其与所述数据总线连接，在对针对所述存储器的访问请求进行仲裁时，根据所述优先级切换信号变更从所述数据处理部输出的所述访问请求的优先级来进行仲裁，并根据通过所述仲裁而受理的访问请求来控制对所述存储器的访问。
发明效果
根据上述各方式，得到如下效果，能够提供如下的存储器访问装置、图像处理装置和摄像装置：在多个处理块共享DRAM的情况下，即使是优先级低的处理块，也在预先规定的处理时间内结束处理，能够削减系统失败的因素。
附图说明
图1是示出搭载有图像处理装置的摄像装置的概略结构的框图，该图像处理装置具有本发明的第1实施方式中的存储器访问装置。
图2是示出本发明的第1实施方式的存储器访问装置中判定图像处理的紧急度的处理的处理步骤的流程图。
图3是示意地示出本发明的第1实施方式的存储器访问装置中的界限时间和图像处理的期间的关系的一例的图。
图4是示意地示出本发明的第1实施方式的存储器访问装置中的界限时间和图像处理的期间的关系的另一例的图。
图5是示出搭载有图像处理装置的摄像装置的概略结构的框图，该图像处理装置具有本发明的第2实施方式中的存储器访问装置。
图6是示意地示出具有本发明的第2实施方式中的存储器访问装置的图像处理装置中对进行图像处理的图像区域进行分割的一例的图。
图7是示意地示出本发明的第2实施方式的存储器访问装置中的界限时间和图像处理的期间的关系的一例的图。
图8是示意地示出本发明的第2实施方式的存储器访问装置中设定界限时间的步骤的一例的图。
图9是示意地示出本发明的第2实施方式的存储器访问装置中设定界限时间的步骤的一例的图。
具体实施方式
(第1实施方式)
下面，参照附图对本发明的实施方式进行说明。另外，在以下的说明中，对例如静态图像用照相机或动态图像用照相机等摄像装置中搭载的图像处理装置中具备本发明的第1实施方式的存储器访问装置的情况进行说明。
图1是示出搭载有图像处理装置的摄像装置的概略结构的框图，该图像处理装置具有本发明的第1实施方式中的存储器访问装置。图1所示的摄像装置1具有图像传感器10、图像处理装置20、DRAM(Dynamic Random Access Memory：动态随机存取存储器)30和显示装置40。
此外，图像处理装置20具有总线仲裁器220、DRAM接口部230、摄像图像取入部240、图像处理部250和显示处理部260。此外，图像处理部250具有总线主控器2501、图像处理模块2502、总线主控器2503和优先级切换控制部2504。此外，总线主控器2501具有面缓冲器2501B。此外，总线主控器2503具有面缓冲器2503B。在图像处理装置20中，总线仲裁器220、摄像图像取入部240、图像处理部250和显示处理部260分别与共同的数据总线210连接。
另外，在图1所示的摄像装置1中，通过图像处理装置20所具有的图像处理部250和总线仲裁器220构成第1实施方式的存储器访问装置。
摄像装置1通过图像传感器10拍摄被摄体的静态图像或动态图像。然后，摄像装置1使显示装置40显示与所拍摄的静态图像对应的显示图像。此外，摄像装置1使显示装置40显示与所拍摄的动态图像对应的显示图像。另外，摄像装置1还能够使未图示的记录介质记录与所拍摄的静态图像或动态图像对应的记录图像。
图像传感器10是对被摄体的光学像进行光电转换的固体摄像装置，该光学像是由摄像装置1所具有的未图示的透镜成像的。例如，图像传感器10是以CCD(Charge CoupledDevice：电荷耦合器件)图像传感器、CMOS(Complementary Metal-Oxide Semiconductor：互补型金属氧化膜半导体)图像传感器为代表的固体摄像装置。图像传感器10将与摄像得到的被摄体的光学像对应的像素信号输出到图像处理装置20所具有的摄像图像取入部240。
DRAM30是存储摄像装置1所具有的图像处理装置20中进行处理的各种数据的存储器(数据存储部)。DRAM30经由图像处理装置20所具有的DRAM接口部230和总线仲裁器220而与数据总线210连接。DRAM30存储图像处理装置20中的各个处理阶段的图像的数据。例如，DRAM30存储摄像图像取入部240根据从图像传感器10输出的像素信号输出的像素的数据。此外，例如，DRAM30存储设置于图像处理装置20的图像处理部250生成的图像(静态图像、动态图像、显示图像、记录图像等)的数据。
显示装置40是显示从图像处理装置20所具有的显示处理部260输出的显示图像的显示装置。关于显示装置40，存在要显示的显示图像的大小即像素数不同的各种显示装置。例如，关于显示装置40，存在显示VGA(640×480)尺寸的图像的TFT(薄膜晶体管：Thin FilmTransistor)液晶显示器(LCD：Liquid Crystal Display)、EVF(Electronic View Finder：电子取景器)等、搭载于摄像装置1且作为用于确认要拍摄的被摄体的取景器进行动作的小型显示装置。此外，例如，关于显示装置40，还存在显示全HD(1920×1080)尺寸的图像的HDTV(High Definition TeleVision：高清晰度电视)、显示4K2K(3840×2160)尺寸的图像的UHDTV(Ultra High Definition TeleVision：超高清电视)等、构成为能够相对于摄像装置1进行拆装且用于显示并确认与静态图像或动态图像对应的显示图像的大型显示装置。
图像处理装置20对从图像传感器10输出的像素信号进行预定的图像处理，生成静态图像或动态图像。此外，图像处理装置20生成与所生成的静态图像或动态图像对应的显示图像。然后，图像处理装置20使显示装置40显示所生成的显示图像。此外，图像处理装置20还能够生成与所生成的静态图像或动态图像对应的记录图像，使未图示的记录介质记录所生成的记录图像。
在图像处理装置20中，摄像图像取入部240、图像处理部250和显示处理部260分别是实现图像处理装置20中执行的图像处理的处理功能的处理块。在图像处理装置20中，摄像图像取入部240、图像处理部250和显示处理部260分别通过经由数据总线210的DMA(Direct Memory Access：直接存储器存取)传输来访问DRAM30。
另外，在图像处理装置20中，在各个处理块中设定优先级，该优先级表示在执行图像处理时访问DRAM30时的优先顺位、即进行DMA传输时的优先顺位。按照摄像装置1执行的每个动作即所谓的动作模式设定该优先级。例如，在摄像装置1的动作模式是进行被摄体的拍摄的拍摄模式的情况下，在被摄体的拍摄和用于确认要拍摄的被摄体的显示图像即所谓的实时取景图像(浏览图像)的显示中，要求实时性。这里，当图像处理装置20中用于实现要求实时性的功能的处理块访问DRAM30的DMA传输得等待时，摄像装置1的作为系统的动作失败。因此，在图像处理装置20中，将用于实现要求实时性的功能的处理块的优先级设定为高，优先级高的处理块的DMA传输不会等待。例如，在摄像装置1的动作模式是拍摄模式的情况下，将图像处理装置20所具有的摄像图像取入部240和显示处理部260的优先级设定为高。
另外，在以下的说明中，设图像处理装置20所具有的摄像图像取入部240和显示处理部260分别是优先级被设定为高的处理块来进行说明。换言之，设图像处理装置20所具有的图像处理部250是优先级被设定为低的处理块来进行说明。
总线仲裁器220是如下的仲裁电路(所谓的DMA仲裁电路)：对来自与数据总线210连接的图像处理装置20内的各个处理块的通过DMA传输访问DRAM30的访问请求(DMA请求)进行仲裁，受理任意处理块对DRAM30的访问请求。总线仲裁器220根据图像处理装置20所具有的各个处理块的优先级，从输出访问请求信号(DMA请求信号)的各个处理块中，决定对DRAM30的访问请求被受理(许可)的处理块。
此时，总线仲裁器220在从图像处理部250输出了表示提高图像处理部250的优先级的优先级切换信号SW的情况下，提高图像处理部250的优先级，决定对DRAM30的访问请求被(许可)的处理块。即，即使是优先级低的处理块即图像处理部250，总线仲裁器220也在根据优先级切换信号SW提高了图像处理部250的优先级的状态下，对来自各个处理块的通过DMA传输访问DRAM30的访问请求进行仲裁。
然后，总线仲裁器220对各个处理块对DRAM30的访问请求进行仲裁后，对被决定为受理(许可)访问请求的处理块，输出用于通知受理了访问请求的访问受理信号(所谓的DMA许可信号)。
然后，总线仲裁器220在与被受理了访问请求的处理块之间经由数据总线210进行数据的交换。此时，总线仲裁器220将与访问请求信号一起从被受理了访问请求的处理块输出的地址(包含存储库)和访问方向(写入或读出)等与对DRAM30的访问有关的信息(访问信息)，输出(传输)到DRAM接口部230。另外，总线仲裁器220在进行对DRAM30写入数据的写访问的情况下，还将从被受理了访问请求的处理块经由数据总线210输出的数据，输出(传输)到DRAM接口部230。另一方面，总线仲裁器220在进行从DRAM30读出数据的读访问的情况下，将根据所输出的对DRAM30的访问信息而从DRAM接口部230输出的数据，经由数据总线210输出(传输)到被受理了访问请求的处理块。
另外，关于总线仲裁器220的动作，在根据从图像处理部250输出的优先级切换信号SW提高了图像处理部250的优先级的状态下，根据优先级对各个处理块对DRAM30的访问请求进行仲裁的动作与现有的总线仲裁器(所谓的DMA仲裁电路)的动作相同。即，根据现有的总线仲裁器(所谓的DMA仲裁电路)的技术，能够容易想到总线仲裁器220根据优先级对针对DRAM30的访问请求进行仲裁的动作。因此，省略与如下动作有关的详细说明：总线仲裁器220在根据从图像处理部250输出的优先级切换信号SW提高了图像处理部250的优先级的状态下，对来自各个处理块的通过DMA传输访问DRAM30的访问请求进行仲裁。
DRAM接口部230是根据从总线仲裁器220输出的访问信息在与DRAM30之间实际进行数据的交换、即实际进行数据的传输(DMA传输)的DRAM控制器。DRAM接口部230根据从被总线仲裁器220受理了访问请求的处理块输出且从总线仲裁器220输出(传输)来的对DRAM30的访问信息，对DRAM30进行控制。此时，DRAM接口部230在对DRAM30进行写访问的情况下，将从总线仲裁器220输出(传输)来的、被总线仲裁器220受理了访问请求的处理块向数据总线210输出的数据，存储(写入)到由访问信息指定的DRAM30的地址的存储区域中。另一方面，DRAM接口部230在对DRAM30进行读访问的情况下，读出由访问信息指定的DRAM30的地址的存储区域中存储的数据，将读出的数据输出到总线仲裁器220。
摄像图像取入部240是对从图像传感器10输出的像素信号的数据实施预定的各种图像处理的处理块。摄像图像取入部240对从图像传感器10输出的像素信号的数据实施的图像处理例如是伤痕校正或阴影校正等所谓的预处理。另外，在本发明中，摄像图像取入部240对从图像传感器10输出的像素信号的数据实施的图像处理(预处理)没有特别限制。摄像图像取入部240通过DMA传输将实施预处理后的像素信号的数据(以下称为“预处理图像数据”)存储(写入)到DRAM30中。即，摄像图像取入部240还是进行将预处理图像数据存储(写入)到DRAM30中的DMA传输的DMA传输部(总线主控器)。另外，如上所述，摄像图像取入部240的优先级被设定为高，因此，摄像图像取入部240是高优先的总线主控器。
摄像图像取入部240在将预处理图像数据存储(写入)到DRAM30中时，将用于请求对DRAM30的写访问的访问请求信号(DMA请求信号)、对存储预处理图像数据的DRAM30的存储区域(包含存储库)进行指定的地址(DMA地址)、表示访问方向是对DRAM30的写入的访问方向信号(DMA写信号)输出到总线仲裁器220。然后，摄像图像取入部240在所输出的访问请求信号被总线仲裁器220受理后、即从总线仲裁器220输入了访问受理信号(DMA许可信号)后，将预处理图像数据输出到总线仲裁器220。由此，摄像图像取入部240输出的预处理图像数据经由总线仲裁器220和DRAM接口部230输出到DRAM30，存储(写入)到与访问请求信号一起输出的地址(DMA地址)的存储区域中。
另外，摄像图像取入部240也可以构成为，暂时保存从图像传感器10输出的像素信号的数据后实施预处理。此外，摄像图像取入部240也可以构成为，在暂时保存实施了预处理的预处理图像数据后，在DMA传输中将其输出到总线仲裁器220。
图像处理部250是对DRAM30中存储的预处理图像数据实施预定的图像处理的处理块。在图像处理部250中，进行用于取得(读出)预处理图像数据的DMA传输、以及用于将实施图像处理而生成的图像数据存储(写入)到DRAM30中的DMA传输，该预处理图像数据是实施图像处理的对象。更具体而言，图像处理部250通过DMA传输从DRAM30取得(读出)作为实施图像处理的对象的预处理图像数据。然后，图像处理部250对所取得的预处理图像数据实施预定的图像处理。然后，图像处理部250通过DMA传输将实施图像处理后的图像数据存储(写入)到DRAM30中。如上所述，图像处理部250具有总线主控器2501、图像处理模块2502、总线主控器2503和优先级切换控制部2504。
总线主控器2501是在DRAM30与图像处理模块2502之间进行DMA传输的DMA传输部。总线主控器2501进行从DRAM30取得(读出)预处理图像数据的DMA传输，该预处理图像数据是图像处理模块2502进行图像处理的对象。即，总线主控器2501在与DRAM30之间进行一个方向(读出)的DMA传输(以下称为“读DMA传输”)。如上所述，总线主控器2501具有面缓冲器2501B。
面缓冲器2501B是暂时存储(保存)预定的数据量(例如像素数)的图像数据(预处理图像数据)的数据存储部。面缓冲器2501B例如由SRAM(Static Random Access Memory：静态随机存取存储器)等存储器构成。
另外，面缓冲器2501B也可以是具有2个存储容量组的所谓双缓冲器的结构，存储预定的数据量(例如像素数)的图像数据(预处理图像数据)。即，面缓冲器2501B也可以构成为，通过交替切换针对一个存储容量组的图像数据的写入和来自另一个存储容量组的图像数据的读出，能够以总线主控器2501中的一次读DMA传输为单位同时进行图像数据的输入输出。另外，根据现有的对双缓冲器的动作进行控制的技术，能够容易地想到具有双缓冲器结构的面缓冲器2501B的总线主控器2501的动作。因此，省略与具有双缓冲器结构的面缓冲器2501B的总线主控器2501的动作有关的详细说明。
总线主控器2501将通过读DMA传输从DRAM30取得(读出)的预处理图像数据暂时存储(保存)到面缓冲器2501B中，在存储(保存)预定的数据量的预处理图像数据后，根据来自图像处理模块2502的请求，将存储(保存)的预处理图像数据输出到图像处理模块2502。即，总线主控器2501与图像处理模块2502进行图像处理的时刻匹配地，将通过读DMA传输从DRAM30取得(读出)的预处理图像数据输出到图像处理模块2502。另外，如上所述，图像处理部250的优先级被设定为低，因此，总线主控器2501是低优先的总线主控器。
图像处理模块2502是执行图像处理部250中对预处理图像数据进行的预定的图像处理的处理模块。作为对预处理图像数据进行的图像处理，图像处理模块2502例如具有噪声去除处理、YC(亮度色差)转换处理、畸变校正处理、运动检测处理、尺寸调整处理、JPEG压缩处理等静态图像压缩处理、MPEG压缩处理、H.264压缩处理等动态图像压缩处理等各种显示用的图像处理和记录用的图像处理。另外，在本发明中，图像处理模块2502对预处理图像数据实施的图像处理没有特别限制。另外，图像处理模块2502也可以构成为，对未图示的记录介质中记录的记录图像的数据进行例如JPEG解压缩处理等静态图像解压缩处理、MPEG解压缩处理、H.264解压缩处理等动态图像解压缩处理等图像处理。
图像处理模块2502对所取得的预处理图像数据实施上述预定的图像处理，生成静态图像的图像数据(以下称为“静态图像数据”)、动态图像的图像数据(以下称为“动态图像数据”)。另外，在以下的说明中，在不区分地表示图像处理模块2502生成的静态图像数据和动态图像数据时，称为“图像处理图像数据”。
此外，图像处理模块2502将对所取得的预处理图像数据实施的图像处理的进展状况通知给优先级切换控制部2504。在图1所示的图像处理部250中，图像处理模块2502通过图像处理进展状况信号PS通知对预处理图像数据实施的图像处理的进展状况。另外，图像处理进展状况信号PS例如是表示图像处理模块2502针对1帧的全部预处理图像数据的图像处理到当前时点为止完成的比例(百分比)的信号。这里，图像处理模块2502例如能够根据1帧的预处理图像的全部像素数和到当前时点为止图像处理完成的像素数，计算图像处理进展状况信号PS所表示的图像处理完成的比例(百分比)。此外，图像处理模块2502例如还能够根据1帧的预处理图像区域内当前正在进行图像处理的像素的坐标的信息等，计算图像处理完成的比例(百分比)。
另外，图像处理模块2502对预处理图像数据进行的图像处理不一定对一个帧的图像整体的区域进行图像处理。例如，在畸变校正处理或JPEG压缩处理中，将一个帧的图像区域分割成多个矩形的块，依次对分割后的各个块进行处理，在针对全部块的处理完成时，针对一个帧的图像整体的区域的图像处理完成。该情况下，图像处理模块2502也可以输出表示分割后的多个块中的到当前时点为止完成图像处理的块数的信号，作为为了通知对预处理图像数据实施的图像处理的进展状况而输出的图像处理进展状况信号PS。
此时，在图像处理模块2502将1帧的图像区域分割成多个块而进行的图像处理中，分割后的各个块中包含的像素数有时也不同。例如，在畸变校正处理中，为了对分割后的各个块进行图像处理，有时也在不同块的图像处理中使用相同像素的预处理图像数据。因此，到针对一个帧的图像整体的区域的图像处理完成为止，图像处理模块2502进行处理的像素数比1帧的像素数多。该情况下，图像处理模块2502也可以输出如下信号作为图像处理进展状况信号PS，该信号表示对到输出1帧的图像处理图像数据(静态图像数据或动态图像数据)为止需要进行图像处理的全部块中包含的不同像素数进行合计而得的像素数中的、对到当前时点为止完成了图像处理的各个块中包含的不同像素数进行合计而得的像素数。
此外，图像处理模块2502对预处理图像数据进行的图像处理不一定仅是按照每一个帧进行的图像处理。例如，在动态图像压缩处理中，将多个帧作为一个群组(所谓的GOP：Group of Picture：图像组)来进行处理，因此，图像处理模块2502也以该群组单位进行图像处理。该情况下，图像处理模块2502也可以输出如下信号作为图像处理进展状况信号PS，该信号表示一个群组单位中包含的多个帧中的、到当前时点为止完成了图像处理的帧数。
总线主控器2503是在DRAM30与图像处理模块2502之间进行DMA传输的DMA传输部。总线主控器2503进行如下的DMA传输：将图像处理模块2502进行图像处理后的图像处理图像数据(静态图像数据或动态图像数据)存储(写入)到DRAM30中。即，总线主控器2503在与DRAM30之间进行一个方向(写入)的DMA传输(以下称为“写DMA传输”)。如上所述，总线主控器2503具有面缓冲器2503B。
面缓冲器2503B是暂时存储(保存)预定的数据量(例如像素数)的图像数据(静态图像数据或动态图像数据)的数据存储部。面缓冲器2503B例如也由SRAM等存储器构成。
另外，与面缓冲器2501B同样，面缓冲器2503B也可以是具有2个存储容量组的双缓冲器的结构，该存储容量组存储预定的数据量(例如像素数)的图像数据(静态图像数据或动态图像数据)。另外，与具有双缓冲器结构的面缓冲器2501B的总线主控器2501的动作同样，根据现有的对双缓冲器的动作进行控制的技术，也能够容易地想到具有双缓冲器结构的面缓冲器2503B的总线主控器2503的动作，因此，省略与具有双缓冲器结构的面缓冲器2503B的总线主控器2503的动作有关的详细说明。
总线主控器2503将图像处理模块2502进行图像处理而生成的图像处理图像数据(静态图像数据或动态图像数据)暂时存储(保存)到面缓冲器2503B中，在存储(保存)预定的数据量的图像处理图像数据后，与DMA传输的时刻匹配地，将存储(保存)着的图像处理图像数据输出到总线仲裁器220，而存储(写入)到DRAM30中。另外，如上所述，图像处理部250的优先级被设定为低，因此，总线主控器2503也是低优先的总线主控器。
优先级切换控制部2504将总线仲裁器220对各个处理块对DRAM30的访问请求进行仲裁时考虑的、图像处理部250的DMA传输的优先级，通知给总线仲裁器220。
更具体而言，优先级切换控制部2504根据从图像处理模块2502输出的图像处理进展状况信号PS，计算图像处理模块2502进行图像处理时的剩余处理时间。然后，优先级切换控制部2504根据计算出的剩余处理时间、作为图像处理模块2502需要完成1帧图像处理的时间而规定的图像处理的极限(界限)的时间、以及当前的经过时间，判定图像处理模块2502进行的图像处理的紧急度。优先级切换控制部2504根据判定出的结果，生成用于通知图像处理模块2502进行的图像处理的紧急度的优先级切换信号SW。另外，优先级切换信号SW还是用于请求切换(变更)图像处理部250中的DMA传输的优先级的信号。
另外，优先级切换控制部2504判定图像处理部250的DMA传输的优先级所使用的参数、即判定图像处理模块2502进行的图像处理的紧急度所使用的参数例如通过图像处理装置20所具有的未图示的CPU(Central Processing Unit：中央处理单元)等，设定在优先级切换控制部2504的寄存器中。
另外，未图示的CPU是通过对图像处理装置20所具有的各个结构要素进行控制而对图像处理装置20的整体进行控制的控制部。未图示的CPU根据用于对各个结构要素进行控制的程序和数据，对图像处理装置20的整体进行控制。另外，未图示的CPU也可以对摄像装置1所具有的结构要素进行控制。未图示的CPU对图像处理装置20所具有的各个结构要素进行控制用的程序和数据可以经由DRAM接口部230和总线仲裁器220，存储在与数据总线210连接的DRAM30中。该情况下，未图示的CPU经由总线仲裁器220和DRAM接口部230读出并执行DRAM30中存储的程序和数据，由此对图像处理装置20的整体进行控制。
优先级切换控制部2504通过将所生成的优先级切换信号SW输出到总线仲裁器220，通知希望在提高图像处理部250的优先级的状态下进行仲裁、即希望紧急受理(许可)图像处理部250中的DMA传输(读DMA传输或写DMA传输)。由此，总线仲裁器220在对各个处理块对DRAM30的访问请求进行仲裁时，根据优先级切换信号SW，将图像处理部250的优先级切换为高，优先受理(许可)来自图像处理部250的访问请求。由此，图像处理部250能够在规定的极限(界限)的时间之前完成图像处理，而不会在要执行的图像处理中产生等待的状态而停止。
另外，优先级切换控制部2504也可以在通知希望紧急受理(许可)图像处理部250中的DMA传输时，一并通知希望更加优先受理(许可)来自总线主控器2501的访问请求(读DMA传输)和来自总线主控器2503的访问请求(写DMA传输)中的、来自哪个总线主控器的访问请求的信息。即，优先级切换控制部2504也可以一并通知表示希望使从DRAM30取得预处理图像数据和对DRAM30存储(写入)图像处理图像数据中的哪一方优先的信息，该预处理图像数据是图像处理模块2502要实施图像处理的对象，该图像处理图像数据是图像处理模块2502实施图像处理后的数据。
显示处理部260是如下处理块，取得(读出)DRAM30中存储的图像处理图像数据(静态图像数据或动态图像数据)，并使显示装置40显示与所取得的图像处理图像数据对应的显示图像。显示处理部260通过DMA传输从DRAM30取得(读出)用于使显示装置40显示的图像处理图像数据。即，显示处理部260还是DMA传输部(总线主控器)，进行从DRAM30取得(读出)图像处理图像数据的DMA传输。另外，如上所述，显示处理部260的优先级被设定为高，因此，显示处理部260是高优先的总线主控器。
显示处理部260在从DRAM30取得(读出)图像处理图像数据时，将用于请求对DRAM30的读访问的访问请求信号(DMA请求信号)、对取得图像处理图像数据的DRAM30的存储区域(包含存储库)进行指定的地址(DMA地址)、表示访问方向是对DRAM30的读出的访问方向信号(DMA读信号)输出到总线仲裁器220。然后，显示处理部260在所输出的访问请求信号被总线仲裁器220受理后、即从总线仲裁器220输入了访问受理信号(DMA许可信号)后，取得DRAM接口部230从DRAM30读出并经由总线仲裁器220输出的图像处理图像数据。然后，显示处理部260将与所取得的图像处理图像数据对应的显示图像输出到显示装置40并进行显示。
另外，显示处理部260也可以构成为将显示图像输出到显示装置40并进行显示，该显示图像是对从DRAM30读出(取得)的图像处理图像数据实施预定的显示处理而生成的。另外，作为显示处理部260对图像处理图像数据实施的显示处理，例如存在将显示图像的尺寸转换为显示装置40显示的图像的尺寸的处理、例如重叠屏幕显示(On Screen Display：OSD)图像的处理等，该屏幕显示图像用于显示拍摄日期时间等与静态图像或动态图像有关的各种信息。但是，在本发明中，显示处理部260对图像处理图像数据实施的显示处理没有特别限制。此外，显示处理部260也可以构成为暂时保存从DRAM30读出(取得)的图像处理图像数据后实施显示处理。此外，显示处理部260也可以构成为在暂时保存实施了显示处理的显示图像的数据后，将所保存的显示图像的数据输出到显示装置40并进行显示。
根据这种结构，摄像装置1通过图像传感器10拍摄被摄体的静态图像或动态图像，使显示装置40显示与所拍摄的静态图像或动态图像对应的显示图像。此外，摄像装置1还能够使未图示的记录介质记录与通过图像传感器10拍摄的静态图像或动态图像对应的记录图像。
此外，在摄像装置1中，通过图像处理装置20所具有的图像处理部250和总线仲裁器220构成第1实施方式的存储器访问装置。换言之，在图像处理装置20中，在与DRAM30之间通过DMA传输进行图像数据的交换的处理块中的、作为优先级低的处理块的图像处理部250与总线仲裁器220组合，构成第1实施方式的存储器访问装置。
而且，在第1实施方式的存储器访问装置中，图像处理模块2502将用于通知正在实施的图像处理的进展状况的图像处理进展状况信号PS输出到优先级切换控制部2504。而且，在第1实施方式的存储器访问装置中，优先级切换控制部2504根据从图像处理模块2502输出的图像处理进展状况信号PS所表示的图像处理的进展状况，判定图像处理模块2502进行的图像处理的紧急度，将用于通知图像处理部250中的DMA传输的优先级的优先级切换信号SW输出到总线仲裁器220。由此，在第1实施方式的存储器访问装置中，在总线仲裁器220受理(许可)来自各个处理块的访问请求时，在优先级切换信号SW表示图像处理部250中执行的图像处理的紧急度高的情况下，将图像处理部250的优先级切换为高，优先受理(许可)来自图像处理部250的访问请求。
由此，图像处理部250(更具体而言为图像处理模块2502)不使要执行的图像处理停止，能够在作为需要完成1帧图像处理的时间而规定的极限(界限)的时间之前完成图像处理。由此，在搭载有第1实施方式的存储器访问装置的系统(摄像装置1或图像处理装置20)中，可能成为作为系统的动作和功能失败的因素的图像处理部250(图像处理模块2502)的动作不会停止，能够没有延迟地对图像数据进行一连串图像处理。
这里，对图像处理部250的动作进行说明。首先，对图像处理部250通过DMA传输从DRAM30取得预处理图像数据、在实施图像处理后通过DMA传输将图像处理图像数据存储(写入)到DRAM30中时的基本动作进行说明。
在图像处理部250进行图像处理的情况下，首先，总线主控器2501通过DMA传输从DRAM30取得(读出)作为实施图像处理的对象的预处理图像数据。总线主控器2501在从DRAM30取得(读出)预处理图像数据时，将用于请求对DRAM30的读访问的访问请求信号(DMA请求信号)、对取得预处理图像数据的DRAM30的存储区域(包含存储库)进行指定的地址(DMA地址)、以及表示访问方向是对DRAM30的读出的访问方向信号(DMA读信号)输出到总线仲裁器220。然后，总线主控器2501在所输出的访问请求信号被总线仲裁器220受理后、即从总线仲裁器220输入了访问受理信号(DMA许可信号)后，将DRAM接口部230从DRAM30读出并经由总线仲裁器220输出的预处理图像数据暂时保存在面缓冲器2501B中。然后，总线主控器2501在将预定的数据量的预处理图像数据存储(保存)到面缓冲器2501B中之后，根据来自图像处理模块2502的请求，读出面缓冲器2501B中保存的预处理图像数据，将其输出到图像处理模块2502。由此，图像处理模块2502对从总线主控器2501(更具体而言为面缓冲器2501B)输出的预处理图像数据实施预定的图像处理，生成图像处理图像数据(静态图像数据或动态图像数据)，将所生成的图像处理图像数据输出到总线主控器2503。
总线主控器2503将从图像处理模块2502输出的图像处理图像数据暂时保存在面缓冲器2503B中。然后，总线主控器2503在将预定的数据量的图像处理图像数据存储(保存)到面缓冲器2503B中之后，通过DMA传输将面缓冲器2503B中存储(保存)的图像处理图像数据存储(写入)到DRAM30中。总线主控器2503在将图像处理图像数据存储(写入)到DRAM30中时，将用于请求对DRAM30的写访问的访问请求信号(DMA请求信号)、对存储图像处理图像数据的DRAM30的存储区域(包含存储库)进行指定的地址(DMA地址)、以及表示访问方向是对DRAM30的写入的访问方向信号(DMA写信号)输出到总线仲裁器220。然后，总线主控器2503在所输出的访问请求信号被总线仲裁器220受理后、即从总线仲裁器220输入了访问受理信号(DMA许可信号)后，读出面缓冲器2503B中保存的图像处理图像数据，将其输出到总线仲裁器220。由此，总线主控器2503输出的图像处理图像数据(静态图像数据或动态图像数据)经由总线仲裁器220和DRAM接口部230输出到DRAM30，存储(写入)到与访问请求信号一起输出的地址(DMA地址)的存储区域中。
这样，在图像处理部250中，在从DRAM30取得(读出)作为进行图像处理的对象的预处理图像数据时、以及将进行图像处理后的图像处理图像数据(静态图像数据或动态图像数据)存储(写入)到DRAM30中时，经由总线主控器2501所具有的面缓冲器2501B和面缓冲器2503B，在与DRAM30之间进行各个图像数据的交换。由此，在图像处理部250中，图像处理模块2502能够进行预定的图像处理，而不会被在与DRAM30之间进行的DMA传输的时刻影响。
但是，如上所述，在图像处理装置20中，图像处理部250是优先级被设定为低的处理块。因此，在优先级高的摄像图像取入部240和显示处理部260各自对DRAM30的访问请求增加且数据总线210拥挤的状态下，图像处理部250不一定从总线仲裁器220受理(许可)对DRAM30的访问请求。但是，虽然不要求实时性，但是图像处理部250也是负责搭载有图像处理装置20的摄像装置1中的动作的处理块，因此，当未在预先规定的图像处理的极限(界限)的时间内完成图像处理时，摄像装置1的作为系统的动作失败。
因此，在第1实施方式的存储器访问装置中，优先级切换控制部2504根据从图像处理模块2502输出的图像处理进展状况信号PS所表示的图像处理的进展状况进行控制，以在图像处理模块2502执行的图像处理中产生等待的状态而停止之前，提高受理(许可)来自图像处理部250的访问请求的优先级。即，在第1实施方式的存储器访问装置中，优先级切换控制部2504进行控制，以将图像处理部250中设定的低的优先级切换为高的优先级。此时，优先级切换控制部2504判定图像处理模块2502进行的图像处理的紧急度。通过计算图像处理模块2502进行的图像处理中的剩余处理时间，进行该判定。即，优先级切换控制部2504判定由图像处理模块2502进行的剩余图像处理是否在图像处理的极限(界限)的时间之前完成，该极限(界限)的时间是作为图像处理模块2502需要完成1帧图像处理的时间而规定的。
接着，对第1实施方式的存储器访问装置中、优先级切换控制部2504判定图像处理部250(图像处理模块2502)执行的图像处理的紧急度的方法进行说明。图2是示出本发明的第1实施方式的存储器访问装置中判定图像处理的紧急度的处理的处理步骤的流程图。
在优先级切换控制部2504进行的、判定图像处理模块2502执行的图像处理的紧急度的处理中，首先，根据从图像处理模块2502输出的图像处理进展状况信号PS所表示的图像处理完成的比例(百分比)，计算图像处理模块2502进行图像处理时的剩余处理时间(步骤S110)。
另外，在优先级切换控制部2504中，计算图像处理模块2502中的剩余处理时间所使用的参数被设定在寄存器中。另外，优先级切换控制部2504在步骤S110中计算的剩余处理时间的计算方法在后面叙述。
接着，优先级切换控制部2504根据步骤S110中计算出的剩余处理时间、预先规定且被设定在寄存器中的图像处理的极限(界限)的时间、以及当前的经过时间，计算图像处理模块2502进行图像处理时的富余的时间(以下称为“处理富余时间”)(步骤S120)。
另外，在优先级切换控制部2504中，计算图像处理模块2502中的处理富余时间所使用的参数被设定在寄存器中。另外，优先级切换控制部2504在步骤S120中计算的处理富余时间的计算方法在后面叙述。
接着，优先级切换控制部2504对计算出的处理富余时间和紧急度阈值时间进行比较，判定计算出的处理富余时间是否比紧急度阈值时间短(步骤S130)。由此，优先级切换控制部2504判定图像处理模块2502进行的图像处理的紧急度。
另外，在优先级切换控制部2504中，判定图像处理模块2502进行的图像处理的紧急度所使用的参数即紧急度阈值时间被设定在寄存器中。
在步骤S130中判定为计算出的处理富余时间不比紧急度阈值时间短(处理富余时间为紧急度阈值时间以上)的情况下(步骤S130的“否”)，优先级切换控制部2504判定为图像处理模块2502进行的图像处理的紧急度不高(低)，进入步骤S140。然后，优先级切换控制部2504生成表示不提高图像处理部250的优先级、即、将优先级依然设为低的优先级切换信号SW(步骤S140)。
另一方面，在步骤S130中判定为计算出的处理富余时间比紧急度阈值时间短的情况下(步骤S130的“是”)，优先级切换控制部2504判定为图像处理模块2502进行的图像处理的紧急度高，进入步骤S150。然后，优先级切换控制部2504生成表示提高图像处理部250的优先级的优先级切换信号SW(步骤S150)。
通过这种处理，优先级切换控制部2504判定图像处理模块2502执行的图像处理的紧急度，根据判定出的结果，生成用于通知切换图像处理部250中设定的优先级的优先级切换信号SW。然后，优先级切换控制部2504将所生成的优先级切换信号SW输出到总线仲裁器220。由此，总线仲裁器220在受理(许可)来自各个处理块的访问请求时，在优先级切换信号SW表示提高图像处理部250执行的图像处理的紧急度的情况下，将图像处理部250的优先级切换为高，优先受理(许可)来自图像处理部250的访问请求。
接着，对优先级切换控制部2504在步骤S110的处理中计算的、图像处理模块2502进行图像处理时的剩余处理时间的计算方法进行说明。如上所述，图像处理进展状况信号PS是以到当前时点为止完成的比例(百分比)表示图像处理部250对1帧的全部预处理图像数据的图像处理的进展状况的信号。
优先级切换控制部2504根据图像处理进展状况信号PS所表示的图像处理完成的比例(百分比)，计算图像处理模块2502进行图像处理时的剩余处理时间。另外，关于优先级切换控制部2504中的剩余处理时间的计算方法，存在与图像处理模块2502进行的图像处理对应的各种计算方法。
首先，对剩余处理时间的第1计算方法进行说明。第1计算方法是如下的方法：根据图像处理模块2502进行1帧的图像数据的图像处理时的处理时间，计算剩余处理时间。即，第1计算方法以到图像处理模块2502完成1帧的图像处理为止的时间为基准，计算剩余处理时间。在第1计算方法中，优先级切换控制部2504通过下式(1)和下式(2)计算剩余处理时间。
总处理时间＝处理速度×输出总像素数…(1)
剩余处理时间＝总处理时间×(1-处理完成比例)…(2)
在上式(1)中，总处理时间是图像处理模块2502在1帧的图像处理中需要的处理时间。此外，在上式(1)中，处理速度是图像处理模块2502对1个像素的预处理图像数据进行图像处理的处理的速度。换言之，处理速度是图像处理模块2502在1个像素的预处理图像数据的图像处理中需要的处理时间。此外，在上式(1)中，输出总像素数是图像处理模块2502进行图像处理而输出的1帧的图像处理图像数据(静态图像数据或动态图像数据)的像素数。
在上式(2)中，剩余处理时间是图像处理模块2502结束到当前时点为止未完成的图像处理所需要的处理时间。此外，在上式(2)中，处理完成比例是图像处理进展状况信号PS所表示的、图像处理模块2502到当前时点为止完成的图像处理的比例(百分比)。
另外，为了供优先级切换控制部2504通过第1计算方法计算剩余处理时间而在上式(1)中使用的处理速度和输出总像素数分别作为计算剩余处理时间所使用的参数，通过未图示的CPU设定在优先级切换控制部2504的寄存器中。
接着，对剩余处理时间的第2计算方法进行说明。第2计算方法是如下的方法：图像处理模块2502将1帧的图像区域分割成包含相同像素数的预处理图像数据的多个矩形块，在按照分割后的各个块进行图像处理的情况下，根据针对各个块的图像处理的处理时间计算剩余处理时间。
在第2计算方法中，也与第1计算方法同样，根据图像处理模块2502进行1帧图像数据的图像处理时的处理时间，计算剩余处理时间。在第2计算方法中，为了应对按照图像处理模块2502分割后的每个块进行的图像处理，优先级切换控制部2504通过下式(3)和下式(4)计算剩余处理时间。
剩余块数＝全部块数-处理完成块数…(3)
剩余处理时间＝剩余块数×1块的像素数×处理速度…(4)
在上式(3)中，剩余块数是到图像处理模块2502输出1帧的图像处理图像数据(静态图像数据或动态图像数据)为止需要进行图像处理的块数。即，剩余块数是图像处理模块2502分割后的块中、当前时点未结束图像处理的块的数量。此外，在上式(3)中，全部块数是为了图像处理模块2502进行1帧图像数据的图像处理而对1帧的图像区域进行分割而得到的块数。此外，在上式(3)中，处理完成块数是图像处理进展状况信号PS所表示的、图像处理模块2502到当前时点为止完成图像处理的块数。
在上式(4)中，剩余处理时间是图像处理模块2502结束到当前时点为止未完成的图像处理所需要的处理时间。换言之，剩余处理时间是到图像处理模块2502结束分割后的全部块的图像处理为止所需要的处理时间中的、针对图像处理未结束的剩余块数的块的图像处理所需要的处理时间。此外，在上式(4)中，剩余块数是上式(3)中计算出的剩余块数。此外，在上式(4)中，1块的像素数是图像处理模块2502分割后的各个块中包含的像素数。此外，在上式(4)中，处理速度与第1计算方法的上式(1)中的处理速度相同。
另外，为了供优先级切换控制部2504通过第2计算方法计算剩余处理时间而在上式(3)中使用的全部块数、以及上式(4)中使用的1块的像素数和处理速度分别作为计算剩余处理时间所使用的参数，通过未图示的CPU设定在优先级切换控制部2504的寄存器中。
接着，对剩余处理时间的第3计算方法进行说明。第3计算方法是如下的方法：在图像处理模块2502将1帧的图像区域分割成多个块进行图像处理时，在各个块中包含的像素数不同的情况下，根据针对各个块的图像处理的处理时间，计算剩余处理时间。即，是如下的方法：按照分割后的各个块，根据处理所需要的时间不同的图像处理的处理时间计算剩余处理时间。
在第3计算方法中，也与第1计算方法和第2计算方法同样，根据图像处理模块2502进行1帧图像数据的图像处理时的处理时间计算剩余处理时间。在第3计算方法中，为了应对图像处理模块2502分割后的各个块中包含的像素数不同的情况，优先级切换控制部2504通过下式(5)和下式(6)计算剩余处理时间。
剩余输入像素数＝输入总像素数-当前的输入像素数…(5)
剩余处理时间＝剩余输入像素数×处理速度…(6)
在上式(5)中，剩余输入像素数是对到图像处理模块2502输出1帧图像处理图像数据(静态图像数据或动态图像数据)为止需要进行图像处理的全部块中包含的不同像素数进行合计而得到的像素数。即，剩余输入像素数是对图像处理模块2502分割后的各个块中、当前时点未结束图像处理的各个块中包含的不同像素数进行合计而得到的像素数。此外，在上式(5)中，输入总像素数是到图像处理模块2502输出1帧图像处理图像数据(静态图像数据或动态图像数据)为止输入到图像处理模块2502的全部像素数。这里，输入总像素数是对图像处理模块2502进行图像处理所使用的全部块中包含的不同像素数进行合计而得到的。即，输入总像素数是比1帧的像素数多的像素数。此外，在上式(5)中，当前的输入像素数是图像处理进展状况信号PS所表示的、对到当前时点为止完成图像处理的各个块中包含的不同像素数进行合计而得到的像素数。
在上式(6)中，剩余处理时间是图像处理模块2502结束到当前时点为止未完成的图像处理所需要的处理时间。换言之，剩余处理时间是到图像处理模块2502结束分割后的全部块的图像处理为止所需要的处理时间中的、针对图像处理未结束的各个块的图像处理所需要的处理时间。此外，在上式(6)中，剩余输入像素数是上式(5)中计算出的剩余输入像素数。此外，在上式(6)中，处理速度与第1计算方法的上式(1)和第2计算方法的上式(4)中的处理速度相同。
另外，为了供优先级切换控制部2504通过第3计算方法计算剩余处理时间而在上式(5)中使用的输入总像素数和当前的输入像素数、以及上式(6)中使用的处理速度分别作为计算剩余处理时间所使用的参数，通过未图示的CPU设定在优先级切换控制部2504的寄存器中。此时，未图示的CPU也可以构成为，代替上式(5)中使用的输入总像素数和当前的输入像素数，而将上式(6)中使用的剩余输入像素数设定在优先级切换控制部2504的寄存器中。此外，图像处理模块2502也可以将表示剩余输入像素数的信号作为图像处理进展状况信号PS输出到优先级切换控制部2504。
这样，优先级切换控制部2504在步骤S110的处理中，通过第1计算方法～第3计算方法所示的计算方法计算剩余处理时间。然后，优先级切换控制部2504在步骤S120的处理中计算图像处理模块2502进行图像处理时的处理富余时间。
接着，对优先级切换控制部2504在步骤S120的处理中计算的处理富余时间的计算方法进行说明。如上所述，根据步骤S110中计算出的剩余处理时间、预先规定且设定在寄存器中的图像处理的极限(界限)的时间(以下称为“界限时间”)以及当前的经过时间，计算处理富余时间。图像处理模块2502通过下式(7)计算处理富余时间。
处理富余时间＝界限时间-当前的经过时间-剩余处理时间…(7)
在上式(7)中，界限时间是作为图像处理模块2502需要完成1帧图像处理的时间而规定的图像处理的极限时间。此外，在上式(7)中，当前的经过时间是从图像处理模块2502开始进行图像处理时起到当前时点为止的经过时间。此外，在上式(7)中，剩余处理时间是通过上述第1计算方法～第3计算方法中的任意一个计算方法计算出的剩余处理时间。
另外，为了供优先级切换控制部2504计算处理富余时间而在上式(7)中使用的界限时间和当前的经过时间分别作为计算处理富余时间所使用的参数，通过未图示的CPU设定在优先级切换控制部2504的寄存器中。另外，为了供优先级切换控制部2504计算处理富余时间而在上式(7)中使用的当前的经过时间也可以构成为，通过优先级切换控制部2504或图像处理部250所具有的未图示的计时器，计测从图像处理模块2502开始进行图像处理的时刻起的经过时间。
这样，优先级切换控制部2504在步骤S120的处理中，通过上式(7)计算图像处理模块2502进行图像处理时的处理富余时间。然后，优先级切换控制部2504在步骤S130的处理中，对计算出的处理富余时间和紧急度阈值时间进行比较，由此判定图像处理模块2502进行的图像处理的紧急度，生成与判定出的图像处理的紧急度对应的优先级切换信号SW，将其输出到总线仲裁器220。
另外，为了使处理富余时间更加具有富余，图像处理模块2502也可以对界限时间和剩余处理时间中的任意一方或双方乘以用于具有富余(余量)的预定的时间系数后，通过上式(7)计算处理富余时间。这里，时间系数例如是如下的系数：考虑总线主控器2501和总线主控器2503进行的各个DMA传输中的DRAM30的损失时间，规定能够避免该损失时间的影响的时间作为富余(余量)。例如，时间系数规定相对于界限时间和剩余处理时间的比例(百分比)等。另外，DMA传输中的损失时间是存在如下制约的规定的时间(一定时间)，该制约例如作为通常的DRAM的制约而存在，且在从正在读出数据的状态向写入数据的状态切换时、从正在写入数据的状态向读出数据的状态切换时、连续访问相同地址的存储区域(存储库)时等，无法受理控制。另外，用于供优先级切换控制部2504使处理富余时间更加具有富余的时间系数也可以作为计算处理富余时间所使用的参数，通过未图示的CPU设定在优先级切换控制部2504的寄存器中。
另外，界限时间规定了到图像处理模块2502进行的图像处理结束为止的时间，以使得不会在图像处理模块2502进行的图像处理中产生等待的状态而停止，摄像装置1或图像处理装置20中的作为系统的动作和功能不会失败。即，基于如下思路来设定界限时间：优先级切换控制部2504进行控制，以使得在图像处理部250执行的图像处理中产生等待的状态而停止之前，提高图像处理部250输出的访问请求被总线仲裁器220受理(许可)的优先级。因此，根据图像处理模块2502进行的图像处理，以各种思路设定界限时间。
这里，对通过图像处理模块2502进行的图像处理设定的界限时间的思路的一例进行说明。例如，考虑摄像装置1的动作模式是进行被摄体的静态图像的拍摄的拍摄模式的情况。该情况下，在显示处理部260取得(读出)DRAM30中存储的图像处理图像数据以使显示装置40显示与图像处理图像数据对应的显示图像的时刻之前，图像处理模块2502需要生成图像处理图像数据(静态图像数据)并将其存储(写入)到DRAM30中。因此，界限时间设定基于显示处理部260从DRAM30取得(读出)各个帧的图像处理图像数据的时刻的周期性时间。
该情况下的界限时间和图像处理部250进行图像处理的期间的关系成为图3所示的关系。图3是示意地示出本发明的第1实施方式的存储器访问装置中的界限时间和图像处理的期间的关系的一例的图。在图3中，示意地示出针对各个帧设定的界限时间、图像处理部250对各个帧进行图像处理的期间(图像处理期间)、以及显示处理部260使显示装置40显示与各个帧的图像处理图像数据对应的显示图像的期间(显示期间)的关系的一例。
更具体而言，在图3中，对总线主控器2501进行从DRAM30取得(读出)预处理图像数据的读DMA传输的动作期间、图像处理模块2502对预处理图像数据进行图像处理的动作期间、总线主控器2503进行将图像处理图像数据存储(写入)到DRAM30中的写DMA传输的动作期间分别进行合并，作为图像处理部250中的图像处理期间进行表示。另外，在图3所示的界限时间和图像处理期间的关系的一例中，示出总线主控器2501所具有的面缓冲器2501B和总线主控器2503所具有的面缓冲器2503B分别是双缓冲器的结构时的动作期间。
此外，在图3中，示出显示处理部260从DRAM30取得(读出)各个帧的图像处理图像数据并进行显示处理、使显示装置40显示显示图像的期间，作为显示期间。
如图3所示，各个帧中的界限时间被设定为显示处理部260开始从DRAM30取得(读出)图像处理图像数据的时刻。然后，图像处理部250进行图像处理，以使得在针对各个帧设定的界限时间之前结束图像处理。
此时，优先级切换控制部2504根据剩余处理时间、界限时间、以及当前的经过时间，计算处理富余时间，该剩余处理时间是基于从图像处理模块2502输出的图像处理进展状况信号PS计算出的。在图3中，还一并示出优先级切换控制部2504计算出的处理富余时间。然后，优先级切换控制部2504根据计算出的处理富余时间，判定图像处理模块2502进行的图像处理的紧急度。
在图3所示的一例中，各个帧中的图像处理部250的图像处理在针对各个帧设定的界限时间之前结束。但是，如图3所示，图像处理部250进行图像处理的图像处理期间按照各个帧而不同。例如，在图3所示的一例中，帧2的图像处理期间比帧1的图像处理期间和帧3的图像处理期间长很多。换言之，在图3所示的一例中，帧2的处理富余时间比帧1的处理富余时间和帧3的处理富余时间短很多。
这是因为，用于从DRAM30取得(读出)作为进行图像处理的对象的帧2的预处理图像数据的、总线主控器2501进行的读DMA传输得等待。即，总线仲裁器220优先受理(许可)来自优先级比图像处理部250高的其他处理块的访问请求，由此，到来自总线主控器2501的访问请求被总线仲裁器220受理(许可)为止需要较长时间。
优先级切换控制部2504在步骤S130的处理中判定为针对帧2计算出的处理富余时间比紧急度阈值时间短的情况下，判定为图像处理模块2502进行的图像处理的紧急度高。然后，优先级切换控制部2504根据判定出的结果，生成用于通知将图像处理部250中设定的优先级切换为高的优先级切换信号SW，将其输出到总线仲裁器220。由此，总线仲裁器220在对各个处理块对DRAM30的访问请求进行仲裁时，根据优先级切换信号SW将图像处理部250的优先级切换为高，优先受理(许可)来自图像处理部250的访问请求。更具体而言，总线仲裁器220例如优先受理(许可)总线主控器2501进行的读DMA传输、总线主控器2503进行的写DMA传输。
在图3中示出紧急度阈值时间的一例。此外，在图3中，作为优先级切换控制部2504向总线仲裁器220输出的优先级切换信号SW的一例，示出在帧2的图像处理期间内通知将图像处理部250中设定的优先级切换为高的状态。另外，在图3中，优先级切换控制部2504输出的优先级切换信号SW通过“高”等级表示提高图像处理部250的优先级，通过“低”等级表示降低图像处理部250的优先级(将优先级依然设为低)。
由此，在图3所示的一例中，通过总线仲裁器220优先受理(许可)总线主控器2503进行的写DMA传输。该情况下，图3所示的帧2的图像处理期间成为比图3中当前所示的图像处理期间短的期间。换言之，图3所示的帧2的处理富余时间成为比图3中当前所示的处理富余时间长的期间。
由此，在图3所示的一例中，能够削减图像处理部250进行的帧2的图像处理超过帧2的界限时间而使摄像装置1中的拍摄模式的一连串图像处理失败的因素。即，图像处理部250能够更加可靠地在帧2的界限时间之前结束帧2的图像处理，摄像装置1能够没有延迟地进行拍摄模式中的一连串图像处理。
另外，在显示处理部260按照每1帧使显示装置40显示与图像处理图像数据对应的显示图像、即，显示处理部260按照每1帧从DRAM30取得(读出)图像处理图像数据的情况下，如图3所示的一例那样，按照各个帧的每个周期设定界限时间。但是，在显示处理部260不使显示装置40显示与全部帧的图像处理图像数据对应的显示图像而以多次中有一次的定时使显示装置40显示显示图像、即对帧进行间疏而使显示装置40显示显示图像的情况下，按照间疏后的帧的每个周期设定界限时间。
接着，对通过图像处理模块2502进行的图像处理设定的界限时间的思路的另一例进行说明。例如，考虑摄像装置1的动作模式是连续拍摄被摄体的静态图像的连拍模式的情况。该情况下，图像处理模块2502需要按照从某个时点拍摄被摄体的时刻到下一次拍摄被摄体的时刻为止的期间、即所谓的连拍间隔，生成图像处理图像数据(静态图像数据)并将其存储(写入)到DRAM30中。因此，关于界限时间，设定基于摄像图像取入部240将预处理图像数据存储(写入)到DRAM30中的间隔的周期性时间，该预处理图像数据与从图像传感器10输出的像素信号的数据对应。
该情况下，优先级切换控制部2504也根据剩余处理时间、界限时间、以及当前的经过时间，计算处理富余时间，来判定图像处理模块2502进行的图像处理的紧急度，该剩余处理时间是基于从图像处理模块2502输出的图像处理进展状况信号PS计算出的。然后，优先级切换控制部2504将基于判定出的结果的优先级切换信号SW输出到总线仲裁器220，由此，图像处理部250能够更加可靠地在界限时间之前结束图像处理，摄像装置1能够没有延迟地进行连拍模式中的一连串图像处理。
另外，能够与图3所示的拍摄模式中的界限时间和图像处理期间的关系的一例同样地，考虑摄像装置1的动作模式是连拍模式时的界限时间和图像处理期间的关系。更具体而言，在图3所示的界限时间和图像处理期间的关系的一例中，将设定了界限时间的显示处理部260开始从DRAM30取得(读出)图像处理图像数据的时刻，置换为摄像图像取入部240开始对DRAM30存储(写入)预处理图像数据的时刻，由此能够容易地考虑。因此，省略与摄像装置1的动作模式是连拍模式时的界限时间和图像处理期间的关系有关的详细说明。
接着，对通过图像处理模块2502进行的图像处理设定的界限时间的思路的又一例进行说明。例如，考虑摄像装置1的动作模式是进行被摄体的动态图像的拍摄的动态图像模式的情况。该情况下，图像处理模块2502需要在将多个帧的图像处理图像数据汇集成一个群组而进行转换(编码)的未图示的动态图像处理部取得(读出)DRAM30中存储的多个帧的图像处理图像数据的时刻之前，生成群组中包含的多个帧的图像处理图像数据(动态图像数据)并将其存储(写入)到DRAM30中。因此，关于界限时间，设定基于从DRAM30取得(读出)图像处理图像数据的时刻的周期性时间，该图像处理图像数据是未图示的动态图像处理部统一转换(编码)的各个群组中包含的、即群组单位的图像处理图像数据。
该情况下的界限时间和图像处理部250进行图像处理的期间的关系成为图4所示的关系。图4是示意地示出本发明的第1实施方式的存储器访问装置中的界限时间和图像处理的期间的关系的另一例的图。在图4中，示意地示出针对各个群组设定的界限时间、图像处理部250对各个帧进行图像处理的图像处理期间、与各个群组中包含的帧对应的期间(群组处理期间)、未图示的动态图像处理部对各个群组中包含的多个帧的图像处理图像数据进行统一转换(编码)的期间(编码期间)的关系的一例。另外，图4所示的动态图像模式中的界限时间和图像处理期间的关系的一例是将3个帧设为一个群组时的一例。
另外，在图4中，与图3所示的拍摄模式中的界限时间和图像处理期间的关系的一例同样，对总线主控器2501中的读DMA传输的动作期间、图像处理模块2502中的图像处理的动作期间、总线主控器2503中的写DMA传输的动作期间分别进行合并，作为图像处理部250中的图像处理期间进行表示。另外，在图4所示的界限时间和图像处理期间的关系的一例中，也与图3所示的拍摄模式中的界限时间和图像处理期间的关系的一例同样，示出总线主控器2501所具有的面缓冲器2501B和总线主控器2503所具有的面缓冲器2503B分别是双缓冲器的结构时的动作期间。
此外，在图4中，示出未图示的动态图像处理部从DRAM30取得(读出)各个群组中包含的多个帧(3帧)的图像处理图像数据并作为一个群组统一进行转换处理(编码处理)的期间，作为编码期间。
如图4所示，各个群组中的界限时间被设定为未图示的动态图像处理部开始从DRAM30取得(读出)多个帧的图像处理图像数据的时刻。然后，图像处理部250进行图像处理，以使得在针对各个群组设定的界限时间之前结束群组中包含的3帧的图像处理。
此时，优先级切换控制部2504根据群组单位的剩余处理时间、群组的界限时间、以及当前的经过时间，计算群组单位的处理富余时间，该群组单位的剩余处理时间是基于从图像处理模块2502输出的图像处理进展状况信号PS计算出的。即，优先级切换控制部2504以汇集了群组中包含的3帧的单位，进行剩余处理时间的计算和处理富余时间的计算。在图4中，还一并示出优先级切换控制部2504计算出的群组单位的处理富余时间。然后，优先级切换控制部2504根据计算出的群组单位的处理富余时间，以群组单位判定图像处理模块2502进行的图像处理的紧急度。因此，优先级切换控制部2504判定图像处理模块2502进行的图像处理的紧急度，而不考虑图4所示的图像处理模块2502进行图像处理的各个帧中的图像处理期间的长短。
另外，优先级切换控制部2504也可以按照图像处理模块2502进行图像处理的各个帧中的每个图像处理期间，判定图像处理模块2502进行的图像处理的紧急度。该情况下，与图3所示的拍摄模式中的界限时间和图像处理期间的关系的一例同样，优先级切换控制部2504按照各个帧计算处理富余时间，判定图像处理模块2502进行的图像处理的紧急度。
在图4所示的一例中，图像处理部250针对各个群组中包含的3个帧的图像处理在针对各个群组设定的界限时间之前已结束。但是，在图4所示的一例中，与图3所示的一例同样，图像处理部250进行图像处理的图像处理期间按照各个帧而不同。其理由与图3所示的拍摄模式中的界限时间和图像处理期间的关系的一例相同。因此，如图4所示，各个群组的群组处理期间按照各个群组而不同。例如，在图4所示的一例中，群组1的群组处理期间比群组2的群组处理期间长很多。换言之，在图4所示的一例中，群组1的处理富余时间比群组2的处理富余时间短很多。这样，在相同群组中包含的任意帧的图像处理期间比其他帧的图像处理期间长很多的情况下、相同群组中包含的各个帧的图像处理期间整体较长的情况下等，可能产生群组的处理富余时间较短的状态。
优先级切换控制部2504在步骤S130的处理中判定为针对群组1计算出的处理富余时间比紧急度阈值时间短的情况下，判定为图像处理模块2502针对群组1中包含的各个帧进行的图像处理的紧急度高。然后，优先级切换控制部2504根据判定出的结果，生成用于通知将图像处理部250中设定的优先级切换为高的优先级切换信号SW，并将其输出到总线仲裁器220。由此，总线仲裁器220在对各个处理块对DRAM30的访问请求进行仲裁时，根据优先级切换信号SW将图像处理部250的优先级切换为高，优先受理(许可)来自图像处理部250的访问请求。更具体而言，总线仲裁器220例如优先受理(许可)优先级切换信号SW被输出到总线仲裁器220之后的总线主控器2501进行的读DMA传输、总线主控器2503进行的写DMA传输，该优先级切换信号SW通知将图像处理部250中设定的优先级切换为高。
在图4中示出紧急度阈值时间的一例。此外，在图4中，作为优先级切换控制部2504向总线仲裁器220输出的优先级切换信号SW的一例，示出在群组1中包含的帧3的图像处理期间内通知将图像处理部250中设定的优先级切换为高的状态。另外，在图4中，优先级切换信号SW所表示的等级与图3所示的一例相同。
由此，在图4所示的一例中，通过总线仲裁器220优先受理(许可)优先级切换信号SW被输出到总线仲裁器220之后的总线主控器2503进行的写DMA传输，该优先级切换信号SW通知将图像处理部250中设定的优先级切换为高。该情况下，图4所示的群组1的群组处理期间成为比图4中当前所示的群组处理期间短的期间。换言之，图4所示的群组1的处理富余时间成为比图4中当前所示的处理富余时间长的期间。
由此，在图4所示的一例中，能够削减在群组1中输出优先级切换信号以后进行的、图像处理部250针对各个帧的图像处理的结束延迟而超过针对群组1设定的界限时间、从而使摄像装置1中的动态图像模式的一连串图像处理失败的因素，该优先级切换信号通知将图像处理部250的优先级切换为高。即，图像处理部250能够更加可靠地在群组1的界限时间之前结束群组1中包含的各个帧的图像处理，摄像装置1能够没有延迟地进行动态图像模式中的一连串图像处理。
通过这种结构和动作，在第1实施方式的存储器访问装置中，优先级切换控制部2504在步骤S110的处理中，使用从图像处理模块2502输出的图像处理进展状况信号PS，通过第1计算方法～第4计算方法所示的计算方法计算剩余处理时间。而且，在第1实施方式的存储器访问装置中，优先级切换控制部2504在步骤S120的处理中，使用以与图像处理模块2502进行的图像处理对应的思路设定的界限时间、当前的经过时间、以及计算出的剩余处理时间，通过上式(7)计算处理富余时间。而且，在第1实施方式的存储器访问装置中，优先级切换控制部2504在步骤S130的处理中，对计算出的处理富余时间和紧急度阈值时间进行比较，由此判定图像处理模块2502进行的图像处理的紧急度，根据判定出的结果，将用于通知图像处理部250进行的图像处理的紧急度的优先级切换信号SW输出到总线仲裁器220。
更具体而言，在第1实施方式的存储器访问装置中，优先级切换控制部2504在判定为计算出的处理富余时间不比紧急度阈值时间短(处理富余时间为紧急度阈值时间以上)的情况下，将表示图像处理部250进行的图像处理的紧急度低的优先级切换信号SW输出到总线仲裁器220。此外，在第1实施方式的存储器访问装置中，优先级切换控制部2504在判定为计算出的处理富余时间比紧急度阈值时间短的情况下，将表示图像处理部250进行的图像处理的紧急度高的优先级切换信号SW输出到总线仲裁器220。
另外，在第1实施方式的存储器访问装置中，如上所述，优先级切换信号SW是用于请求切换(变更)图像处理部250中的DMA传输的优先级的信号。此时，在第1实施方式的存储器访问装置中，优先级切换控制部2504在图像处理部250执行的图像处理中产生等待的状态而停止之前，判定图像处理模块2502进行的图像处理的紧急度，在较早的时刻将优先级切换信号SW输出到总线仲裁器220。即，在第1实施方式的存储器访问装置中，优先级切换控制部2504在图像处理部250的图像处理期间具有某种程度的富余的状态下，输出优先级切换信号SW，向总线仲裁器220请求切换(变更)图像处理部250的优先级。
由此，在第1实施方式的存储器访问装置中，总线仲裁器220在对各个处理块对DRAM30的访问请求进行仲裁时，在根据从优先级切换控制部2504输出的优先级切换信号SW对图像处理部250的优先级进行切换的状态下，决定对DRAM30的访问请求被受理(许可)的处理块。更具体而言，在第1实施方式的存储器访问装置中，总线仲裁器220在从优先级切换控制部2504输出的优先级切换信号SW表示图像处理部250的优先级低的情况下，受理(许可)优先级被设定为高的摄像图像取入部240或显示处理部260对DRAM30的访问请求。另一方面，在第1实施方式的存储器访问装置中，总线仲裁器220在从优先级切换控制部2504输出的优先级切换信号SW表示图像处理部250的优先级高的情况下，受理(许可)切换为高优先级的图像处理部250对DRAM30的访问请求。
由此，在第1实施方式的存储器访问装置中，图像处理部250针对各个帧的图像处理的结束不会延迟而超过所设定的界限时间。由此，在第1实施方式的存储器访问装置中，能够削减搭载有第1实施方式的存储器访问装置的系统(摄像装置1或图像处理装置20)中的一连串图像处理失败的因素。即，在第1实施方式的存储器访问装置中，能够更加可靠地在所设定的界限时间之前结束图像处理部250中的各个帧的图像处理，能够没有延迟地进行搭载有第1实施方式的存储器访问装置的系统(摄像装置1或图像处理装置20)中的一连串图像处理。
另外，在第1实施方式中，说明了设定与图像处理模块2502进行的图像处理对应的界限时间的若干个思路。但是，在第1实施方式的存储器访问装置中，根据图像处理模块2502进行的图像处理而设定的界限时间的思路不限于上述这种思路。即，关于第1实施方式的存储器访问装置中设定的界限时间的思路，如上所述，优先级切换控制部2504进行控制，以使得在图像处理部250执行的图像处理中产生等待的状态而停止之前，提高图像处理部250输出的访问请求被总线仲裁器220受理(许可)的优先级，只要将这种思路作为基础即可，可以是任意的思路。
根据第1实施方式，构成存储器访问装置(存储器访问装置)，其具有：数据处理部(图像处理模块2502)，其输出请求访问与数据总线(数据总线210)连接的存储器(DRAM30)的访问请求，对所访问的DRAM30的数据(例如预处理图像数据)进行数据处理(图像处理)，并且通知数据处理(图像处理)的进展状况(输出图像处理进展状况信号PS)；优先级切换控制部(优先级切换控制部2504)，其根据从图像处理模块2502通知的数据处理(图像处理)的进展状况(输出的图像处理进展状况信号PS)，判定图像处理模块2502进行的数据处理(图像处理)的紧急度，输出通知切换图像处理模块2502的优先级的优先级切换信号(优先级切换信号SW)；以及总线仲裁器(总线仲裁器220)，其与数据总线210连接，在对针对DRAM30的访问请求进行仲裁时，根据优先级切换信号SW变更从图像处理模块2502输出的访问请求的优先级来进行仲裁，根据通过仲裁而受理的访问请求来控制对DRAM30的访问。
此外，根据第1实施方式，构成如下的存储器访问装置：优先级切换控制部2504根据从图像处理模块2502通知的数据处理(图像处理)的进展状况(输出的图像处理进展状况信号PS)，计算图像处理模块2502进行的数据处理(图像处理)中的剩余处理时间，根据剩余处理时间、作为图像处理模块2502需要完成数据处理(图像处理)的时间而规定的极限时间(界限时间)、以及图像处理模块2502开始进行数据处理(图像处理)后到当前为止的处理时间(当前的经过时间)，计算图像处理模块2502进行数据处理(图像处理)时的处理富余时间，根据处理富余时间和预定的紧急度阈值时间，判定图像处理模块2502进行的数据处理(图像处理)的紧急度。
此外，根据第1实施方式，构成如下的存储器访问装置：优先级切换控制部2504在处理富余时间比预定的紧急度阈值时间短的情况下，判定为图像处理模块2502进行的数据处理(图像处理)的紧急度高，输出通知提高图像处理模块2502的优先级的优先级切换信号SW，在处理富余时间不比紧急度阈值时间短的情况下，判定为图像处理模块2502进行的数据处理(图像处理)的紧急度低，输出通知将图像处理模块2502的优先级依然设为低的优先级切换信号SW，总线仲裁器220在对针对DRAM30的访问请求进行仲裁时，提高从图像处理模块2502输出的访问请求的优先级来进行仲裁，该图像处理模块2502被优先级切换信号SW通知提高优先级。
此外，根据第1实施方式，构成如下的存储器访问装置：图像处理模块2502通知表示数据处理(图像处理)完成的比例的处理完成比例，作为数据处理(图像处理)的进展状况(输出的图像处理进展状况信号PS)，优先级切换控制部2504根据图像处理模块2502中的数据处理(图像处理)的速度(处理速度)和处理量(输出总像素数)、以及被通知的处理完成比例，计算剩余处理时间。
此外，根据第1实施方式，构成如下的存储器访问装置：图像处理模块2502在分成多次来进行数据处理(图像处理)的情况下(将1帧的图像区域分割成包含相同像素数的预处理图像数据的多个矩形块、并按照分割后的各个块进行图像处理的情况下)，通知表示数据处理(图像处理)完成的次数的处理完成数(处理完成块数)作为数据处理(图像处理)的进展状况(输出的图像处理进展状况信号PS)，优先级切换控制部2504根据剩余处理次数(剩余块数)、分开进行的一次数据处理(图像处理)中的处理量(1块的像素数)、以及图像处理模块2502中的数据处理(图像处理)的速度(处理速度)，计算剩余处理时间，该剩余处理次数是基于图像处理模块2502分开进行的数据处理(图像处理)的次数(全部块数)和被通知的处理完成数求出的。
此外，根据第1实施方式，构成如下的存储器访问装置：在分成处理量不同的多次来进行数据处理(图像处理)的情况下(在将1帧的图像区域分割成多个块来进行图像处理时、各个块中包含的像素数不同的情况下)，通知表示到当前为止数据处理(图像处理)结束的处理量的处理完成量(当前的输入像素数)，作为数据处理(图像处理)的进展状况(输出的图像处理进展状况信号PS)，优先级切换控制部2504根据剩余处理量(剩余输入像素数)、以及图像处理模块2502中的数据处理(图像处理)的速度(处理速度)，计算剩余处理时间，该剩余处理量是基于图像处理模块2502进行的数据处理(图像处理)中的整体的处理量(输入总像素数)和被通知的处理完成量(当前的输入像素数)求出的。
此外，根据第1实施方式，构成如下的存储器访问装置：优先级切换控制部2504对剩余处理时间和界限时间中的任意一方或双方乘以由针对时间的比例表示的预定的时间系数后，计算处理富余时间。
此外，根据第1实施方式，构成图像处理装置(图像处理装置20)，该构成图像处理装置(图像处理装置20)具有存储器访问装置(存储器访问装置)，该存储器访问装置(存储器访问装置)具有：数据处理部(图像处理模块2502)，其输出请求访问与数据总线(数据总线210)连接的存储器(DRAM30)的访问请求，对所访问的DRAM30的数据(例如预处理图像数据)进行数据处理(图像处理)，并且通知数据处理(图像处理)的进展状况(输出图像处理进展状况信号PS)；优先级切换控制部(优先级切换控制部2504)，其根据从图像处理模块2502通知的数据处理(图像处理)的进展状况(输出的图像处理进展状况信号PS)，判定图像处理模块2502进行的数据处理(图像处理)的紧急度，输出通知切换图像处理模块2502的优先级的优先级切换信号(优先级切换信号SW)；以及总线仲裁器(总线仲裁器220)，其与数据总线210连接，在对针对DRAM30的访问请求进行仲裁时，根据优先级切换信号SW变更从图像处理模块2502输出的访问请求的优先级来进行仲裁，根据通过仲裁而受理的访问请求来控制对DRAM30的访问。
此外，根据第1实施方式，构成摄像装置(摄像装置1)，该摄像装置(摄像装置1)具有图像处理装置(图像处理装置20)，该图像处理装置(图像处理装置20)具有存储器访问装置(存储器访问装置)，该存储器访问装置(存储器访问装置)具有：数据处理部(图像处理模块2502)，其输出请求访问与数据总线(数据总线210)连接的存储器(DRAM30)的访问请求，对所访问的DRAM30的数据(例如预处理图像数据)进行数据处理(图像处理)，并且通知数据处理(图像处理)的进展状况(输出图像处理进展状况信号PS)；优先级切换控制部(优先级切换控制部2504)，其根据从图像处理模块2502通知的数据处理(图像处理)的进展状况(输出的图像处理进展状况信号PS)，判定图像处理模块2502进行的数据处理(图像处理)的紧急度，输出通知切换图像处理模块2502的优先级的优先级切换信号(优先级切换信号SW)；以及总线仲裁器(总线仲裁器220)，其与数据总线210连接，在对针对DRAM30的访问请求进行仲裁时，根据优先级切换信号SW变更从图像处理模块2502输出的访问请求的优先级来进行仲裁，根据通过仲裁而受理的访问请求来控制对DRAM30的访问。
如上所述，在第1实施方式的存储器访问装置中，在图像处理部250中，图像处理模块2502通过图像处理进展状况信号PS向优先级切换控制部2504通知正在执行的图像处理的进展状况。然后，在第1实施方式的存储器访问装置中，在图像处理部250中，优先级切换控制部2504使用从图像处理模块2502输出的图像处理进展状况信号PS计算剩余处理时间，使用所设定的界限时间、当前的经过时间和计算出的剩余处理时间计算处理富余时间。然后，在第1实施方式的存储器访问装置中，在图像处理部250中，优先级切换控制部2504对计算出的处理富余时间和紧急度阈值时间进行比较，由此判定图像处理模块2502进行的图像处理的紧急度，将用于通知图像处理部250进行的图像处理的紧急度的优先级切换信号SW输出到总线仲裁器220。
由此，在第1实施方式的存储器访问装置中，在图像处理部250中，优先级切换控制部2504能够向总线仲裁器220请求切换(变更)图像处理部250的优先级。然后，在第1实施方式的存储器访问装置中，总线仲裁器220在对各个处理块对DRAM30的访问请求进行仲裁时，在根据从优先级切换控制部2504输出的优先级切换信号SW对图像处理部250的优先级进行切换的状态下，决定对DRAM30的访问请求被受理(许可)的处理块。即，在第1实施方式的存储器访问装置中，在图像处理部250针对各个帧的图像处理的结束延迟而超过所设定的界限时间之前，受理(许可)图像处理部250对DRAM30的访问请求。
由此，在搭载有第1实施方式的存储器访问装置的系统(摄像装置1或图像处理装置20)中，能够削减一连串图像处理失败的因素，能够更加可靠地在所设定的界限时间之前结束图像处理部250中的各个帧的图像处理。由此，在搭载有第1实施方式的存储器访问装置的系统(摄像装置1或图像处理装置20)中，作为系统的动作和功能不会失败，能够没有延迟地顺畅地进行要实现的一连串图像处理。
另外，在第1实施方式的存储器访问装置中，说明了如下结构的情况：在图像处理装置20内具有一个图像处理部250，判定图像处理部250中进行的图像处理的紧急度，将优先级切换信号SW输出到总线仲裁器220。即，在第1实施方式的存储器访问装置中，说明了如下结构的情况：具有1种图像处理的功能，判定实施该图像处理的功能时的紧急度，向总线仲裁器220请求切换(变更)优先级。但是，搭载有本发明的存储器访问装置的系统中实施的图像处理的种类不限于第1实施方式的存储器访问装置所示的1种图像处理。例如，还考虑在搭载有本发明的存储器访问装置的系统中实施多种图像处理。该情况下，在本发明的存储器访问装置中，也可以构成为，通过具有多个图像处理部250，在搭载有本发明的存储器访问装置的系统中实施多种图像处理。
(第2实施方式)
接着，对本发明的第2实施方式的存储器访问装置进行说明。本发明的第2实施方式的存储器访问装置构成为具有多个图像处理部，该图像处理部构成存储器访问装置。另外，在以下的说明中，也对例如被搭载于静态图像用照相机或动态图像用照相机等摄像装置的图像处理装置中具有本发明的第2实施方式的存储器访问装置的情况进行说明。
图5是示出搭载有图像处理装置的摄像装置的概略结构的框图，该图像处理装置具有本发明的第2实施方式中的存储器访问装置。在图5所示的搭载有具有第2实施方式的存储器访问装置的图像处理装置的摄像装置的结构中，包含与图1所示的搭载有具有第1实施方式的存储器访问装置的图像处理装置20的摄像装置1相同的结构要素。因此，在搭载有具有第2实施方式的存储器访问装置的图像处理装置的摄像装置的结构要素中，对与搭载有具有第1实施方式的存储器访问装置的图像处理装置20的摄像装置1的结构要素相同的结构要素标注相同标号，省略与各个结构要素有关的详细说明。此外，还具有图5中未示出的结构要素，但是，在具有第2实施方式的存储器访问装置的图像处理装置的结构中，包含与图1所示的具有第1实施方式的存储器访问装置的图像处理装置20相同的结构要素。因此，在具有第2实施方式的存储器访问装置的图像处理装置的结构要素中，对与具有第1实施方式的存储器访问装置的图像处理装置20的结构要素相同的结构要素标注相同标号，省略与各个结构要素有关的详细说明。另外，在具有第2实施方式的存储器访问装置的图像处理装置的结构要素中，在表示图5中未示出的与具有第1实施方式的存储器访问装置的图像处理装置20的结构要素相同的结构要素时，使用相同标号进行说明。
图5所示的摄像装置2具有图像传感器10、图像处理装置21、DRAM30和显示装置40。此外，图像处理装置21具有总线仲裁器220、DRAM接口部230、摄像图像取入部240、3个图像处理部即图像处理部251-1～图像处理部251-3、优先级切换控制部2514以及显示处理部260。在图像处理装置21中，总线仲裁器220、摄像图像取入部240、3个图像处理部即图像处理部251-1～图像处理部251-3和显示处理部260分别与共同的数据总线210连接。
另外，在图5所示的摄像装置2中，由图像处理装置21所具有的3个图像处理部即图像处理部251-1～图像处理部251-3、优先级切换控制部2514和总线仲裁器220构成第2实施方式的存储器访问装置。
另外，在以下的说明中，在不区分3个图像处理部即图像处理部251-1～图像处理部251-3各自的情况下，简称为“图像处理部251”。
与图1所示的第1实施方式中的摄像装置1同样，摄像装置2也通过图像传感器10拍摄被摄体的静态图像或动态图像，使显示装置40显示与所拍摄的静态图像或动态图像对应的显示图像。另外，与第1实施方式中的摄像装置1同样，摄像装置2也能够使未图示的记录介质记录与所拍摄的静态图像或动态图像对应的记录图像。
与图1所示的第1实施方式中的图像处理装置20同样，图像处理装置21对从图像传感器10输出的像素信号进行预定的图像处理，生成静态图像或动态图像。此外，与第1实施方式中的图像处理装置20同样，图像处理装置21生成与所生成的静态图像或动态图像对应的显示图像，使显示装置40显示所生成的显示图像。此外，与第1实施方式中的图像处理装置20同样，图像处理装置21还能够生成与所生成的静态图像或动态图像对应的记录图像，使未图示的记录介质记录所生成的记录图像。
在图像处理装置21中，摄像图像取入部240、3个图像处理部即图像处理部251-1～图像处理部251-3和显示处理部260分别是实现图像处理装置21中执行的图像处理的处理功能的处理块。在图像处理装置21中，摄像图像取入部240、3个图像处理部即图像处理部251-1～图像处理部251-3和显示处理部260分别通过经由数据总线210的DMA传输来访问DRAM30。
另外，在图像处理装置21中，也与第1实施方式中的图像处理装置20同样，在各个处理块中设定表示执行图像处理时访问DRAM30时的DMA传输的优先顺位的优先级。与第1实施方式中的图像处理装置20同样，也按照摄像装置2的每个动作模式设定该优先级。
另外，在以下的说明中，与第1实施方式中的图像处理装置20同样，设图像处理装置21所具有的摄像图像取入部240和显示处理部260分别是优先级被设定为高的处理块来进行说明。换言之，设图像处理装置21所具有的3个图像处理部即图像处理部251-1～图像处理部251-3是优先级被设定为低的处理块来进行说明。
总线仲裁器220根据各个处理块的优先级，对与数据总线210连接的图像处理装置21内的各个处理块通过DMA传输访问DRAM30的访问请求(DMA请求)进行仲裁，在与被受理了访问请求的处理块之间，经由数据总线210进行数据的交换。
与第1实施方式中的图像处理装置20所具有的图像处理部250同样，图像处理部251-1～图像处理部251-3分别是对DRAM30中存储的图像数据实施预定的图像处理的处理块。因此，在图像处理部251-1～图像处理部251-3中，也进行用于取得(读出)作为实施图像处理的对象的图像数据的DMA传输(读DMA传输)、以及用于将实施图像处理而生成的图像数据存储(写入)到DRAM30中的DMA传输(写DMA传输)。因此，与第1实施方式中的图像处理装置20内的图像处理部250同样，在图像处理部251-1～图像处理部251-3中分别具有总线主控器2501、图像处理模块2502和总线主控器2503。
另外，在图像处理部251-1～图像处理部251-3中，分别不具有第1实施方式中的图像处理装置20内的图像处理部250所具有的优先级切换控制部2504。取而代之，在图像处理装置21中，如上所述具有优先级切换控制部2514。即，在图像处理装置21中，代替第1实施方式中的图像处理部250所具有的优先级切换控制部2504，而具有图像处理部251-1～图像处理部251-3中的各个图像处理部共同的一个优先级切换控制部2514。
在图像处理装置21中，图像处理部251-1～图像处理部251-3分别对DRAM30中存储的图像数据依次实施预定的图像处理。因此，图像处理部251-1～图像处理部251-3分别通过读DMA传输从DRAM30取得(读出)的图像数据不限于预处理图像数据。
更具体而言，首先，图像处理部251-1对DRAM30中存储的预处理图像数据实施预定的图像处理，再次将其存储(写入)到DRAM30中。接着，图像处理部251-2对DRAM30中存储的由图像处理部251-1存储(写入)的图像数据实施预定的图像处理，再次将其存储(写入)到DRAM30中。最后，图像处理部251-3对DRAM30中存储的由图像处理部251-2存储(写入)的图像数据实施预定的图像处理，再次将其存储(写入)到DRAM30中。这样，在图像处理装置21中，通过图像处理部251-1～图像处理部251-3分别对DRAM30中存储的预处理图像数据依次实施3种图像处理。
图像处理部251所具有的总线主控器2501、图像处理模块2502和总线主控器2503分别与第1实施方式中的图像处理部250所具有的总线主控器2501、图像处理模块2502和总线主控器2503相同。因此，省略与图像处理部251所具有的总线主控器2501、图像处理模块2502和总线主控器2503分别有关的详细说明。但是，如上所述，在图像处理装置21中，通过图像处理部251-1～图像处理部251-3分别对DRAM30中存储的预处理图像数据依次实施3种图像处理。因此，图像处理部251-1～图像处理部251-3分别所具有的图像处理模块2502实现不同的图像处理的功能。
另外，在以下的说明中，在区分图像处理部251-1～图像处理部251-3分别所具有的图像处理模块2502的情况下，接着图像处理模块2502的标号，赋予对各个图像处理部251赋予的“-”和接着该“-”的数字进行表示。更具体而言，将图像处理部251-1所具有的图像处理模块2502表示为“图像处理模块2502-1”。此外，将图像处理部251-2所具有的图像处理模块2502表示为“图像处理模块2502-2”。此外，将图像处理部251-3所具有的图像处理模块2502表示为“图像处理模块2502-3”。
另外，在图5所示的图像处理装置21中，统一示出图像处理部251-1～图像处理部251-3分别所具有的图像处理模块2502输出的图像处理进展状况信号PS，但是，图像处理进展状况信号PS是通知图像处理部251-1～图像处理部251-3分别所具有的图像处理模块2502中正在执行的图像处理的进展状况的信号。因此，在以下的说明中，在区分为了通知图像处理部251-1～图像处理部251-3分别所具有的图像处理模块2502正在进行的图像处理的进展状况而输出的图像处理进展状况信号PS的情况下，也接着图像处理进展状况信号PS的信号名，赋予对各个图像处理部251赋予的“-”和接着该“-”的数字进行表示。更具体而言，将图像处理部251-1所具有的图像处理模块2502-1输出的图像处理进展状况信号PS表示为“图像处理进展状况信号PS-1”。此外，将图像处理部251-2所具有的图像处理模块2502-2输出的图像处理进展状况信号PS表示为“图像处理进展状况信号PS-2”。此外，将图像处理部251-3所具有的图像处理模块2502-3输出的图像处理进展状况信号PS表示为“图像处理进展状况信号PS-3”。
与第1实施方式中的图像处理部250所具有的优先级切换控制部2504同样，优先级切换控制部2514将图像处理部251的DMA传输的优先级通知给总线仲裁器220，在总线仲裁器220对各个处理块对DRAM30的访问请求进行仲裁时考虑该优先级。
更具体而言，与第1实施方式中的优先级切换控制部2504同样，优先级切换控制部2514也根据从图像处理部251所具有的图像处理模块2502输出的图像处理进展状况信号PS，计算图像处理部251进行图像处理时的剩余处理时间。然后，与第1实施方式中的优先级切换控制部2504同样，优先级切换控制部2514也根据计算出的剩余处理时间、作为图像处理部251需要完成1帧的图像处理的时间而规定的图像处理的界限时间、以及当前的经过时间，判定图像处理部251进行的图像处理的紧急度。然后，与第1实施方式中的优先级切换控制部2504同样，优先级切换控制部2514也根据判定出的结果，生成用于通知图像处理部251进行的图像处理的紧急度的优先级切换信号SW，将其输出到总线仲裁器220。
与第1实施方式中的优先级切换控制部2504输出的优先级切换信号SW同样，优先级切换控制部2514输出的优先级切换信号SW也通知希望在提高图像处理部251的优先级的状态下进行仲裁、即希望紧急受理(许可)图像处理部251中的DMA传输(读DMA传输或写DMA传输)。即，与第1实施方式中的优先级切换控制部2504输出的优先级切换信号SW同样，优先级切换控制部2514输出的优先级切换信号SW也是用于请求切换(变更)图像处理部251中的DMA传输的优先级的信号。
另外，与第1实施方式中的优先级切换控制部2504同样，优先级切换控制部2514判定图像处理部251的DMA传输的优先级所使用的参数、即判定图像处理模块2502进行的图像处理的紧急度所使用的参数例如也通过图像处理装置21所具有的未图示的CPU等，设定在优先级切换控制部2514的寄存器中。
另外，在图像处理装置21中，图像处理进展状况信号PS-1～图像处理进展状况信号PS-3分别从图像处理部251-1～图像处理部251-3输出到优先级切换控制部2514。因此，优先级切换控制部2514根据从图像处理部251-1～图像处理部251-3分别输出的各个图像处理进展状况信号即图像处理进展状况信号PS-1～图像处理进展状况信号PS-3，按照每个图像处理部251计算剩余处理时间。然后，优先级切换控制部2514根据按照每个图像处理部251计算出的剩余处理时间、界限时间和当前的经过时间计算处理富余时间，判定通过各个图像处理部251进行的图像处理的紧急度。此时，优先级切换控制部2514根据所设定的界限时间，按照图像处理部251-1～图像处理部251-3分别依次进行的一连串图像处理的单位，或按照每个图像处理部251，判定图像处理的紧急度。
另外，优先级切换控制部2514判定各个图像处理部251进行的图像处理的紧急度的方法与图2所示的第1实施方式中的优先级切换控制部2504判定图像处理部250进行的图像处理的紧急度的方法相同。因此，省略与优先级切换控制部2514判定各个图像处理部251进行的图像处理的紧急度的方法有关的详细说明。但是，如上所述，优先级切换控制部2514根据所设定的界限时间，按照图像处理部251-1～图像处理部251-3分别依次进行的一连串图像处理的单位，或按照每个图像处理部251，判定图像处理的紧急度，因此，界限时间的设定的思路和根据所设定的界限时间判定图像处理的紧急度的方法在后面叙述。
然后，优先级切换控制部2514根据判定出的结果，生成用于通知切换各个图像处理部251中设定的优先级的优先级切换信号SW，将其输出到总线仲裁器220。此时，优先级切换控制部2514生成与图像处理部251-1～图像处理部251-3分别对应的优先级切换信号SW，将其输出到总线仲裁器220。由此，总线仲裁器220在对各个处理块对DRAM30的访问请求进行仲裁时，根据优先级切换信号SW将任意的图像处理部251的优先级切换为高，优先受理(许可)来自优先级切换为高的图像处理部251的访问请求。由此，各个图像处理部251能够在规定的图像处理的界限时间之前完成图像处理，而不会在要执行的图像处理中产生等待的状态而停止。
另外，与第1实施方式中的优先级切换控制部2504同样，优先级切换控制部2514也可以一并通知使来自图像处理部251所具有的总线主控器2501的读DMA传输的访问请求和来自总线主控器2503的写DMA传输的访问请求中的、来自哪个总线主控器的访问请求更加优先的信息，作为优先级切换信号SW。即，优先级切换控制部2514也可以根据图像处理装置21中图像处理部251-1～图像处理部251-3分别依次执行的一连串图像处理的进展状况，对要优先的DMA传输的顺序进行控制，以使得图像处理没有延迟地顺畅地结束。
根据这种结构，摄像装置2通过图像传感器10拍摄被摄体的静态图像或动态图像，使显示装置40显示与所拍摄的静态图像或动态图像对应的显示图像。此外，摄像装置2还能够使未图示的记录介质记录与通过图像传感器10拍摄的静态图像或动态图像对应的记录图像。
此外，在摄像装置2中，由图像处理装置21所具有的3个图像处理部即图像处理部251-1～图像处理部251-3、优先级切换控制部2514和总线仲裁器220构成第2实施方式的存储器访问装置。换言之，在图像处理装置21中，在与DRAM30之间通过DMA传输进行图像数据的交换的处理块中的、作为优先级低的处理块的3个图像处理部即图像处理部251-1～图像处理部251-3，与优先级切换控制部2514和总线仲裁器220组合，构成第2实施方式的存储器访问装置。
而且，在第2实施方式的存储器访问装置中，图像处理部251-1～图像处理部251-3分别将用于通知正在实施的图像处理的进展状况的图像处理进展状况信号PS-1～图像处理进展状况信号PS-3，输出到优先级切换控制部2514。而且，在第2实施方式的存储器访问装置中，优先级切换控制部2514根据从各个图像处理部251输出的图像处理进展状况信号PS所表示的图像处理的进展状况，判定各个图像处理部251所具有的图像处理模块2502进行的图像处理的紧急度，将用于通知图像处理部251中的DMA传输的优先级的优先级切换信号SW输出到总线仲裁器220。
由此，在第2实施方式的存储器访问装置中，在总线仲裁器220受理(许可)来自各个处理块的访问请求时，在优先级切换信号SW表示任意的图像处理部251中执行的图像处理的紧急度高的情况下，将该图像处理部251的优先级切换为高，优先受理(许可)来自优先级切换为高的图像处理部251的访问请求。由此，各个图像处理部251(更具体而言为图像处理模块2502)不使要执行的图像处理停止，能够在规定的图像处理的界限时间之前完成图像处理。由此，在搭载有第2实施方式的存储器访问装置的系统(摄像装置2或图像处理装置21)中，可能成为作为系统的动作和功能失败的因素的各个图像处理部251(图像处理模块2502)的动作不会停止，能够没有延迟地顺畅地对图像数据进行一连串图像处理。
接着，对第2实施方式的存储器访问装置的动作的一例进行说明。如上所述，在构成第2实施方式的存储器访问装置的图像处理装置21中，图像处理部251-1～图像处理部251-3分别对DRAM30中存储的图像数据依次进行图像处理。在以下的说明中，设为按照图像处理部251-1、图像处理部251-2、图像处理部251-3的顺序进行图像处理来进行说明。即，设为在图像处理装置21中，进行分别由图像处理部251-1～图像处理部251-3进行的3种图像处理作为一连串图像处理，来进行说明。
另外，在具有多个图像处理部的图像处理装置中，各个图像处理部对1帧的图像数据依次进行图像处理，由此完成一连串图像处理。但是，该情况下，图像处理装置中进行的一连串图像处理所需要的时间较长。即，从作为进行图像处理的对象的1帧图像数据的输入到实施了一连串图像处理的最终的1帧图像数据的输出为止的延迟时间(所谓的延时(latency))较长。
例如，在图像处理装置21中，考虑图像处理部251-1～图像处理部251-3分别对1帧的图像数据依次进行图像处理、由此完成一连串图像处理的情况。该情况下，在图像处理装置21中，从图像处理部251-1从DRAM30取得(读出)1帧的预处理图像数据时到各个图像处理部251实施图像处理、图像处理部251-3将1帧的图像处理图像数据存储(写入)到DRAM30为止的一连串图像处理所需要的时间较长。这是因为，在各个图像处理部251对1帧的图像数据依次进行图像处理的情况下，在前级的图像处理部251正在进行图像处理的期间内，后级的图像处理部251无法进行图像处理。
更具体而言，在第1级图像处理部251-1正在对1帧的预处理图像数据进行图像处理的期间内，第2级图像处理部251-2和第3级图像处理部251-3无法进行图像处理。此外，在第2级图像处理部251-2正在对1帧的预处理图像数据进行图像处理的期间内，第3级图像处理部251-3无法进行图像处理。因此，图像处理装置21中完成一连串图像处理所需要的时间(延迟时间)成为第1级图像处理部251-1中图像处理所需要的时间、第2级图像处理部251-2中图像处理所需要的时间和第3级图像处理部251-3中图像处理所需要的时间的合计。
这样，在具有多个图像处理部的图像处理装置中，当各个图像处理部对1帧的图像数据依次进行图像处理时，一连串图像处理所需要的时间较长。
因此，在具有多个图像处理部251的图像处理装置21中，为了缩短一连串图像处理所需要的时间，如图6所示，将1帧的图像区域分割成预定数量的块，各个图像处理部251对分割后的块中包含的图像数据依次进行图像处理，由此，多个图像处理部251并列进行图像处理。图6是示意地示出具有本发明的第2实施方式中的存储器访问装置的图像处理装置21中对要进行图像处理的(1帧的)图像区域进行分割的一例的图。在图6中，示出将1帧的图像区域分割成3个块的情况。该情况下，在图像处理装置21中，各个图像处理部251能够对分割后的块中包含的图像数据并列进行图像处理。
更具体而言，首先，图像处理部251-1对DRAM30中存储的块1的预处理图像数据实施图像处理(以下称为“图像处理-1”)，再次将其存储(写入)到DRAM30中。接着，图像处理部251-1开始对DRAM30中存储的块2的预处理图像数据进行图像处理-1。此时，图像处理部251-2能够开始对图像处理部251-1实施图像处理-1并存储(写入)到DRAM30中的块1的图像数据进行图像处理(以下称为“图像处理-2”)。
然后，图像处理部251-1将对块2的预处理图像数据实施图像处理-1后的图像数据再次存储(写入)到DRAM30中，接着，开始对DRAM30中存储的块3的预处理图像数据进行图像处理-1。此时，图像处理部251-2在对被图像处理部251-1实施了图像处理-1的块1的图像数据实施图像处理-2后的图像数据对DRAM30的存储(写入)结束的情况下，接着，能够开始对被图像处理部251-1实施了图像处理-1的块2的图像数据进行图像处理-2。此外，图像处理部251-3能够开始对被图像处理部251-2实施图像处理-2并存储(写入)到DRAM30中的块1的图像数据进行图像处理(以下称为“图像处理-3”)。
然后，图像处理部251-1将对块3的预处理图像数据实施了图像处理-1的图像数据存储(写入)到DRAM30中，完成处理。此时，图像处理部251-2在对被图像处理部251-1实施了图像处理-1的块2的图像数据实施图像处理-2后的图像数据对DRAM30的存储(写入)结束的情况下，接着，能够开始对被图像处理部251-1实施了图像处理-1的块3的图像数据进行图像处理-2。此外，图像处理部251-3在对被图像处理部251-2实施了图像处理-2的块1的图像数据实施图像处理-3后的图像数据对DRAM30的存储(写入)结束的情况下，接着，能够开始对被图像处理部251-2实施了图像处理-2的块2的图像数据进行图像处理-3。
然后，图像处理部251-2对被图像处理部251-1实施了图像处理-1的块3的图像数据实施图像处理-2，并将所得的图像数据存储(写入)到DRAM30中，完成处理。此时，图像处理部251-3在对被图像处理部251-2实施了图像处理-2的块1的图像数据实施图像处理-3后的图像数据对DRAM30的存储(写入)结束的情况下，接着，能够开始对被图像处理部251-2实施了图像处理-2的块3的图像数据进行图像处理-3。
最后，图像处理部251-3对被图像处理部251-2实施了图像处理-2的块3的图像数据实施图像处理-3，并将所得的图像数据存储(写入)到DRAM30中，完成处理。
这样，在将1帧的图像区域分割成预定数量的块的情况下，各个图像处理部251能够对相互不同的块中包含的图像数据并列进行图像处理。由此，在具有多个图像处理部251的图像处理装置21中，能够缩短一连串图像处理所需要的时间。
另外，在图6中，示出将1帧的图像区域在垂直方向上分割成3个块的情况的一例，但是，1帧的图像区域的分割方法不限于图6所示的分割方法。例如，也可以将1帧的图像区域在水平方向上分割成多个块，还可以将1帧的图像区域在垂直方向和水平方向上分割成多个块。此外，例如，也可以将对1帧的图像区域进行分割而得的各个块区域进一步分割成多个小块。该情况下，图像处理部251也可以分别输出表示当前正在进行处理的块中分割而得的多个小块中的、到当前时点为止完成图像处理的小块的数量的信号，作为用于通知各个块中的图像处理的进展状况的图像处理进展状况信号PS。
另外，在具有多个图像处理部251的第2实施方式的存储器访问装置中，也与第1实施方式的存储器访问装置同样，规定界限时间以使摄像装置2或图像处理装置21中的作为系统的动作和功能不会失败。因此，在第2实施方式的存储器访问装置中，设定到图像处理部251进行的一连串图像处理结束为止的时间作为界限时间，以不会在各个图像处理部251进行的一连串图像处理中产生等待的状态而停止。即，在第2实施方式的存储器访问装置中，也基于如下思路来设定界限时间：优先级切换控制部2514进行控制，以使得在各个图像处理部251执行的一连串图像处理中产生等待的状态而停止之前，提高各个图像处理部251输出的访问请求被总线仲裁器220受理(许可)的优先级。而且，在具有多个图像处理部251的第2实施方式的存储器访问装置中，以与图像处理部251的结构和图像处理部251进行的一连串图像处理对应的各种思路设定界限时间。
这里，对根据由多个图像处理部251进行的一连串图像处理而设定的界限时间的思路的一例进行说明。另外，在以下的说明中，对在将1帧的图像区域如图6所示分割成3个块的情况下、以3个图像处理部即图像处理部251-1～图像处理部251-3分别依次进行的一连串图像处理为单位设定的界限时间的思路的一例进行说明。
例如，考虑摄像装置2的动作模式是进行被摄体的静态图像的拍摄的拍摄模式的情况。该情况下，各个图像处理部251需要在显示处理部260取得(读出)DRAM30中存储的图像处理图像数据以使显示装置40显示与图像处理图像数据对应的显示图像的时刻之前，将实施了一连串图像处理的图像处理图像数据(静态图像数据)存储(写入)到DRAM30中。因此，关于界限时间，根据显示处理部260从DRAM30取得(读出)各个帧的图像处理图像数据的时刻，设定生成图像处理图像数据(静态图像数据)的最终级的图像处理部251即第3级图像处理部251-3结束最终的图像处理图像数据(静态图像数据)对DRAM30的存储(写入)的时间。
该情况下的界限时间和各个图像处理部251进行图像处理的期间的关系成为图7所示的关系。图7是示意地示出本发明的第2实施方式的存储器访问装置中的界限时间和图像处理的期间的关系的一例的图。在图7中，示意地示出针对各个块设定的界限时间、各个图像处理部251对各个块进行图像处理的图像处理期间、以及显示处理部260使显示装置40显示与1帧的图像处理图像数据对应的显示图像的期间(显示期间)的关系的一例。
更具体而言，在图7中，示出图像处理部251-1对各个块进行图像处理的图像处理期间(图像处理期间-1)、图像处理部251-2对各个块进行图像处理的图像处理期间(图像处理期间-2)、以及图像处理部251-3对各个块进行图像处理的图像处理期间(图像处理期间-3)。另外，图像处理期间-1是对图像处理部251-1从DRAM30取得(读出)块中包含的预处理图像数据的读DMA传输的动作期间、对所取得的块的预处理图像数据实施图像处理(图像处理-1)的动作期间、以及将实施图像处理-1后的块的图像数据存储(写入)到DRAM30中的写DMA传输的动作期间进行合并而得到的图像处理期间。此外，图像处理期间-2是对图像处理部251-2从DRAM30取得(读出)块中包含的实施图像处理-1而得的图像数据的读DMA传输的动作期间、对所取得的块的图像数据实施图像处理(图像处理-2)的动作期间、以及将实施图像处理-2后的块的图像数据存储(写入)到DRAM30中的写DMA传输的动作期间进行合并而得到的图像处理期间。此外，图像处理期间-3是对图像处理部251-3从DRAM30取得(读出)块中包含的实施图像处理-2而得的图像数据的读DMA传输的动作期间、对所取得的块的图像数据实施图像处理(图像处理-3)的动作期间、以及将实施图像处理-3后的块的图像数据存储(写入)到DRAM30中的写DMA传输的动作期间进行合并而得到的图像处理期间。
此外，在图7中，示出显示处理部260从DRAM30取得(读出)各个块的图像处理图像数据并进行显示处理以使显示装置40显示与1帧的图像处理图像数据对应的显示图像的期间，作为显示期间。另外，显示处理部260能够在针对分割后的3个块的图像处理图像数据的显示处理完成、即1帧的显示图像的生成结束后，将所生成的显示图像输出到显示装置40使其进行显示。
如图7所示，各个块中的界限时间被设定为显示处理部260开始从DRAM30取得(读出)各个块的图像处理图像数据的时刻。即，以图像处理部251-1～图像处理部251-3分别对相同块依次进行的一连串图像处理为单位设定各个块的界限时间。因此，各个图像处理部251进行图像处理，以使得在针对各个块设定的界限时间之前结束一连串图像处理。
此时，优先级切换控制部2514根据从各个图像处理部251输出的各个图像处理进展状况信号PS，计算各个图像处理部251中的剩余处理时间。然后，优先级切换控制部2514对计算出的图像处理部251的各个剩余处理时间进行合计，计算各个图像处理部251进行的一连串图像处理的剩余处理时间。然后，优先级切换控制部2514根据计算出的一连串图像处理的剩余处理时间、块的界限时间和当前的经过时间，计算各个块中的处理富余时间。在图7中，还一并示出优先级切换控制部2514计算出的各个块中的处理富余时间。然后，优先级切换控制部2514根据计算出的各个块的处理富余时间，判定各个图像处理部251进行的一连串图像处理的紧急度。
另外，优先级切换控制部2514根据块的处理富余时间判定一连串图像处理的紧急度的方法与第1实施方式中的优先级切换控制部2504相同。即，优先级切换控制部2514对计算出的各个块的处理富余时间和紧急度阈值时间进行比较，在处理富余时间为紧急度阈值时间以上的情况下，判定为各个图像处理部251进行的一连串图像处理的紧急度低，在处理富余时间比紧急度阈值时间短的情况下，判定为各个图像处理部251进行的一连串图像处理的紧急度高。
然后，优先级切换控制部2514根据判定出的结果，生成用于通知切换各个图像处理部251中设定的优先级的优先级切换信号SW，将其输出到总线仲裁器220。由此，总线仲裁器220在对各个处理块对DRAM30的访问请求进行仲裁时，优先受理(许可)来自根据优先级切换信号SW优先级切换为高的图像处理部251的访问请求。更具体而言，总线仲裁器220优先受理(许可)从图像处理部251-1～图像处理部251-3分别输出的读DMA传输的访问请求或写DMA传输的访问请求。
在图7所示的一例中，示出各个图像处理部251中的图像处理在针对各个块设定的界限时间之前结束的情况。但是，在图7中，示出紧急度阈值时间的一例和优先级切换控制部2514向总线仲裁器220输出的优先级切换信号SW的一例。在图7所示的优先级切换信号SW的一例中，在图像处理部251-3中的块1的图像处理期间-3内，通知将各个图像处理部251中设定的优先级切换为高。另外，在图7中，优先级切换信号SW所表示的等级与图3和图4所示的第1实施方式的存储器访问装置中的优先级切换信号SW的一例相同。
这里，如图7所示的一例那样，当在图像处理部251-3中的块1的图像处理期间-3内输出了通知将各个图像处理部251中设定的优先级切换为高的优先级切换信号SW的情况下，总线仲裁器220能够优先受理(许可)从图像处理部251-2和图像处理部251-3分别输出的读DMA传输的访问请求或写DMA传输的访问请求。因此，在假设比来自图像处理部251-3的访问请求更早地输出了来自图像处理部251-2的访问请求的情况下，总线仲裁器220考虑优先受理(许可)从图像处理部251-2输出的访问请求。但是，图像处理部251-3正在对块1执行一连串图像处理，图像处理部251-2正在对块3执行一连串图像处理。因此，优先级切换控制部2514判定为需要先结束一连串图像处理的、正在对块1执行一连串图像处理的图像处理部251-3的图像处理的紧急度高，将通知将图像处理部251-3中设定的优先级切换为高的优先级切换信号SW输出到总线仲裁器220。
另外，优先级切换控制部2514通知将多个图像处理部251中的哪个图像处理部251中设定的优先级切换为高的方法是如下的方法：生成与多个图像处理部251分别对应的多个优先级切换信号SW，仅使与任意的图像处理部251对应的优先级切换信号SW成为表示将优先级切换为高的状态。但是，作为优先级切换控制部2514通知将多个图像处理部251中的哪个图像处理部251中设定的优先级切换为高的方法，例如也可以是如下的方法：与全部图像处理部251中共同的优先级切换信号SW一起，输出表示将哪个图像处理部251中设定的优先级切换为高的信息。
由此，总线仲裁器220优先受理(许可)从图像处理部251-3输出的读DMA传输的访问请求或写DMA传输的访问请求。
由此，在图7所示的一例中，图像处理部251-3中的块1的图像处理期间-3成为比图7中当前所示的图像处理期间-3短的期间。换言之，图7所示的块1的处理富余时间成为比图7中当前所示的块1的处理富余时间长的期间。
由此，在图7所示的一例中，能够削减各个图像处理部251针对块1进行的一连串图像处理超过块1的界限时间而使摄像装置2中的拍摄模式的一连串图像处理失败的因素。即，各个图像处理部251能够更加可靠地在块1的界限时间之前结束针对块1的一连串图像处理，摄像装置2能够没有延迟地进行拍摄模式中的一连串图像处理。
另外，如上所述，优先级切换控制部2514按照每个图像处理部251计算剩余处理时间。因此，优先级切换控制部2514能够按照每个图像处理部251判定图像处理的紧急度。该情况下，优先级切换控制部2514也根据判定出的结果，将与图像处理部251分别对应的优先级切换信号SW输出到总线仲裁器220。由此，总线仲裁器220能够在对各个处理块对DRAM30的访问请求进行仲裁时，根据与各个图像处理部251对应的优先级切换信号SW，优先受理(许可)来自任意的图像处理部251的访问请求。
接着，对根据由多个图像处理部251进行的一连串图像处理而设定的界限时间的思路的另一例进行说明。在按照每个图像处理部251设定界限时间的情况下，通过以下这种步骤求出各个界限时间并进行设定。
(步骤1)：首先，设定一连串图像处理中的基准时间。
更具体而言，设定一连串图像处理中的最终级的图像处理部251需要结束图像处理的绝对极限(界限)时间作为基准时间。这是因为，需要确保最终级的图像处理部251结束最终的图像处理图像数据(静态图像数据)对DRAM30的存储(写入)的时间，以使得摄像装置2或图像处理装置21中的作为系统的动作和功能不会失败。
(步骤2)：接着，从作为基准的时间起追溯各个图像处理部251依次进行的图像处理所需要的时间，临时设定进行一连串图像处理的各个图像处理部251中的界限时间。
这里，各个图像处理部251中的图像处理所需要的时间是各个图像处理部251在1块的图像处理中需要的处理时间。因此，例如，能够与上式(1)中计算总处理时间的方法同样地计算图像处理所需要的时间。此时，在计算图像处理所需要的时间的情况下，将上式(1)中的输出总像素数设为图像处理部251进行图像处理而输出的1块的图像处理图像数据(静态图像数据或动态图像数据)的像素数。另外，各个图像处理部251中的图像处理所需要的时间是1块的图像处理所需要的处理时间即可，可以通过任意的方法求出。例如，也可以是各个图像处理部251最快进行1块的图像处理时的处理时间。
更具体而言，作为最终级的图像处理部251进行的图像处理的临时界限时间，设定作为基准时间而设定的一连串图像处理中的绝对极限(界限)时间。然后，作为最终级的图像处理部251的前1级的图像处理部251进行的图像处理的临时界限时间，设定从所设定的最终级的图像处理部251的临时界限时间减去最终级的图像处理部251进行的图像处理所需要的时间而得到的时间。然后，作为前1级的图像处理部251的更前1级(即前2级)的图像处理部251进行的图像处理的临时界限时间，设定从所设定的前1级的图像处理部251的临时界限时间减去前1级的图像处理部251进行的图像处理所需要的时间而得到的时间。反复进行这种运算，依次设定各个图像处理部251进行的图像处理的临时界限时间(以下称为“临时界限时间”)，直到由各个图像处理部251依次进行的一连串图像处理中的初级的图像处理部251为止。
(步骤3)：接着，求出为了在一连串图像处理中最终级的图像处理部251结束最终的图像处理图像数据(静态图像数据)对DRAM30的存储(写入)，初级的图像处理部251必须开始进行图像处理的时间。
更具体而言，将从针对初级的图像处理部251设定的临时界限时间减去初级的图像处理部251进行的图像处理所需要的时间而得到的时间，设为初级的图像处理部251必须开始进行图像处理的时间(以下称为“图像处理开始时间”)。
(步骤4)：接着，求出一连串图像处理中初级的图像处理部251能够开始进行图像处理的时间(以下称为“图像处理可开始时间”)与图像处理开始时间的差分时间。该差分时间相当于各个图像处理部251进行的一连串图像处理中的合计的处理富余时间。
(步骤5)：最后，将步骤4中求出的差分时间分配给进行一连串图像处理的各个图像处理部251，设定从各个图像处理部251中设定的临时界限时间减去已分配的差分时间而得到的时间，作为各个图像处理部251中的界限时间。另外，将步骤4中求出的差分时间分配给各个图像处理部251的量(时间)可以是在各个图像处理部251中均等的时间。此外，将步骤4中求出的差分时间分配给各个图像处理部251的量(时间)也可以是与根据各个图像处理部251进行的图像处理所需要的时间决定的比例(百分比)对应的时间。即，可以对图像处理需要更多时间的图像处理部251分配更多的差分时间。
针对进行一连串图像处理的各个图像处理部251设定通过这种步骤求出的界限时间。另外，上述步骤1～步骤5是在进行1个块的图像处理的情况下按照每个图像处理部251设定界限时间时的步骤。因此，在将1帧的图像区域分割成预定数量的块的情况下，从最初进行图像处理的块起依次到最后进行图像处理的块为止，反复进行上述步骤1～步骤5。
这里，作为按照每个图像处理部251设定界限时间的步骤1～步骤5的更加具体的例子，对在图像处理部251-1～图像处理部251-3中分别设定界限时间的情况进行说明。另外，在以下的说明中，对在摄像装置2的动作模式是进行被摄体的静态图像的拍摄的拍摄模式、且将1帧的图像区域如图6所示分割成3个块的情况下按照每个图像处理部251设定界限时间时的思路的一例进行说明。
图8和图9是示意地示出在本发明的第2实施方式的存储器访问装置中设定界限时间的步骤的一例的图。在图8中，示意地示出在对各个图像处理部251设定界限时间的情况下执行上述步骤1～步骤4时的时间关系的一例。此外，在图9中，示意地示出在对各个图像处理部251设定界限时间的情况下执行上述步骤5时的时间关系的一例。另外，在图8和图9中，示出各个图像处理部251对各个块进行图像处理的图像处理期间，但是，仅示出对各个图像处理部251设定与块1对应的界限时间时的时间关系。即，在图8和图9中，示出图像处理部251-1的图像处理期间-1、图像处理部251-2的图像处理期间-2和图像处理部251-3的图像处理期间-3的各个图像处理期间，但是，关于对各个图像处理部251设定界限时间的步骤，仅示出设定与块1对应的界限时间的情况。此外，在图8和图9中，作为设定为基准时间的绝对极限(界限)时间的一例，示出显示处理部260使显示装置40显示与1帧的图像处理图像数据对应的显示图像的期间(显示期间)。
最初，使用图8对设定与块1对应的界限时间之前的准备阶段的一例进行说明。
在设定界限时间的准备阶段中，首先，在步骤1中，设定一连串图像处理中的基准时间。在图8所示的一例中，为了使显示装置40显示与1帧的图像处理图像数据对应的显示图像，显示处理部260从DRAM30取得(读出)块1的图像处理图像数据并开始进行显示处理的时刻是最终级的图像处理部251-3需要结束针对块1的图像处理的绝对极限(界限)时间。因此，在步骤1中，设定显示处理部260开始从DRAM30取得(读出)块1的图像处理图像数据的时刻作为基准时间。
接着，在步骤2中，设定各个图像处理部251进行的图像处理的临时界限时间。在图8所示的一例中，首先，作为最终级的图像处理部251-3进行的块1的图像处理中的临时界限时间，设定步骤1中作为基准时间设定的绝对极限(界限)时间。然后，作为图像处理部251-3的前级的图像处理部251-2进行的块1的图像处理中的临时界限时间，设定从图像处理部251-3的临时界限时间减去图像处理部251-3中的图像处理期间-3而得到的时间。然后，作为图像处理部251-2的前级、即初级的图像处理部251-1进行的块1的图像处理中的临时界限时间，设定从图像处理部251-2的临时界限时间减去图像处理部251-2中的图像处理期间-2而得到的时间。
接着，在步骤3中，求出初级的图像处理部251-1开始进行块1的图像处理的图像处理开始时间。在图8所示的一例中，求出从图像处理部251-1进行的块1的图像处理中的临时界限时间减去图像处理部251-1中的图像处理期间-1而得到的时间，作为图像处理部251-1中的块1的图像处理开始时间。
接着，在步骤4中，设定初级的图像处理部251-1能够开始进行块1的图像处理的图像处理可开始时间。然后，求出所设定的图像处理可开始时间和步骤3中求出的图像处理开始时间的差分时间。在图8所示的一例中，摄像图像取入部240结束预处理图像数据对DRAM30的存储(写入)的时间是图像处理部251-1能够开始进行块1的图像处理的最早的时间。因此，在步骤4中，将摄像图像取入部240结束预处理图像数据对DRAM30的存储(写入)的时间设为图像处理可开始时间。然后，求出与步骤3中求出的图像处理开始时间之间的差分时间。如上所述，该差分时间相当于各个图像处理部251对块1进行一连串图像处理时的合计的处理富余时间。在图8所示的一例中，与为了判定图像处理部251进行的图像处理的紧急度而由优先级切换控制部2514计算出的处理富余时间进行区分，将通过步骤4求出的差分时间表示为分配前的块1的“块处理富余时间”。
接着，使用图9对设定与块1对应的界限时间的阶段的一例进行说明。
在设定界限时间的阶段中，首先，确定最终级的图像处理部251-3中设定的临时界限时间，作为图像处理部251-3进行的块1的图像处理的界限时间来进行设定。在图9所示的一例中，确定步骤2中在图像处理部251-3中设定的临时界限时间、即步骤1中作为基准时间设定的绝对极限(界限)时间，作为图像处理部251-3进行的块1的图像处理中的界限时间来进行设定。然后，在图9所示的一例中，将通过步骤4求出的差分时间(块处理富余时间)中的时间＝T3分配给图像处理部251-3。这里，分配给图像处理部251-3的块处理富余时间＝T3是为了使图像处理部251-3进行的块1的图像处理所需要的处理时间具有富余而临时设定的时间。
然后，确定从图像处理部251-3的前级的图像处理部251-2中设定的临时界限时间减去分配给图像处理部251-3的块处理富余时间而得到的时间，作为图像处理部251-2进行的块1的图像处理的界限时间来进行设定。在图9所示的一例中，确定从步骤2中在图像处理部251-2中设定的临时界限时间减去分配给图像处理部251-3的块处理富余时间＝T3而得到的时间，作为图像处理部251-2进行的块1的图像处理的界限时间来进行设定。然后，在图9所示的一例中，将通过步骤4求出的块处理富余时间中的时间＝T2分配给图像处理部251-2。这里，分配给图像处理部251-2的块处理富余时间＝T2是为了使图像处理部251-2进行的块1的图像处理所需要的处理时间具有富余而临时设定的时间。另外，这里设定的图像处理部251-2的界限时间与从图像处理部251-3的界限时间减去分配给图像处理部251-3的块处理富余时间＝T3、进而减去图像处理部251-3中的图像处理期间-3而得到的时间相同。
然后，确定从图像处理部251-2的前级的图像处理部251-1中设定的临时界限时间减去分配给图像处理部251-3和图像处理部251-2的块处理富余时间而得到的时间，作为图像处理部251-1进行的块1的图像处理的界限时间来进行设定。在图9所示的一例中，确定从步骤2中在图像处理部251-1中设定的临时界限时间减去时间＝T3+T2而得到的时间，作为图像处理部251-1进行的块1的图像处理的界限时间来进行设定，该时间＝T3+T2是对分配给图像处理部251-3的块处理富余时间＝T3和分配给图像处理部251-2的块处理富余时间＝T2进行合并而得到的。然后，在图9所示的一例中，从通过步骤4求出的块处理富余时间减去分配给图像处理部251-3的块处理富余时间＝T3和分配给图像处理部251-2的块处理富余时间＝T2而得到的时间＝T1，被分配给图像处理部251-1。即，将通过步骤4求出的块处理富余时间中的、分别分配给图像处理部251-3和图像处理部251-2的块处理富余时间的剩余时间，分配给图像处理部251-1。这里，分配给图像处理部251-1的块处理富余时间＝T1成为为了使图像处理部251-1进行的块1的图像处理所需要的处理时间具有富余而临时设定的时间。另外，这里设定的图像处理部251-1的界限时间与从图像处理部251-2的界限时间减去分配给图像处理部251-2的块处理富余时间＝T2、进而减去图像处理部251-2中的图像处理期间-2而得到的时间相同。
这样，按照每个图像处理部251设定与块1对应的界限时间。然后，如上所述，对块2进行步骤1～步骤5的步骤，设定与块2对应的界限时间。另外，针对块2进行的步骤4中设定的初级的图像处理部251-1的图像处理可开始时间成为针对块1的步骤5中设定的图像处理部251-1的界限时间。这是因为，图像处理部251-1结束针对块1的图像处理的时间是图像处理部251-1能够开始进行块2的图像处理的最早的时间。
然后，同样，对块3进行步骤1～步骤5的步骤，设定与块3对应的界限时间。
另外，如上所述，针对各个块的步骤5中分别分配给图像处理部251的差分时间(块处理富余时间)是为了使各个图像处理部251进行的各个块的图像处理所需要的处理时间具有富余而临时设定的时间。因此，优先级切换控制部2514根据图像处理进展状况信号PS计算出的剩余处理时间，与根据反复进行步骤1～步骤5的步骤而设定的界限时间和当前的经过时间计算出的处理富余时间有时不同，该图像处理进展状况信号PS是各个图像处理部251实际正在对各个块进行图像处理时输出的。
更具体而言，各个图像处理部251中的针对块的实际的图像处理有时未消耗为了使处理时间具有富余而临时设定的时间(块处理富余时间)而结束。即，实际进行了图像处理后，图像处理部251中临时设定的块处理富余时间有时剩余。该情况下，也可以将未消耗(剩余)的块处理富余时间再次分配给后级的图像处理部251，使后级的图像处理部251进行的相同块的图像处理所需要的处理时间进一步具有富余。另外，将此时未消耗(剩余)的块处理富余时间分配给后级的图像处理部251的量(时间)可以是在后级的图像处理部251中均等的时间。此外，将此时未消耗(剩余)的块处理富余时间分配给后级的图像处理部251的量(时间)也可以是与根据后级的图像处理部251进行的图像处理所需要的时间决定的比例(百分比)对应的时间。即，也可以对图像处理需要更多时间的图像处理部251分配更多的未消耗(剩余)的块处理富余时间。另外，也可以将未消耗(剩余)的块处理富余时间再次分配给后级的图像处理部251，由此，在后级的图像处理部251中，再次重新设定当前设定的界限时间。
另一方面，各个图像处理部251中的针对块的实际的图像处理有时即使消耗为了使处理时间具有富余而临时设定的时间(块处理富余时间)也未结束。即，在图像处理部251中临时设定的块处理富余时间中，有时作为使实际的图像处理所需要的处理时间具有富余的时间也是不足的。该情况下，针对不足的块处理富余时间，消耗作为用于使图像处理所需要的处理时间具有富余的时间而分配给后级的图像处理部251的块处理富余时间，进行图像处理。此时，不足的块处理富余时间可以消耗分配给紧接着的后级的图像处理部251的块处理富余时间。此外，不足的块处理富余时间也可以均等地消耗分配给后级的图像处理部251的块处理富余时间。此外，不足的块处理富余时间也可以根据基于后级的图像处理部251进行的图像处理所需要的时间决定的比例(百分比)进行消耗。此外，不足的块处理富余时间可以消耗被分配最多的块处理富余时间的后级的图像处理部251的块处理富余时间。另外，通过消耗不足的块处理富余时间，在被分配的块处理富余时间较少的后级的图像处理部251中，不会再次对所设定的界限时间进行重新设定，在当前设定的界限时间之前结束图像处理。
由此，优先级切换控制部2514以在后级的图像处理部251中恢复前级的图像处理部251额外消耗的块处理富余时间的方式，判定后级的图像处理部251进行的图像处理的紧急度，生成基于判定出的结果的优先级切换信号SW，将其输出到总线仲裁器220。
由此，在第2实施方式的存储器访问装置中，也与第1实施方式的存储器访问装置同样，各个图像处理部251针对各个块的图像处理的结束不会延迟而超过所设定的块的界限时间。由此，在第2实施方式的存储器访问装置中，也与第1实施方式的存储器访问装置同样，能够削减搭载有第2实施方式的存储器访问装置的系统(摄像装置2或图像处理装置21)中的一连串图像处理失败的因素。即，在第2实施方式的存储器访问装置中，也与第1实施方式的存储器访问装置同样，能够更加可靠地在所设定的块的界限时间之前结束各个图像处理部251中的各个块的图像处理，能够没有延迟地进行搭载有第2实施方式的存储器访问装置的系统(摄像装置2或图像处理装置21)中的一连串图像处理。
另外，在第2实施方式中，也说明了设定与图像处理部251针对块进行的图像处理对应的界限时间的若干个思路。但是，在第2实施方式的存储器访问装置中，根据图像处理模块2502进行的图像处理而设定的界限时间的思路不限于上述这种思路。即，关于第2实施方式的存储器访问装置中设定的块的界限时间的思路，如上所述，优先级切换控制部2514进行控制，以使得在各个图像处理部251执行的一连串图像处理中产生等待的状态而停止之前，提高各个图像处理部251输出的访问请求被总线仲裁器220受理(许可)的优先级，只要将这种思路作为基础即可，可以是任意的思路。
根据第2实施方式，构成如下的存储器访问装置(存储器访问装置)：具有按照预定的顺序依次进行一连串处理中对应的数据处理(图像处理)的多个数据处理部(图像处理部251-1～图像处理部251-3)，各个数据处理部在先开始的一连串处理(针对块1的图像处理)中包含的对应的数据处理(图像处理-1～图像处理-3)结束后，开始进行下一个一连串处理(例如针对块2的图像处理)中包含的对应的数据处理(图像处理-1～图像处理-3)，由此，多个数据处理部并列地进行不同的一连串处理(不同的块的图像处理)中包含的对应的数据处理(图像处理-1～图像处理-3)，优先级切换控制部(优先级切换控制部2514)根据从各个数据处理部通知的数据处理(图像处理-1～图像处理-3)的进展状况(输出的图像处理进展状况信号PS)，以一连串处理为单位(以一连串图像处理为单位)判定各个数据处理部进行的数据处理(图像处理)的紧急度，在判定为多个数据处理部中的数据处理(图像处理)的紧急度高的情况下，输出通知提高如下数据处理部(图像处理部251-1～图像处理部251-3中的任意图像处理部)的优先级的优先级切换信号(优先级切换信号SW)，该数据处理部(图像处理部251-1～图像处理部251-3中的任意图像处理部)进行先开始的一连串处理(例如针对块1的图像处理)中包含的对应的数据处理(图像处理)。
此外，根据第2实施方式，构成如下的存储器访问装置(存储器访问装置)：具有按照预定的顺序依次进行一连串处理中对应的数据处理(图像处理)的多个数据处理部(图像处理部251-1～图像处理部251-3)，各个数据处理部在先开始的一连串处理(针对块1的图像处理)中包含的对应的数据处理(图像处理-1～图像处理-3)结束后，开始进行下一个一连串处理(例如针对块2的图像处理)中包含的对应的数据处理(图像处理-1～图像处理-3)，由此，多个数据处理部并列地进行不同的一连串处理(不同的块的图像处理)中包含的对应的数据处理(图像处理-1～图像处理-3)，优先级切换控制部(优先级切换控制部2514)根据基于从各个数据处理部通知的数据处理(图像处理-1～图像处理-3)的进展状况(输出的图像处理进展状况信号PS)计算出的每个数据处理部的剩余处理时间、各个一连串处理(块的图像处理)中按照每个数据处理部设定的极限时间(界限时间)、以及每个数据处理部的处理时间(当前的经过时间)，按照每个数据处理部计算处理富余时间，根据每个数据处理部的处理富余时间和紧急度阈值时间，按照每个数据处理部判定数据处理(图像处理-1～图像处理-3)的紧急度，输出通知提高优先级的优先级切换信号(优先级切换信号SW)，以使得进行各个一连串处理(块的图像处理)中最后对应的数据处理(图像处理-3)的数据处理部(图像处理部251-3)进行的数据处理(图像处理-3)的完成不超过所设定的界限时间。
如上所述，在第2实施方式的存储器访问装置中，各个图像处理部250(图像处理部251所具有的图像处理模块2502)通过图像处理进展状况信号PS向优先级切换控制部2514通知正在执行的图像处理的进展状况。然后，在第2实施方式的存储器访问装置中，优先级切换控制部2514按照每个图像处理部251，使用从图像处理部251输出的图像处理进展状况信号PS计算剩余处理时间，使用所设定的界限时间、当前的经过时间和计算出的剩余处理时间计算处理富余时间。然后，在第2实施方式的存储器访问装置中，优先级切换控制部2514对计算出的处理富余时间和紧急度阈值时间进行比较，由此，按照每个图像处理部251判定图像处理部251所具有的图像处理模块2502进行的图像处理的紧急度，在较早的时刻将用于通知图像处理部250进行的图像处理的紧急度的优先级切换信号SW输出到总线仲裁器220。
由此，在第2实施方式的存储器访问装置中，优先级切换控制部2514能够向总线仲裁器220请求切换(变更)图像处理部251的优先级。然后，在第2实施方式的存储器访问装置中，总线仲裁器220在对各个处理块对DRAM30的访问请求进行仲裁时，在根据从优先级切换控制部2514输出的优先级切换信号SW对任意的图像处理部251的优先级进行切换的状态下，决定对DRAM30的访问请求被受理(许可)的处理块。即，在第2实施方式的存储器访问装置中，在各个图像处理部251针对各个块的一连串图像处理的结束延迟而超过所设定的界限时间之前，受理(许可)任意一个图像处理部251对DRAM30的访问请求。
由此，在搭载有第2实施方式的存储器访问装置的系统(摄像装置2或图像处理装置21)中，能够削减针对分割后的块的一连串图像处理失败的因素，能够更加可靠地在所设定的界限时间之前结束各个图像处理部251中的针对各个块的图像处理。由此，在搭载有第2实施方式的存储器访问装置的系统(摄像装置2或图像处理装置21)中，作为系统的动作和功能不会失败，能够没有延迟地顺畅地进行要实现的一连串图像处理。
如上所述，根据本发明的各实施方式，构成本发明的存储器访问装置的图像处理装置所具有的图像处理部内的图像处理模块，输出用于通知正在对图像数据实施的图像处理的进展状况的图像处理进展状况信号。然后，在本发明的各实施方式中，构成本发明的存储器访问装置的优先级切换控制部根据图像处理进展状况信号PS，计算构成本发明的存储器访问装置的图像处理装置所具有的图像处理部内的图像处理模块进行图像处理时的剩余处理时间。然后，在本发明的各实施方式中，构成本发明的存储器访问装置的优先级切换控制部根据计算出的剩余处理时间、作为图像处理模块需要完成图像处理的时间而规定的图像处理的极限(界限)的时间、以及当前的经过时间，判定图像处理模块进行的图像处理的紧急度。然后，在本发明的各实施方式中，构成本发明的存储器访问装置的优先级切换控制部根据判定出的结果，生成用于通知图像处理模块进行的图像处理的紧急度的优先级切换信号，将其输出到构成本发明的存储器访问装置的总线仲裁器。然后，在本发明的各实施方式中，构成本发明的存储器访问装置的总线仲裁器在对与共同的数据总线连接的各个处理块对DRAM的访问请求进行仲裁时，根据从优先级切换控制部输出的优先级切换信号，提高构成本发明的存储器访问装置的图像处理装置所具有的图像处理部的优先级，优先受理(许可)来自图像处理部的访问请求。由此，在本发明的各实施方式中，构成本发明的存储器访问装置的图像处理装置所具有的图像处理部执行的图像处理的结束不会延迟而超过所规定的极限(界限)的时间。即，在本发明的各实施方式中，不会在构成本发明的存储器访问装置的图像处理装置所具有的图像处理部执行的图像处理中产生等待的状态而停止，能够在所规定的极限(界限)的时间之前完成图像处理。
由此，在本发明的各实施方式中，能够削减搭载有本发明的存储器访问装置的系统中的一连串图像处理失败的因素。即，在本发明的各实施方式中，在搭载有本发明的存储器访问装置的系统中，可能成为作为系统的动作和功能失败的因素的图像处理部(图像处理模块)的动作不会停止，能够没有延迟地顺畅地对图像数据进行一连串图像处理。
另外，在本发明的各实施方式中，说明了本发明的存储器访问装置设置于被搭载于摄像装置的图像处理装置的结构。但是，关于具有在与DRAM之间进行数据传输的存储器访问装置的系统，除了本发明的各实施方式所示的图像处理装置和摄像装置以外，还考虑各种系统。例如，考虑对语音数据进行预定的处理(语音处理)的系统等各种系统。因此，能够应用基于本发明的思路的存储器访问装置的处理装置或系统没有任何限定。即，只要是对在与DRAM之间传输的数据进行预定的处理的处理装置或系统即可，不管是什么样的处理装置或系统，都能够同样地应用本发明的存储器访问装置中的思路。而且，能够得到与本发明的存储器访问装置相同的效果。
以上说明了本发明的优选实施方式，但是，本发明不限于这些实施方式及其变形例。能够在不脱离本发明主旨的范围内进行结构的附加、省略、置换和其他变更。
此外，本发明不由所述说明进行限定，仅由附加的权利要求书进行限定。
产业上的可利用性
根据上述各实施方式，在多个处理块共享DRAM的情况下，即使是优先级低的处理块，也在预先规定的处理时间内结束处理，能够削减系统失败的因素。
标号说明
1、2：摄像装置(摄像装置)；10：图像传感器(摄像装置)；20、21：图像处理装置(摄像装置、图像处理装置)；210：数据总线(摄像装置、图像处理装置)；220：总线仲裁器(图像处理装置、存储器访问装置、总线仲裁器)；230：DRAM接口部(图像处理装置、存储器访问装置、总线仲裁器)；240：摄像图像取入部(摄像装置、图像处理装置)；250、251、251-1、251-2、251-3：图像处理部(图像处理装置、存储器访问装置、数据处理部、优先级切换控制部)；2501：总线主控器(图像处理装置、存储器访问装置、数据处理部)；2501B：面缓冲器(图像处理装置、存储器访问装置、数据处理部)；2502、2502-1、2502-2、2502-3：图像处理模块(存储器访问装置、数据处理部)；2503：总线主控器(图像处理装置、存储器访问装置、数据处理部)；2503B：面缓冲器(图像处理装置、存储器访问装置、数据处理部)；2504、2514：优先级切换控制部(图像处理装置、存储器访问装置、优先级切换控制部)；260：显示处理部(摄像装置、图像处理装置)；30：DRAM(存储器、摄像装置)；40：显示装置(摄像装置)。

Claims (11)

1.一种存储器访问装置，其具有：
数据处理部，其输出请求访问与数据总线连接的存储器的访问请求，并对所访问的所述存储器的数据进行数据处理，并且通知所述数据处理的进展状况；
优先级切换控制部，其根据从所述数据处理部通知的所述数据处理的进展状况，判定所述数据处理部进行的所述数据处理的紧急度，并输出通知切换所述数据处理部的优先级的优先级切换信号；以及
总线仲裁器，其与所述数据总线连接，在对针对所述存储器的访问请求进行仲裁时，根据所述优先级切换信号变更从所述数据处理部输出的所述访问请求的优先级来进行仲裁，并根据通过所述仲裁而受理的访问请求来控制对所述存储器的访问。
2.根据权利要求1所述的存储器访问装置，其中，
所述优先级切换控制部根据从所述数据处理部通知的所述数据处理的进展状况，计算所述数据处理部进行的所述数据处理中的剩余处理时间，
根据所述剩余处理时间、作为所述数据处理部需要完成所述数据处理的时间而规定的极限时间、以及所述数据处理部开始进行所述数据处理后到当前为止的处理时间，计算所述数据处理部进行所述数据处理时的处理富余时间，
根据所述处理富余时间和预定的紧急度阈值时间，判定所述数据处理部进行的所述数据处理的紧急度。
3.根据权利要求2所述的存储器访问装置，其中，
所述优先级切换控制部在所述处理富余时间比预定的紧急度阈值时间短的情况下，判定为所述数据处理部进行的所述数据处理的紧急度高，输出通知提高所述数据处理部的优先级的所述优先级切换信号，
在所述处理富余时间不比所述紧急度阈值时间短的情况下，判定为所述数据处理部进行的所述数据处理的紧急度低，输出通知将所述数据处理部的优先级依然设为低的所述优先级切换信号，
所述总线仲裁器在对针对所述存储器的访问请求进行仲裁时，提高从通过所述优先级切换信号被通知提高优先级的所述数据处理部输出的所述访问请求的优先级，来进行仲裁。
4.根据权利要求3所述的存储器访问装置，其中，
所述数据处理部通知表示所述数据处理完成的比例的处理完成比例，作为所述数据处理的进展状况，
所述优先级切换控制部根据所述数据处理部中的所述数据处理的速度和处理量、以及被通知的所述处理完成比例，计算所述剩余处理时间。
5.根据权利要求3所述的存储器访问装置，其中，
所述数据处理部在分成多次来进行所述数据处理的情况下，
通知表示所述数据处理完成的次数的处理完成数，作为所述数据处理的进展状况，
所述优先级切换控制部根据剩余处理次数、分开进行的一次所述数据处理中的处理量、以及所述数据处理部中的所述数据处理的速度，计算所述剩余处理时间，所述剩余处理次数是基于所述数据处理部分开进行的所述数据处理的次数和被通知的所述处理完成数求出的。
6.根据权利要求3所述的存储器访问装置，其中，
所述数据处理部在分成处理量不同的多次来进行所述数据处理的情况下，
通知表示到当前为止所述数据处理结束的处理量的处理完成量，作为所述数据处理的进展状况，
所述优先级切换控制部根据剩余处理量、以及所述数据处理部中的所述数据处理的速度，计算所述剩余处理时间，所述剩余处理量是基于所述数据处理部进行的所述数据处理中的整体的处理量和被通知的处理完成量求出的。
7.根据权利要求2～6中的任意一项所述的存储器访问装置，其中，
所述优先级切换控制部对所述剩余处理时间和所述极限时间中的任意一方或双方乘以由针对时间的比例表示的预定的时间系数后，计算所述处理富余时间。
8.根据权利要求3所述的存储器访问装置，其中，
所述存储器访问装置具有多个所述数据处理部，该多个所述数据处理部按照预定的顺序依次进行一连串处理中对应的所述数据处理，
各个所述数据处理部在先开始的所述一连串处理中包含的对应的所述数据处理结束后，开始进行下一个所述一连串处理中包含的对应的所述数据处理，由此，多个所述数据处理部并列地进行不同的所述一连串处理中包含的对应的所述数据处理，
所述优先级切换控制部根据从各个所述数据处理部通知的所述数据处理的进展状况，以所述一连串处理为单位判定各个所述数据处理部进行的所述数据处理的紧急度，在判定为多个所述数据处理部中的所述数据处理的紧急度高的情况下，输出通知提高如下的所述数据处理部的优先级的所述优先级切换信号，该数据处理部进行先开始的所述一连串处理中包含的对应的所述数据处理。
9.根据权利要求3所述的存储器访问装置，其中，
所述存储器访问装置具有多个所述数据处理部，该多个所述数据处理部按照预定的顺序依次进行一连串处理中对应的所述数据处理，
各个所述数据处理部在先开始的所述一连串处理中包含的对应的所述数据处理结束后，开始进行下一个所述一连串处理中包含的对应的所述数据处理，由此，多个所述数据处理部并列地进行不同的所述一连串处理中包含的对应的所述数据处理，
所述优先级切换控制部根据每个所述数据处理部的所述剩余处理时间、各个所述一连串处理中按照每个所述数据处理部设定的所述极限时间、以及每个所述数据处理部的所述处理时间，按照每个所述数据处理部计算所述处理富余时间，每个所述数据处理部的所述剩余处理时间是基于从各个所述数据处理部通知的所述数据处理的进展状况计算出的，
根据每个所述数据处理部的所述处理富余时间和所述紧急度阈值时间，按照每个所述数据处理部判定所述数据处理的紧急度，
输出通知提高优先级的所述优先级切换信号，以使得进行各个一连串处理中最后对应的所述数据处理的所述数据处理部进行的所述数据处理的完成不超过所设定的所述极限时间。
10.一种图像处理装置，其具有存储器访问装置，该存储器访问装置具有：
数据处理部，其输出请求访问与数据总线连接的存储器的访问请求，并对所访问的所述存储器的数据进行数据处理，并且通知所述数据处理的进展状况；
优先级切换控制部，其根据从所述数据处理部通知的所述数据处理的进展状况，判定所述数据处理部进行的所述数据处理的紧急度，并输出通知切换所述数据处理部的优先级的优先级切换信号；以及
总线仲裁器，其与所述数据总线连接，在对针对所述存储器的访问请求进行仲裁时，根据所述优先级切换信号变更从所述数据处理部输出的所述访问请求的优先级来进行仲裁，并根据通过所述仲裁而受理的访问请求来控制对所述存储器的访问。
11.一种摄像装置，其具有图像处理装置，该图像处理装置具有存储器访问装置，该存储器访问装置具有：
数据处理部，其输出请求访问与数据总线连接的存储器的访问请求，并对所访问的所述存储器的数据进行数据处理，并且通知所述数据处理的进展状况；
优先级切换控制部，其根据从所述数据处理部通知的所述数据处理的进展状况，判定所述数据处理部进行的所述数据处理的紧急度，并输出通知切换所述数据处理部的优先级的优先级切换信号；以及
总线仲裁器，其与所述数据总线连接，在对针对所述存储器的访问请求进行仲裁时，根据所述优先级切换信号变更从所述数据处理部输出的所述访问请求的优先级来进行仲裁，并根据通过所述仲裁而受理的访问请求来控制对所述存储器的访问。
CN201780093760.3A 2017-08-30 2017-08-30 存储器访问装置、图像处理装置和摄像装置 Active CN111033476B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/031110 WO2019043823A1 (ja) 2017-08-30 2017-08-30 メモリアクセス装置、画像処理装置、および撮像装置

Publications (2)

Publication Number Publication Date
CN111033476A true CN111033476A (zh) 2020-04-17
CN111033476B CN111033476B (zh) 2023-08-01

Family

ID=65527182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780093760.3A Active CN111033476B (zh) 2017-08-30 2017-08-30 存储器访问装置、图像处理装置和摄像装置

Country Status (3)

Country Link
US (1) US11314664B2 (zh)
CN (1) CN111033476B (zh)
WO (1) WO2019043823A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113452591B (zh) * 2021-06-21 2023-04-07 合安科技技术有限公司 基于can总线连续数据帧的回路控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841350A (zh) * 2005-03-30 2006-10-04 佳能株式会社 仲裁器和控制仲裁器的方法以及信息处理装置
JP2007280253A (ja) * 2006-04-11 2007-10-25 Canon Inc 情報処理装置及び情報処理方法
US20090248935A1 (en) * 2008-03-28 2009-10-01 Robert Ehrlich Hardware Managed Context Sensitive Interrupt Priority Level Control
JP2015184695A (ja) * 2014-03-20 2015-10-22 セイコーエプソン株式会社 データ転送制御装置、データ転送制御方法、電子機器、及び、表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6286083B1 (en) * 1998-07-08 2001-09-04 Compaq Computer Corporation Computer system with adaptive memory arbitration scheme
JP2000148668A (ja) 1998-11-11 2000-05-30 Nec Niigata Ltd バス調停システム
US6850995B1 (en) * 1999-01-25 2005-02-01 Canon Kabushiki Kaisha Control unit selectively connected with a first bus and a second bus for controlling a displaying process in parallel with a scanning process
JP4162863B2 (ja) * 2001-03-30 2008-10-08 株式会社ルネサステクノロジ マイクロコンピュータ
JP5715458B2 (ja) * 2011-03-22 2015-05-07 ルネサスエレクトロニクス株式会社 情報処理システム、調停方法
JP5808495B2 (ja) * 2012-08-22 2015-11-10 三菱電機株式会社 キャッシュメモリコントローラ及びキャッシュメモリコントロール方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841350A (zh) * 2005-03-30 2006-10-04 佳能株式会社 仲裁器和控制仲裁器的方法以及信息处理装置
JP2007280253A (ja) * 2006-04-11 2007-10-25 Canon Inc 情報処理装置及び情報処理方法
US20090248935A1 (en) * 2008-03-28 2009-10-01 Robert Ehrlich Hardware Managed Context Sensitive Interrupt Priority Level Control
JP2015184695A (ja) * 2014-03-20 2015-10-22 セイコーエプソン株式会社 データ転送制御装置、データ転送制御方法、電子機器、及び、表示装置

Also Published As

Publication number Publication date
US20200192830A1 (en) 2020-06-18
US11314664B2 (en) 2022-04-26
WO2019043823A1 (ja) 2019-03-07
CN111033476B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN107636631B (zh) 图像处理装置和图像处理方法
JP3761061B2 (ja) データ処理システムおよびデータ処理方法
US20190079881A1 (en) Memory access control device, image processing device, and imaging device
JP5591022B2 (ja) バス帯域モニタ装置およびバス帯域モニタ方法
US20190057053A1 (en) Data transfer device, image processing device, and imaging device
US11314664B2 (en) Memory access device, image processing device and imaging device
US20190324646A1 (en) Memory access device, image-processing device, and imaging device
US10223031B2 (en) Memory control apparatus and memory control method
US20100135644A1 (en) Photographing apparatus and method of controlling the same
US9547330B2 (en) Processor and control method for processor
WO2019043822A1 (ja) メモリアクセス装置、画像処理装置、および撮像装置
US11910115B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
JP2006039672A (ja) バス要求制御回路
US9043514B2 (en) Data transfer device and method
JP6210742B2 (ja) データ処理装置およびデータ転送制御装置
US20140009478A1 (en) Image processing apparatus and control method
JP2017157883A (ja) 画像処理装置
WO2020008522A1 (ja) バス調停装置、バス調停システム、および撮像装置
JP2017162431A (ja) メモリ制御装置及び撮像装置
US20120042111A1 (en) Bus bandwidth monitoring device and bus bandwidth monitoring method
JP2008186479A (ja) デジタルカメラ
JP3494436B2 (ja) 画像処理装置
JP6123691B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP5838716B2 (ja) 撮像装置及びアクセス制御方法
US20170289560A1 (en) Image processing apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant